HiLS-Attention腾讯开源稀疏注意力512倍外推、速度提升15倍效率与效果首次双赢引言长上下文大模型的老大难让大模型读得更长——无论是 Agent 处理多轮对话、深度推理拆解复杂问题还是海量文档的知识检索——都是当前 AI 工程落地最迫切的需求。然而标准全注意力机制Full Attention面临三座大山计算量随序列长度平方增长序列翻倍算力翻四倍、长度外推能力差训练 8K测试 32K 就开始崩、KV Cache 随长度线性膨胀显存很快扛不住。业界对此的主流解法是分块稀疏注意力Chunk-wise Sparse Attention将上下文切成等长 chunk每个 query 只选择最相关的 Top-K 个 chunk 参与计算其余 KV Cache 卸载到 CPU 内存。理论上这种方法能将计算和显存开销都控制在常数级别。但理想丰满现实骨感——迄今为止没有任何一种分块稀疏注意力能真正追平全注意力。问题出在哪出在chunk 选不准。根源为什么现有稀疏注意力选不对 chunk要选对 chunk前提是能准确估计每个 chunk 的重要性。现有方法如 NSA、InfLLM v2、MiniMax 稀疏注意力主要采用两种近似策略均值池化mean pooling将 chunk 内所有 key 取均值当作摘要。但它的有效性前提是chunk 内注意力均匀分布——这意味着一旦遇到大海捞针这种少数 token 集中注意力的场景均值池化会将尖峰稀释掉直接错失关键信息。最大池化max pooling取 chunk 内最大 logit 作摘要。但它的有效性前提是单个 token 独占注意力同样无法覆盖真实场景中多样化的 logit 分布。上述方法本质上都是用只在极端情况下成立的代理函数去逼近 LogSumExp从而系统性错估 chunk 重要性。实验证据触目惊心在最简单的单针大海捞针任务上均值池化版本在 8K 域内就已经明显掉点。更致命的是即便改用参数化 summary可学习的 chunk 摘要现有方法也只拿它来打分和选 Top-K一旦 chunk ID 被硬选出来summary 和打分就被丢弃了——Top-K 选择是一个离散、不可导的操作LM loss 的梯度根本无法传递到 summary 上。summary 变成了盲训无法通过预测结果来自我优化。HiLS-Attention从数学层面根治选不准腾讯混元团队提出的HiLS-AttentionHierarchical Landmark Sparse Attention分层地标稀疏注意力首次在数学层面同时解决了上述两大痛点。解决一用泰勒展开构造表达能力够的 chunk 算分函数研究团队发现chunk 的对数重要性可以通过对 LogSumExp 做一阶泰勒展开近似为一个极其优雅的形式——它由 chunk 内所有 token logit 的线性组合构成既保留了 mean logits 和 max logits 作为极端情形又对中间分布有足够的表达能力。解决二用分层 softmax 打通端到端反传HiLS 将注意力权重分层因式分解为两级 softmaxchunk 间inter-chunksoftmax根据 summary 分数计算每个 chunk 应该分摊多少注意力chunk 内intra-chunksoftmax在已选中的 chunk 内部决定 token 之间的相对权重。关键在于chunk 选择的代理分数在前向计算中正式参与了注意力输出——这意味着梯度可以完整回流到 summary 上。chunk 选择第一次成为在 LM 目标下的端到端可学习过程且训练与推理全程保持真稀疏。实验验证效率与效果首次双赢从345M 到 7B三个参数规模的系统验证展示了惊人的结果指标HiLS-Attention短文本 PPL与全注意力几乎重合8K 处持平甚至略低长度外推仅 8K 训练 → 外推至4M512 倍90% 召回率Prefill 加速512K 上下文13.5 倍Decode 加速512K 上下文15.7 倍存量模型改造OLMo3-7B 续训 50B token 即可切换一个反直觉的彩蛋在部分长上下文检索任务上HiLS反超了全注意力本身。原因在于——压缩能去噪。全注意力中无关 token 的微小噪声随上下文增长而积累污染了检索信号而 HiLS 将多个 key 压缩为一个 summary 时不对齐的噪声相互抵消共享的语义信号被保留使得多跳检索任务如变量追踪 VT的准确率比全注意力高出多达50%。工程启示对于一线 AI 工程师而言HiLS-Attention 有两点值得关注低成本接入已有全注意力模型可通过续训 50B token切换为 HiLS不会破坏短程任务的已有能力同时获得超长上下文外推能力。这意味着现存的大量全注意力模型可以平滑升级。推理成本直降512K 上下文下 15 倍以上的 decode 加速直接转化为生产环境的 TCO总拥有成本优化。对于需要处理长文档检索、多轮 Agent 对话的场景这可能是从不可行到可落地的临界点。代码与论文已开源于 GitHubTencent-Hunyuan/HiLS-Attention感兴趣的读者可直接上手验证。总结稀疏注意力长期以来的效率-性能二选一困境被 HiLS-Attention 首次打破。它的逻辑链清晰选不准 → 选错源于 mean/max 系统性失准 → 参数化 summary 卡在端到端反传 → 泰勒线性化分层 softmax 双管齐下。这不仅是论文层面的突破更意味着我们能以更低的成本让大模型在真实场景中读到更多、理解更深。技术标签大模型 · 稀疏注意力 · HiLS-Attention · 长上下文 · 深度学习 · 腾讯 · 开源 · 注意力机制 · 推理加速 · LLM 工程实践