When Attention Goes Blind: Numerical Failure in ALiBi Positional Encodings
ALiBi位置编码的线性偏置缩放存在浮点精度下溢问题，导致大量注意力权重归零，使注意力头部分失明。该问题在基于ALiBi的预训练模型中出现，可显著损害token检索，但对标准解码器基准影响较小。四种训练时缓解策略中，对数缩放距离在passkey检索上改进最一致。
发展脉络
- 首次出现When Attention Goes Blind: Numerical Failure in ALiBi Positional EncodingsarXiv cs.CL
- 当前判断该研究揭示了一个在主流位置编码方案中可能被忽视的数值缺陷，可能影响依赖ALiBi的模型在长上下文任务中的可靠性。这提示行业在采用新架构时需进行更全面的数值稳定性测试。未来可验证信号：是否有其他研究团队独立验证或扩展该发现，以及主流模型是否调整位置编码实现。Agent Pulse · 分析
一项研究识别出ALiBi位置编码的一个被忽视的失败模式：其线性偏置缩放会因浮点精度下溢而将大量注意力权重置零，导致受影响的注意力头部分失明。研究者分析了该失败模式、其影响，并考察了四种缓解策略，同时证明其在基于ALiBi的最先进预训练模型中出现。通过148M参数解码器模型的综合预训练实验，他们将其影响与上下文外退化区分开来。研究发现，ALiBi的失败模式能显著损害token检索，但对标准解码器基准影响较小。他们提出四种训练时缓解策略并单独及组合评估，发现对数缩放距离在passkey检索上改进最一致。尽管存在此问题，默认ALiBi斜率仍是强基线，尤其在needle-in-a-haystack检索中。基于这些发现，他们为使用ALiBi训练模型提供了具体建议。
ALiBi的线性偏置在长距离下可能因浮点下溢而失效，导致注意力权重被置零，这提示位置编码的数值稳定性需被纳入架构设计考量。对数缩放距离作为缓解策略在passkey检索上表现最佳，暗示非线性距离度量可能更鲁棒。未来可验证信号：后续研究是否采用对数缩放或其他数值稳定方案，以及是否在更长上下文或更大模型上复现该问题。
该研究揭示了一个在主流位置编码方案中可能被忽视的数值缺陷，可能影响依赖ALiBi的模型在长上下文任务中的可靠性。这提示行业在采用新架构时需进行更全面的数值稳定性测试。未来可验证信号：是否有其他研究团队独立验证或扩展该发现，以及主流模型是否调整位置编码实现。
对于使用ALiBi位置编码的模型提供商，该问题可能影响长上下文场景下的检索能力，进而影响依赖精确检索的应用（如RAG）。采用缓解策略可能提升模型在长上下文任务中的可靠性，但需权衡训练成本。未来可验证信号：模型提供商是否公开采用对数缩放距离，以及相关产品在长上下文检索上的性能变化。
该发现可能促使ALiBi相关模型在训练时采用对数缩放距离等缓解策略，或推动替代位置编码方案的研究。未来可观察：新发布的模型是否采用对数缩放距离，以及长上下文基准测试是否纳入token检索类任务以暴露此类问题。