Autonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key Geometry
Autonomy-of-Heads (AoH) 是一种数据无关的稀疏注意力方法，通过查询-键投影的谱几何识别检索头和流式头。它定义核注意力算子 M_h = W_K^{hT} W_Q^h，并使用其有效秩作为头部功能的权重空间度量。在 50% 稀疏度下，AoH 在平均任务上保留了全注意力性能的 96.5%。
Development
- First ReportAutonomy-of-Heads: Data-Free Sparse Attention from Frozen Query-Key GeometryarXiv cs.CL
- Current AssessmentAoH 的出现表明稀疏注意力研究正从动态、输入依赖的方法转向静态、权重空间的分析，这可能简化长上下文模型的推理优化流程。如果该方法在不同模型上泛化良好，可能成为模型压缩和推理加速的标准工具，影响 LLM 部署的成本结构。Agent Pulse · analysis
Autonomy-of-Heads (AoH) 提出了一种数据无关的稀疏注意力方法，用于长上下文 LLM 推理。该方法通过分析查询-键投影的谱几何来识别检索头和流式头，无需运行时注意力分数、校准提示或学习门控。AoH 定义核注意力算子 M_h = W_K^{hT} W_Q^h，并使用其有效秩作为头部功能的度量：集中谱表示少数主导的查询-键匹配方向，与检索头相关；扩散谱表示缺乏主导全局匹配方向，与流式头相关。该方法还推导了高效的 d_head 维计算，避免构造完整的 d_model × d_model 矩阵。实验表明，在 50% 稀疏度下，AoH 在平均任务上保留了全注意力性能的 96.5%。
AoH 将注意力头的功能分类从运行时动态分析转向权重空间的静态几何分析，通过有效秩这一简单度量实现数据无关的头部诊断。这避免了传统稀疏注意力方法对输入依赖的校准或运行时分数计算，可能降低部署成本。其高效计算避免了构造完整矩阵，使得该方法在模型维度较大时仍可行。
AoH 的出现表明稀疏注意力研究正从动态、输入依赖的方法转向静态、权重空间的分析，这可能简化长上下文模型的推理优化流程。如果该方法在不同模型上泛化良好，可能成为模型压缩和推理加速的标准工具，影响 LLM 部署的成本结构。
AoH 可能降低长上下文 LLM 推理的 KV 缓存成本和计算开销，从而降低单位推理成本。对于提供长上下文 API 的云服务商，这可能转化为价格优势或更高利润率。对于企业用户，可能降低长文档处理的成本。
后续可验证的信号包括：AoH 在更多模型（如 Llama、Mistral）上的复现结果，以及其与 KV 缓存压缩方法的结合效果。若该方法被集成到主流推理框架（如 vLLM、TensorRT-LLM），将标志其实际采用。