Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across Depth
RD-AttnRes 在 Transformer 层中为查询/键和值分别学习独立的深度路由，仅增加每层一个模型宽度向量，不引入额外的 token-to-token 注意力操作。在 FineWeb-Edu 上使用冻结配对预训练协议，对 120M 和 343M 参数模型各用五个匹配种子，训练预算为 2.0B tokens，改进了验证负对数似然。
发展脉络
- 首次出现Role-Decoupled Attention Residuals: Separating Matching and Content Retrieval Across DeptharXiv cs.AI
- 当前判断该研究属于 Transformer 架构改进方向，可能影响未来模型设计的效率与性能平衡。若 RD-AttnRes 在更大规模上验证有效，可能被集成到主流模型架构中，提升训练效率或模型质量。Agent Pulse · 分析
Role-Decoupled Attention Residuals (RD-AttnRes) 是一种对 Block Attention Residuals 的最小扩展，它将匹配（查询和键）与内容检索（值）的深度路由解耦。查询和键共享一个深度路由，而值使用独立的深度路由，仅增加每层一个模型宽度向量，不引入额外的 token-to-token 注意力操作。在 FineWeb-Edu 上使用冻结配对预训练协议，对 120M 和 343M 参数模型各用五个匹配种子，训练预算为 2.0B tokens，RD-AttnRes 改进了验证负对数似然。
RD-AttnRes 表明，在深度残差路由中，匹配和内容检索可以分离，且这种分离仅需极小的参数开销。这暗示注意力机制中查询/键和值的功能角色可能受益于不同的深度信息流。下一步可验证的信号是：在更大模型规模或更长上下文下，这种解耦是否带来更显著的收益，以及是否与稀疏注意力或 MoE 架构兼容。
该研究属于 Transformer 架构改进方向，可能影响未来模型设计的效率与性能平衡。若 RD-AttnRes 在更大规模上验证有效，可能被集成到主流模型架构中，提升训练效率或模型质量。
对于模型训练方，RD-AttnRes 提供了一种低成本改进模型性能的潜在方案，可能降低训练成本或提升模型质量，从而影响模型的经济性。
后续可关注该方法的扩展实验，如更大模型规模、不同数据分布或与其他架构改进的组合效果。若结果稳健，可能成为标准组件。