A Compositional Theory of Causally Masked Transformers
arXiv 论文 2607.26988v1 提出一种代数形式化方法，从因果掩码、有限精度 Transformer 的实现动态推导其表达能力。该方法以注意力计算的内部状态（记忆）为核心，各注意力头在层内独立更新状态，层间层级组合。应用于无位置嵌入的 Transformer，得到由注意力类型和数值语义决定的表达能力层级：宽度为 1 的滑动窗口注意力支持有界后缀记忆，改进的软注意力支持不可逆的检查表式状态，两者组合可兼具两种机制。
Development
- First ReportA Compositional Theory of Causally Masked TransformersarXiv cs.LG
- Current Assessment该研究为理解 Transformer 在有限精度下的表达能力提供了理论框架，可能影响模型架构设计和硬件实现。可验证的下一信号：是否有芯片厂商或框架开发者基于此类理论调整数值精度或注意力实现。Agent Pulse · analysis
这篇 arXiv 论文提出了一种组合理论，用于分析因果掩码、有限精度 Transformer 的表达能力。作者认为，现有答案常依赖理想化算术，但在有限精度下，舍入和求值顺序会影响注意力保留的信息，从而影响模型可计算的内容。他们开发了一种代数形式化方法，直接从模型实现动态推导表达能力，核心对象是记忆——由注意力计算出的有限内部状态，汇总前缀信息供未来查询使用。每个注意力头在层内独立更新状态，层间层级组合，为从模型假设到表达能力界限提供了统一路径。将该方法应用于无位置嵌入的 Transformer，得到了由注意力类型和特定数值语义支配的表达能力层级：宽度为 1 的滑动窗口注意力支持有界后缀记忆，改进的软注意力支持不可逆的检查表式状态，两者组合可兼具两种机制。
该理论将 Transformer 的表达能力归因于注意力头维护的记忆状态，并区分了滑动窗口注意力和软注意力的不同能力。这暗示架构选择（如注意力类型、数值精度）直接影响可计算的问题类别。可验证的下一信号：后续工作是否将该理论扩展到有位置嵌入的 Transformer，或用于指导新架构设计以增强特定记忆能力。
该研究为理解 Transformer 在有限精度下的表达能力提供了理论框架，可能影响模型架构设计和硬件实现。可验证的下一信号：是否有芯片厂商或框架开发者基于此类理论调整数值精度或注意力实现。
对于 AI 基础设施提供商，该理论可能指导更高效的注意力实现，降低推理成本。可验证的下一信号：是否有公司基于此类理论优化 Transformer 推理引擎。
该理论可能推动更精确的模型能力预测和架构优化。可验证的下一信号：后续研究是否将该方法应用于实际模型（如 GPT 系列）以验证其表达能力界限。