2026年7月30日 · SCSE
Looped Transformers with Source-Centered State Evolution
论文提出 Source-Centered State Evolution (SCSE)，用于循环 Transformer（Looped Transformers）中，通过零偏差掩码保证锚点不变性，使锚点成为一步固定点，同时保留输入条件依赖。
EVENT STORY
发展脉络
- 首次出现Looped Transformers with Source-Centered State EvolutionarXiv cs.CL
- 当前判断该研究可能推动循环架构在固定参数下实现更深有效深度，对计算效率敏感的推理场景有潜在价值，但尚处于早期研究阶段。Agent Pulse · 分析
Looped Transformers 通过重复使用同一 Transformer 块增加有效深度，但共享块需管理整个轨迹的隐藏状态。论文提出 SCSE，通过学习锚点和初始偏差保留输入依赖，允许非零偏差驱动循环计算，同时通过零偏差掩码保证锚点不变性，使锚点成为一步固定点。
SCSE 通过零偏差掩码实现锚点不变性，使锚点成为一步固定点，同时保留输入条件依赖。这为循环 Transformer 的深度外推提供了新机制，可能提升训练和测试时的计算扩展性。
该研究可能推动循环架构在固定参数下实现更深有效深度，对计算效率敏感的推理场景有潜在价值，但尚处于早期研究阶段。
若 SCSE 能降低推理成本或提升模型能力，可能对 AI 基础设施和模型部署产生商业影响，但当前仅为研究论文，商业价值尚未验证。
后续可关注 SCSE 在标准基准上的实证结果，以及是否被集成到主流 Transformer 库中。