2026年8月6日 · MACRO
MACRO: Markov Chain Routing of Transformer Layers
MACRO 是一种用于 Transformer 层路由的框架，将层路由建模为上下文相关的马尔可夫策略，支持跳过、重复和残差隐藏状态加法操作，无需修改底层参数。在多个开放权重 LLM 上，MACRO 相比未路由基线平均准确率提升 5.0%，小模型提升最大。
EVENT STORY
发展脉络
- 首次出现MACRO: Markov Chain Routing of Transformer LayersarXiv cs.CL
- 当前判断MACRO 表明动态层路由可以在不修改权重的情况下提升模型性能，尤其对小模型效果显著。这可能推动推理时自适应计算的发展，但需验证其在不同任务和模型上的泛化性。Agent Pulse · 分析
MACRO 提出了一种无需修改模型权重的动态层路由方法，将层路由建模为上下文相关的马尔可夫策略，基于层索引、计算预算阶段、方向位移和操作符上下文，支持跳过、重复和残差隐藏状态加法。通过训练数据反馈更新路由分布，并使用 top-k Viterbi 算法解码高概率候选程序。在多个开放权重 LLM 的推理和知识基准上，MACRO 平均准确率提升 5.0%，小模型提升最大。
MACRO 将层路由视为马尔可夫决策过程，策略依赖于层索引、计算预算阶段、方向位移和操作符上下文，支持跳过、重复和残差加法。训练时通过反馈更新路由分布，推理时使用 top-k Viterbi 解码。该方法无需修改权重，避免了昂贵的搜索循环和 ground-truth 标签，可能为动态推理提供新思路。
MACRO 表明动态层路由可以在不修改权重的情况下提升模型性能，尤其对小模型效果显著。这可能推动推理时自适应计算的发展，但需验证其在不同任务和模型上的泛化性。
MACRO 可能降低推理成本，因为动态路由可跳过不必要的层，尤其对小模型部署有吸引力。但需评估实际推理开销和收益。
后续可关注 MACRO 在更大模型和更多任务上的表现，以及其与现有推理加速技术的结合。