DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models
Apple Machine Learning Research 发布 DACA-GRPO（Denoising-Aware Credit Assignment for GRPO），针对扩散语言模型的强化学习训练。论文指出两个弱点：去噪轨迹上缺少时间信用分配，以及策略优化所用平均场似然估计存在系统性偏差。DACA-GRPO 被描述为轻量、即插即用，可增强任意 GRPO 风格训练器。
Development
- First ReportDACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language ModelsApple Machine Learning Research
- Current Assessment扩散语言模型此前多停留在生成质量讨论，若 RL 后训练路径被补齐，其与自回归模型在可对齐性上的差距可能收窄。判断依据仅为该论文的问题陈述，尚不足以说明产业格局变化。可验证下一信号：是否有非 Apple 团队在自有扩散 LM 上复现或引用该方法。Agent Pulse · analysis
Apple Machine Learning Research 发布研究 DACA-GRPO，面向扩散大语言模型的强化学习。论文认为扩散模型是自回归模型的有力替代，但现有 RL 方法把各去噪步骤视为同等重要，并依赖有偏、高方差的似然估计。作者识别两个根本弱点：去噪轨迹上缺乏时间信用分配；用于策略优化的平均场似然估计存在系统性偏差。为此提出 Denoising-Aware Credit Assignment for GRPO（DACA-GRPO），定位为对任意 GRPO 风格训练器的轻量、即插即用增强。证据未给出具体基准数字、模型规模或开源情况。
若论文主张成立，扩散语言模型 RL 的关键变量从「整体似然」转向「逐步信用分配」，训练器需要按去噪时间步重加权而非均匀处理。可验证下一信号：是否公开逐步信用分配的消融实验，以及在不同去噪步数下与均匀加权的对比曲线。
扩散语言模型此前多停留在生成质量讨论，若 RL 后训练路径被补齐，其与自回归模型在可对齐性上的差距可能收窄。判断依据仅为该论文的问题陈述，尚不足以说明产业格局变化。可验证下一信号：是否有非 Apple 团队在自有扩散 LM 上复现或引用该方法。
对使用扩散语言模型做后训练或推理服务的团队，若该方法可即插即用，可能降低试错成本；但证据未提供成本或效果数字，暂不能据此做采购或路线决策。可验证下一信号：官方代码仓库与复现报告。
短期看，这更像训练方法层面的补丁而非能力跃迁。可验证下一信号：论文是否给出与 GRPO 基线的定量对比，以及是否发布代码或权重。