UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective
UNIFUSION 论文提出将预训练自回归语言模型（如 GPT2）直接适配到均匀噪声离散扩散，通过统一反向速率目标连接 SEDD、MDLM/GIDD、M2S 和 Neural CTMC 等现有方法。在 124M 和 355M 参数模型上，随着采样步数从 16 增加到 256，生成困惑度与 unigram 熵的权衡持续改善。
Development
- First ReportUNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate ObjectivearXiv cs.AI
- Current Assessment该研究可能推动离散扩散模型在生成任务中的实际应用，尤其是利用现有 AR 模型权重进行适配，减少训练资源。但当前结果仅基于小规模模型，且未与主流 AR 模型直接对比，因此对工业界的影响尚不明确。后续需观察是否有团队将该方法应用于更大规模模型或产品化。Agent Pulse · analysis
UNIFUSION 论文提出一种统一反向速率目标，将自回归语言模型直接适配到均匀噪声离散扩散。现有方法主要将预训练 AR 模型适配到掩码扩散，而 UNIFUSION 直接适配到均匀噪声扩散，其中每个 token 在采样过程中保持可编辑。作者建立了 SEDD、MDLM/GIDD、M2S 和 Neural CTMC 之间的联系，将其条件损失表达为统一的广义 KL 目标，并推导出从干净 token 预测到具体分数、后验均值和退出率/跳跃参数化的转换，形成共享的 x0 接口，支持在掩码和均匀核之间切换。基于这些连接，他们提出一种简单的持续预训练方法，直接适配预训练 GPT2 检查点。在 124M 和 355M 参数模型上，随着采样预算从 16 增加到 256 步，生成困惑度与 unigram 熵的权衡持续改善。
该工作统一了多种离散扩散模型的训练目标，表明不同参数化可以相互转换，这为复用现有 AR 检查点提供了新路径。持续预训练方法可能降低训练成本，但论文未提供与从头训练或掩码扩散的全面对比，也未报告绝对性能。下一步可关注该方法在更大模型或更长上下文上的扩展性，以及是否能在标准基准上达到与 AR 模型相当的质量。
该研究可能推动离散扩散模型在生成任务中的实际应用，尤其是利用现有 AR 模型权重进行适配，减少训练资源。但当前结果仅基于小规模模型，且未与主流 AR 模型直接对比，因此对工业界的影响尚不明确。后续需观察是否有团队将该方法应用于更大规模模型或产品化。
对于 AI 公司，该方法可能降低采用扩散模型的门槛，通过适配现有 AR 权重节省训练成本。但当前证据仅来自论文，未涉及商业应用或性能对比，因此商业价值尚待验证。建议关注后续是否有企业采用该技术。
未来可关注 UNIFUSION 在更大模型（如 1B+）上的表现，以及是否被集成到开源工具链或商业产品中。若该方法能显著降低扩散模型训练成本并保持生成质量，可能改变语言模型生成范式的选择。