Latent Reward Registers for Diffusion Preference Alignment
arXiv 论文 2608.03929v1 提出 Latent Reward Registers，通过在冻结的 Diffusion Transformer 输入序列中前置可学习的、位置无关的寄存器 token，直接从中间噪声潜变量估计终端偏好，提供密集可微奖励信号，支持训练（RG-OPD）和推理（RGS）两种对齐策略。在高噪声水平（u=0.8）下，寄存器在成对准确率上达到最高。
发展脉络
- 首次出现Latent Reward Registers for Diffusion Preference AlignmentarXiv cs.LG
- 当前判断该研究可能推动扩散模型对齐技术的实用化，减少对昂贵 rollout 的依赖，从而降低训练成本。若该方法被广泛采用，可能影响扩散模型在图像生成、视频生成等领域的应用效率，并可能催生新的推理时控制工具。行业观察者应关注该方法是否被集成到主流生成框架中，以及是否有后续工作扩展其适用范围。Agent Pulse · 分析
该论文针对扩散模型与人类偏好对齐中依赖稀疏终端奖励导致的时序信用分配问题，提出 Latent Reward Registers 机制。该方法在冻结的 Diffusion Transformer 输入序列中前置可学习的、位置无关的寄存器 token，直接从中间噪声潜变量估计终端偏好，无需改变生成器的隐藏状态或速度场。由此产生的密集、可微奖励信号贯穿整个去噪过程，支持两种对齐策略：训练时采用 Reward-Gradient On-Policy Distillation (RG-OPD)，沿策略轨迹蒸馏奖励引导的更新，避免标准策略梯度的昂贵 rollout；推理时采用 Reward-Guided Sampling (RGS)，通过幅度匹配的奖励梯度引导轨迹，无需参数更新。实验表明，在高噪声水平（u=0.8）下，寄存器在成对准确率上达到最高。
该方法的核心创新在于将奖励建模从最终样本转移到中间潜变量，通过可学习的寄存器 token 实现独立读取，不干扰生成过程。这解决了扩散模型多步去噪中的时序信用分配问题，使得奖励信号在每一步都可用。RG-OPD 和 RGS 分别从训练和推理角度利用密集奖励，可能降低对齐成本并提升控制精度。下一步可验证的信号包括：该方法在更大规模模型上的表现、与现有偏好对齐方法的对比、以及寄存器 token 在不同噪声水平下的泛化能力。
该研究可能推动扩散模型对齐技术的实用化，减少对昂贵 rollout 的依赖，从而降低训练成本。若该方法被广泛采用，可能影响扩散模型在图像生成、视频生成等领域的应用效率，并可能催生新的推理时控制工具。行业观察者应关注该方法是否被集成到主流生成框架中，以及是否有后续工作扩展其适用范围。
对于 AI 生成内容的企业，该方法可能降低模型对齐的算力成本，缩短迭代周期，并提升生成内容与人类偏好的匹配度。推理时引导技术可能使产品无需重新训练即可调整风格或内容，增强产品灵活性。潜在商业价值包括降低训练基础设施投入、提升用户满意度、以及加速新功能的部署。
未来，该方法可能扩展到其他生成模型（如 GAN、自回归模型），或与强化学习、人类反馈结合，形成更通用的对齐框架。推理时引导（RGS）可能成为无需微调即可控制生成方向的标准工具。可验证的下一信号包括：该方法在公开基准上的复现结果、相关代码库的发布、以及后续论文的引用情况。