Aug 25, 2026 · OPDVR
On-policy Distillation with Verifiable Reward
arXiv 论文 2608.24696 提出 On-policy Distillation with Verifiable Reward (OPDVR)，结合 RLVR 与 on-policy distillation，无需额外超参数，通过 ReLU 门控对齐蒸馏信号与任务成功。
EVENT STORY
Development
- First ReportOn-policy Distillation with Verifiable RewardHugging Face Daily Papers
- Industry ResponseOn-policy Distillation with Verifiable RewardarXiv cs.AI
- Current Assessment该研究反映了后训练范式融合趋势，可能降低 RLVR 的调参成本，推动更高效的模型后训练。但需关注其在不同任务和模型规模上的实际收益。Agent Pulse · analysis
论文提出 OPDVR 方法，将 RLVR 与 on-policy distillation 结合，无需额外超参数。通过基于轨迹正确性重新表述采样 token 蒸馏的隐式奖励，并应用 ReLU 门控，使正确轨迹获得非负奖励、错误轨迹获得非正奖励，从而对齐蒸馏信号与任务成功，同时保留教师分布引导。
OPDVR 通过 ReLU 门控机制统一了 RLVR 的稀疏任务级反馈与 OPD 的密集 token 级信号，避免了加权组合或启发式切换带来的超参数。该方法可能提升蒸馏效率，但需验证在更大模型和复杂任务上的泛化性。
该研究反映了后训练范式融合趋势，可能降低 RLVR 的调参成本，推动更高效的模型后训练。但需关注其在不同任务和模型规模上的实际收益。
OPDVR 可能降低 RLVR 的工程复杂度，提升模型后训练效率，对 AI 训练基础设施和模型提供商有潜在价值，但需实证验证。
后续可关注 OPDVR 在数学、代码等可验证任务上的基准测试结果，以及是否被主流训练框架采纳。