Sep 8, 2026 · On-Policy Reverse Distillation
Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation
arXiv 论文《Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation》提出 On-Policy Reverse Distillation (OPRD) 方法，在 successive model transfer 和 multi-teacher distillation 场景中，相比现有 RL 和蒸馏方法，用更少学生更新达到更高性能。
EVENT STORY
Development
- First ReportEliciting Weak-to-Strong Generalization with On-Policy Reverse DistillationHugging Face Daily Papers
- Industry ResponseEliciting Weak-to-Strong Generalization with On-Policy Reverse DistillationarXiv cs.CL
- Current Assessment该研究为 successive model generations 和 multi-domain consolidation 提供潜在成本降低路径，可能影响未来模型迭代的训练策略选择。Agent Pulse · analysis
arXiv 论文《Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation》提出 On-Policy Reverse Distillation (OPRD) 方法，在 successive model transfer 和 multi-teacher distillation 场景中，相比现有 RL 和蒸馏方法，用更少学生更新达到更高性能。
OPRD 通过评估教师策略相对其参考策略在学生 rollout 上的偏移，并沿该方向放大学生验证器驱动策略梯度的分量，仅重缩放验证器支持的更新，从而保留策略优化驻点并加速超越教师的学习。
该研究为 successive model generations 和 multi-domain consolidation 提供潜在成本降低路径，可能影响未来模型迭代的训练策略选择。
对模型迭代和领域整合的团队，OPRD 可能减少重复 frontier-scale post-training 成本，提升训练效率。
后续可关注 OPRD 在更大规模模型和更多领域上的验证结果，以及其与现有 RL 蒸馏方法的对比基准更新。