Jul 9, 2026 · Apple
Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why
Apple 机器学习研究团队于 2026 年 7 月 9 日发布研究，探讨 on-policy distillation 在训练推理模型中的作用，指出其提供密集的逐 token 监督，但收益条件尚不明确，并讨论教师模型选择及自蒸馏上下文问题。
EVENT STORY
Development
- First ReportUnmasking On-Policy Distillation: Where It Helps, Where It Hurts, and WhyApple Machine Learning Research
- Current Assessment该研究反映了行业对推理模型训练效率的关注，通过蒸馏技术降低训练成本。Apple 的参与表明大型科技公司正积极优化模型训练方法，可能影响未来推理模型的开发范式。Agent Pulse · analysis
Apple 机器学习研究团队于 2026 年 7 月 9 日发布研究，探讨 on-policy distillation 在训练推理模型中的作用。研究指出，on-policy distillation 提供密集的逐 token 监督，有助于训练推理模型，但其收益条件尚不明确：在何种情况下有益、何种情况下有害，以及应选择何种教师模型，自蒸馏时又应使用何种上下文。该研究旨在揭示这些条件，为推理模型的训练提供指导。
该研究聚焦于 on-policy distillation 的适用条件，提示推理模型训练中教师模型的选择和自蒸馏上下文对效果有显著影响。未来可关注具体实验设置和结论，以指导蒸馏策略的优化。
该研究反映了行业对推理模型训练效率的关注，通过蒸馏技术降低训练成本。Apple 的参与表明大型科技公司正积极优化模型训练方法，可能影响未来推理模型的开发范式。
该研究可能降低推理模型的训练成本，提升训练效率，对 AI 模型开发企业具有潜在商业价值。Apple 的研究成果可能转化为内部模型训练优势，或通过论文分享影响行业实践。
后续可关注该研究的详细实验数据和结论，以及是否被应用于 Apple 的模型训练中。若方法有效，可能推动 on-policy distillation 在推理模型训练中的更广泛应用。