Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation
Adaptive FastOPD 是一种面向在线策略蒸馏（OPD）的进度感知策略，仅在当前边界区域学习趋于平稳且当前 rollout 长度已被充分利用时，才扩展 rollout 视野。其扩展条件由四个师生信号相对进入各视野时数值的变化决定，而非固定预算或绝对阈值。在两个师生对上的实验中，Adaptive FastOPD 相比 OPD 15K 将训练时间减少 49.1%–71.2%，同时取得最高平均性能。
Development
- First ReportAdaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy DistillationarXiv cs.LG
- Current Assessment该工作表明在线蒸馏的效率优化正从启发式固定策略转向数据驱动的进度感知控制。这反映了 AI 训练方法对计算效率的日益重视，尤其在长序列和复杂任务场景下，训练成本成为瓶颈。进度感知策略可能成为蒸馏和强化学习训练的新趋势，推动更自适应、更高效的训练框架。Agent Pulse · analysis
在线策略蒸馏（OPD）通过沿学生生成轨迹提供密集教师监督，但其在线 rollout 过程计算成本高，尤其当少数长响应延迟批次完成时。现有加速方法通常使用固定预算或绝对师生一致阈值控制 rollout 长度，可能无法反映不同模型和训练阶段的学习进度。Adaptive FastOPD 提出进度感知策略，仅当当前边界区域学习趋于平稳且当前视野被充分利用时扩展 rollout 视野。前者由四个师生信号相对进入各视野时的数值决定，使扩展响应阶段特定进度而非预定义步长或原始一致信号的绝对阈值；后者防止少数长响应触发 rollout 成本增加。在两个师生对上，Adaptive FastOPD 取得最高平均性能，同时相对 OPD 15K 减少训练时间 49.1%–71.2%。
Adaptive FastOPD 的核心创新在于用相对进度信号替代绝对阈值或固定预算来控制 rollout 视野扩展。四个师生信号（可能包括一致率、损失等）在进入每个视野时被记录，后续变化相对这些基线衡量，从而适应不同模型和训练阶段。这避免了固定预算在快速学习阶段浪费计算、在平台期不足的问题，也避免了绝对阈值对模型间差异敏感的问题。同时，视野利用率条件防止少数长响应导致成本增加，使扩展决策更稳健。
该工作表明在线蒸馏的效率优化正从启发式固定策略转向数据驱动的进度感知控制。这反映了 AI 训练方法对计算效率的日益重视，尤其在长序列和复杂任务场景下，训练成本成为瓶颈。进度感知策略可能成为蒸馏和强化学习训练的新趋势，推动更自适应、更高效的训练框架。
对于训练大模型的团队，该方法可显著降低训练时间（49.1%–71.2%），直接节省计算资源成本。同时，保持或提升模型性能意味着在相同预算下可获得更优模型，提升产品竞争力。该方法无需额外硬件，仅需调整训练策略，易于集成到现有流程。
未来可验证信号包括：Adaptive FastOPD 在更大规模模型和更多任务上的应用效果；其进度信号设计是否被其他训练方法采纳；以及是否出现基于类似原理的通用训练加速框架。若该方法在工业界广泛采用，可能显著降低在线蒸馏和强化学习的训练成本。