Optimal Training-Time Scaling in Gradual Adaptation
arXiv 论文 2608.04927v1 研究渐进适应中训练时间随中间任务数量变化的最优缩放。对于过参数化线性回归，当 Ns_N→τ 时，最终学习进度收敛到连续曲线；小 τ 时进度为 Θ(τ)，大 τ 时为 Θ(τ^{-1})，因此最优每任务训练时间 s_N^*=Θ(N^{-1})。在逐渐旋转的 MNIST 和 Yearbook 时间偏移上的实验与更细划分时减少每任务训练一致。
Development
- First ReportOptimal Training-Time Scaling in Gradual AdaptationarXiv cs.LG
- Current Assessment该研究为连续学习和课程学习提供了理论依据，可能影响模型在非平稳数据分布上的训练策略。随着数据流和任务序列越来越常见，理解如何分配训练时间对实际部署有指导意义。可验证的下一信号：是否有工业界采用类似缩放规则来调整在线学习或持续学习中的训练步数。Agent Pulse · analysis
一篇 arXiv 论文（2608.04927v1）研究了渐进适应场景下训练时间的最优缩放。在过参数化线性回归任务中，任务平滑变化且共享零损失解，当任务数 N 和每任务训练时间 s_N 满足 Ns_N→τ 时，最终学习进度收敛到连续曲线。该曲线在小 τ 时以 Θ(τ) 增长，在大 τ 时以 Θ(τ^{-1}) 衰减，表明过短或过长的训练都导致进度很小。因此，最优每任务训练时间按 s_N^*=Θ(N^{-1}) 缩放，即总训练时间 Ns_N^* 为常数。在逐渐旋转的 MNIST 和 Yearbook 时间偏移上的实验与理论一致，即路径划分更细时每任务训练时间应减少。
该结果提供了渐进适应中训练时间分配的定量指导：当中间任务数量增加时，每任务训练时间应线性减少，以保持总训练时间恒定。这暗示在连续学习或课程学习中，存在一个最优的每任务训练预算，过拟合单个任务或训练不足都会降低最终性能。可验证的下一信号：在更复杂的模型（如 Transformer）或真实连续学习基准上，是否观察到类似的 s_N^*∝N^{-1} 缩放。
该研究为连续学习和课程学习提供了理论依据，可能影响模型在非平稳数据分布上的训练策略。随着数据流和任务序列越来越常见，理解如何分配训练时间对实际部署有指导意义。可验证的下一信号：是否有工业界采用类似缩放规则来调整在线学习或持续学习中的训练步数。
对于处理持续变化数据（如用户行为、市场趋势）的 AI 系统，该结果可帮助优化训练资源分配，避免过度训练或欠训练，从而降低计算成本并提升模型适应性。可验证的下一信号：是否有公司采用类似策略来调整模型更新频率。
未来工作可能将理论扩展到非线性模型或更实际的设置，并验证缩放规律在真实世界任务中的适用性。可验证的下一信号：后续论文是否在深度网络或大规模数据集上复现该缩放行为。