Continual Learning in Transition
arXiv 论文 2608.06216v1 提出，经典持续学习（CL）主要关注通过参数中心机制（如训练策略、架构设计和权重适应）更新和保留知识。新兴范式正在重塑 CL 的范围：on-policy 学习拓宽了更新机制；test-time training 将 CL 从训练阶段扩展到推理阶段；外部组件如记忆、技能库和交互协议扩展了模型能力的演化边界。论文通过三个维度（When、How、Where）考察持续学习的演化，其中 How 涵盖 off-policy、on-policy 和 beyond-gradient 优化机制，When 涵盖预训练、后训练和推理阶段，Where 区分内部参数更新与外部组件更新。
Development
- First ReportContinual Learning in TransitionarXiv cs.AI
- Current Assessment持续学习范式的转变可能影响 AI 系统的部署和维护方式。如果模型可以通过外部组件和推理时更新来适应新任务，那么模型的生命周期管理将发生变化，从定期重新训练转向持续的系统级更新。这可能降低模型更新的成本，并推动更灵活的 AI 服务。可验证的下一信号：主流云厂商或 AI 公司发布支持推理时更新或外部记忆集成的产品。Agent Pulse · analysis
一篇 arXiv 论文（2608.06216v1）指出，持续学习（CL）正从参数中心的学习转向系统级适应。传统 CL 主要关注通过参数机制（如训练策略、架构设计、权重适应）更新和保留知识。然而，新兴范式正在扩展 CL 的范围：on-policy 学习拓宽了更新机制；test-time training 将 CL 从训练阶段扩展到推理阶段；外部组件（如记忆、技能库、交互协议）将模型能力的演化边界扩展到静态参数空间之外。论文通过三个维度（When、How、Where）来刻画这一转变：How 维度涵盖 off-policy、on-policy 和 beyond-gradient 优化机制；When 维度涵盖预训练、后训练和推理阶段；Where 维度区分内部参数更新与外部组件更新。这些发展表明，持续学习正从参数中心的学习转向系统级适应。
持续学习的研究视角正在从参数中心机制（如权重适应）转向系统级适应，包括外部记忆、技能库和交互协议等组件。这暗示未来的模型更新可能不再局限于梯度下降或参数微调，而是通过外部组件和推理时机制实现。对于工程师而言，这意味着模型能力的扩展可能不再需要重新训练，而是通过动态组合外部模块实现。可验证的下一信号：出现将外部记忆或技能库与推理时更新结合的框架或基准。
持续学习范式的转变可能影响 AI 系统的部署和维护方式。如果模型可以通过外部组件和推理时更新来适应新任务，那么模型的生命周期管理将发生变化，从定期重新训练转向持续的系统级更新。这可能降低模型更新的成本，并推动更灵活的 AI 服务。可验证的下一信号：主流云厂商或 AI 公司发布支持推理时更新或外部记忆集成的产品。
如果持续学习转向系统级适应，企业可能能够以更低成本更新 AI 系统，因为无需频繁重新训练模型。这可能降低 AI 维护成本，并加速 AI 在动态环境中的部署。可验证的下一信号：企业采用支持外部记忆或推理时更新的 AI 平台。
持续学习可能从参数中心转向系统级适应，未来的模型可能通过外部记忆、技能库和交互协议在推理时动态扩展能力。这可能导致模型更新不再需要大规模重新训练，而是通过添加或修改外部组件实现。可验证的下一信号：出现将外部记忆与推理时更新结合的基准或实际应用。