ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?
ContinualSkillBench 是一个用于上下文持续技能学习的动态评估框架，覆盖五个代表性领域，每个领域包含 100 个相互关联的子任务，按难度递增排序。实验表明，顺序执行通常能提升性能，但提升幅度因模型和领域而异。上下文学习在平均表现上与显式技能维护相当，显式技能仅在需要可复用程序或精确输出的任务中提供选择性优势。能力较弱的模型倾向于积累更大、更碎片化的任务特定技能集合。
Development
- First ReportContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?arXiv cs.CL
- Current Assessment该研究为评估 LLM 代理的持续学习能力提供了新基准，可能影响代理框架的设计方向。当前代理系统依赖外部技能库，但技能演化能力不足，这为开发更高效的技能管理机制提供了机会。Agent Pulse · analysis
ContinualSkillBench 是一个新的动态评估框架，用于测试 LLM 代理在上下文中持续学习技能的能力。该框架覆盖五个领域，每个领域包含 100 个按难度递增的子任务，并支持跨任务技能复用。实验发现，顺序执行通常能提升性能，但提升幅度因模型和领域而异。上下文学习在平均表现上与显式技能维护相当，表明大部分改进来自对先前上下文和反馈的适应，而非可复用的技能抽象。显式技能仅在需要可复用程序或精确输出的任务中提供选择性优势。此外，能力较弱的模型倾向于积累更大、更碎片化的任务特定技能集合。这些发现表明，当前的上下文学习方法在技能演化方面仍有局限。
该框架揭示了上下文学习与显式技能维护之间的性能差异，表明当前模型在技能抽象和复用方面存在不足。能力较弱的模型积累更多碎片化技能，暗示其缺乏有效的技能整合能力。未来可关注如何设计更好的技能抽象机制，以提升跨任务迁移效率。
该研究为评估 LLM 代理的持续学习能力提供了新基准，可能影响代理框架的设计方向。当前代理系统依赖外部技能库，但技能演化能力不足，这为开发更高效的技能管理机制提供了机会。
对于构建 LLM 代理产品的公司，该研究提示技能库的维护和演化是提升任务解决能力的关键。投资于技能抽象和复用机制可能带来竞争优势，尤其是在复杂任务场景中。
未来可关注该基准的扩展应用，以及模型在技能抽象和复用方面的改进。可验证的信号包括：新模型在 ContinualSkillBench 上的表现提升，或出现针对技能演化的新方法。