When Self-Evolution Backfires: Pre-Commit Gating against Skill Contamination in LLM Agents
arXiv 论文 2608.05810v1 报告，自进化 LLM Agent 的技能蒸馏并非单调：超过临界池大小后，新增技能反而降低性能。论文将这一现象形式化为能力污染相变，并归因于缺陷技能进入决策上下文后成为后续技能蒸馏的参考材料，形成跨轮污染链。论文提出 Verifier-as-Gatekeeper (VaG) 方法，使用三种异构批评者（结构有效性、行为无害性、语义一致性）过滤技能，并结合边际增益子集选择。实验在 Terminal-Bench 上进行。
Development
- First ReportWhen Self-Evolution Backfires: Pre-Commit Gating against Skill Contamination in LLM AgentsarXiv cs.CL
- Current Assessment该研究对自进化 Agent 系统的设计有重要影响。当前许多 Agent 框架依赖技能库的持续扩展，但该论文表明，无约束的技能积累可能适得其反。这促使行业在设计 Agent 时考虑技能质量控制和污染预防，而非仅关注技能数量。VaG 方法提供了一种可操作的解决方案，可能被集成到 Agent 开发框架中。Agent Pulse · analysis
arXiv 论文 2608.05810v1 发现，自进化 LLM Agent 通过从执行轨迹中蒸馏可复用技能来积累能力，但该过程并非单调：超过临界池大小后，新增技能反而降低性能。论文将这一现象形式化为能力污染相变，并追踪到结构性原因：一旦缺陷技能进入决策上下文，它就成为后续技能蒸馏的参考材料，形成跨轮污染链。论文进一步证明污染在结构上不可逆：事后移除源技能无法消除其后代已继承的错误推理，因此事后回滚只能恢复一小部分性能损失。这使技能准入成为事前承诺而非事后修复，并催生了 Verifier-as-Gatekeeper (VaG) 方法：一个渐进信任层级，其三个异构批评者（结构有效性、行为无害性、语义一致性）分别过滤每个技能，并结合边际增益子集选择，在技能进入运行时上下文之前消除组合污染。实验在 Terminal-Bench 上进行。
该论文揭示了自进化 Agent 中技能库的相变行为：技能池存在临界大小，超过后新增技能导致性能下降。污染链机制表明，缺陷技能一旦进入上下文，会通过蒸馏过程影响后续技能，形成跨轮传播。VaG 方法通过多批评者过滤和边际增益子集选择，在技能进入运行时上下文前进行事前门控，而非事后回滚。这提示技能管理需要更严格的准入机制，而非简单的增量添加。
该研究对自进化 Agent 系统的设计有重要影响。当前许多 Agent 框架依赖技能库的持续扩展，但该论文表明，无约束的技能积累可能适得其反。这促使行业在设计 Agent 时考虑技能质量控制和污染预防，而非仅关注技能数量。VaG 方法提供了一种可操作的解决方案，可能被集成到 Agent 开发框架中。
对于构建自进化 Agent 产品的公司，该研究提供了关键设计原则：技能库需要质量控制，否则可能损害性能。这影响产品路线图，可能推动开发更稳健的技能管理工具。对于 Agent 平台提供商，集成 VaG 类机制可能成为差异化优势。
未来可验证的信号包括：VaG 方法在更多基准上的表现，以及是否有其他团队复现或扩展该研究。此外，可关注 Agent 框架是否开始集成类似的事前技能门控机制。