PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents
PAST-Bench 是一个基准测试，用于评估个人 AI 代理的递归自我改进能力。它通过 26 个场景和 204 个回合，在保留经验开启和关闭的匹配条件下，测试代理在记忆、程序复用、信息收集和更新方面的表现。研究覆盖 7 个基础模型和 4 个代理框架，发现改进是真实的但不均衡。基于此，研究者开发了 Hermes+，通过五个针对性干预措施提高了平均增益。
发展脉络
- 首次出现PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal AgentsarXiv cs.CL
- 当前判断PAST-Bench 的出现表明，代理的长期学习能力正成为研究焦点，这可能会推动代理框架和基础模型在记忆管理和技能复用方面的优化。对于行业而言，这意味着未来的代理产品可能需要更强调跨会话的持续改进，而不仅仅是单次任务的执行能力。Agent Pulse · 分析
PAST-Bench 基准测试旨在系统评估个人 AI 代理的递归自我改进能力，即代理能否将积累的经验转化为更好的未来行为。该基准通过 26 个场景和 204 个回合，在保留经验开启和关闭的匹配条件下，测试代理在记忆、程序复用、信息收集和更新方面的表现。研究发现，在 7 个基础模型和 4 个代理框架中，改进是真实的但不均衡，且具有相同总体增益的代理在是否遵循预期的保存、检索和更新路径上存在显著差异。基于这些发现，研究者开发了 Hermes+，通过五个针对代理循环阶段的干预措施，提高了平均增益。
PAST-Bench 的贡献在于将递归自我改进分解为可测试的组件，并区分了总体增益与路径证据。这提示我们，评估代理改进时，不仅要看最终性能提升，还要验证其是否真正通过预期的机制实现。对于构建代理系统的工程师，这意味着需要设计可观测的中间信号，以确认改进是否来自经验的有效利用，而非偶然因素。
PAST-Bench 的出现表明，代理的长期学习能力正成为研究焦点，这可能会推动代理框架和基础模型在记忆管理和技能复用方面的优化。对于行业而言，这意味着未来的代理产品可能需要更强调跨会话的持续改进，而不仅仅是单次任务的执行能力。
对于开发个人代理产品的公司，PAST-Bench 提供了一种评估代理长期价值的方法，即代理是否随使用而改进。这有助于产品差异化，并可能影响用户留存，因为能够持续改进的代理更具吸引力。
未来，PAST-Bench 可能成为评估代理自我改进能力的标准基准，促使更多研究关注代理的长期学习机制。可验证的下一信号是：更多代理框架采用类似 PAST-Bench 的评估方法，并出现针对记忆和技能复用的专门优化。