2026年7月15日 · STOCKTAKE
STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle
STOCKTAKE 论文提出用公平 oracle 测量 LLM agent 在感知与行动之间的差距，指出现有评估无法区分 agent 是误读世界还是正确读取但未能行动（knowing-doing gap）。
EVENT STORY
发展脉络
- 首次出现STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair OraclearXiv cs.AI
- 当前判断该研究反映了 LLM agent 评估从最终结果向过程诊断的转变，可能推动 agent 开发工具链中评估环节的升级。Agent Pulse · 分析
STOCKTAKE 论文针对 LLM agent 在多周决策任务中的评估问题，提出用公平 oracle 测量感知与行动之间的差距。论文指出，在最终成本无法直接观察状态的任务中，现有评估无法解释 agent 失败的原因：可能是误读世界，也可能是正确读取但未能行动（即 knowing-doing gap）。STOCKTAKE 通过引入公平 oracle 来区分这两种失败模式，从而更准确地评估 agent 的能力。
STOCKTAKE 的核心贡献在于引入公平 oracle 来分离感知错误与行动错误，这为 agent 评估提供了更细粒度的诊断方法。未来可关注该方法是否被集成到主流 agent 评估框架中，以及是否能推广到更复杂的任务。
该研究反映了 LLM agent 评估从最终结果向过程诊断的转变，可能推动 agent 开发工具链中评估环节的升级。
对于构建 agent 产品的团队，该方法有助于定位失败原因，减少调试成本，提升开发效率。
未来可关注 STOCKTAKE 方法是否被主流评估基准采用，以及是否出现基于该方法的商业化评估工具。