The Bitter Lesson of Tool Calling
arXiv 论文 2608.06370v1 在 BFCL v4 基准上比较了程序化工具调用（PTC）与原生 JSON 工具调用，覆盖 14 个语言模型。PTC 在 11/14 模型上匹配或超过 JSON 基线，GPT-5.6 家族提升 10.6%；并行扇出下 13/14 模型匹配或超过；上下文腐烂条件下基线平均下降 2.3%，PTC 保持稳定。
发展脉络
- 首次出现The Bitter Lesson of Tool CallingarXiv cs.CL
- 当前判断工具调用是 agent 系统的关键接口，PTC 的优越性可能推动 agent 框架从 JSON 转向代码生成，影响工具生态和开发者工具链。可验证的下一信号：主流 agent 框架（如 LangChain、AutoGPT）是否增加 PTC 支持，以及模型 API 是否提供代码执行环境。Agent Pulse · 分析
一篇 arXiv 论文（2608.06370v1）提出程序化工具调用（PTC）范式，将工具暴露为类型化 Python 存根，模型通过代码调用工具，在单个 agent 回合内执行并返回结果。在 BFCL v4 基准上对 14 个语言模型进行系统评估，PTC 在 11/14 模型上匹配或超过原生 JSON 工具调用，GPT-5.6 家族提升 10.6%；并行扇出下 13/14 模型匹配或超过；在上下文腐烂条件下基线平均下降 2.3%，PTC 保持稳定。结果表明 PTC 是 JSON 工具调用的可行且稳健的替代方案。
程序化工具调用通过代码生成实现工具调用，相比 JSON 更自然地支持链式调用和并行化，可能减少结构化输出错误。在上下文腐烂条件下 PTC 的稳定性暗示代码生成对上下文噪声的鲁棒性更强。可验证的下一信号：PTC 在更长上下文或更复杂工具组合中的表现，以及是否被主流模型原生支持。
工具调用是 agent 系统的关键接口，PTC 的优越性可能推动 agent 框架从 JSON 转向代码生成，影响工具生态和开发者工具链。可验证的下一信号：主流 agent 框架（如 LangChain、AutoGPT）是否增加 PTC 支持，以及模型 API 是否提供代码执行环境。
PTC 提升工具调用性能（GPT-5.6 提升 10.6%）和稳定性，可能降低 agent 应用失败率，提升开发者体验，推动 agent 产品商业化。可验证的下一信号：采用 PTC 的 agent 产品在客户处的任务成功率提升。
若 PTC 被广泛采用，工具调用将更接近编程，可能降低 agent 开发门槛并提升复杂任务执行能力。未来可观察 PTC 在真实世界任务中的表现，以及是否成为模型默认工具调用方式。