Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents
arXiv 论文 'Scores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM Agents' 提出 CAM-DF 方法，将工具获取建模为成本感知的边际决策停止问题，并在 τ-bench Retail 上取得最高收益。
Development
- First ReportScores Are Not Decisions: Cost-Aware Stopping for Tool Acquisition in LLM AgentsarXiv cs.AI
- Current Assessment该工作直接回应了 LLM agent 部署中的成本控制痛点，特别是当 agent 需要调用大量付费 API 或私有数据源时。CAM-DF 提供了一种可部署的决策框架，有望被集成到 agent 编排平台中。可验证的下一信号：是否有主流 agent 框架（如 LangChain、AutoGPT）采纳类似成本感知的停止策略。Agent Pulse · analysis
该论文指出 LLM agent 在依赖多种外部服务时面临工具选择难题：获取太少工具导致任务信息不足，获取太多则增加成本、上下文负载和隐私风险。现有方法仅对候选工具进行相关性排序，但未解决在异构成本下应选择多少个工具的问题。作者将这一决策形式化为成本感知的边际决策停止（CAM-DF），并设计了可解释的轻量变体 CAM-DF-lite。训练目标直接优化当前停止与最佳继续之间的离线差距，其符号标记决策方向，幅度加权每个错误的收益损失。理论证明该目标与停止目标贝叶斯对齐，且纯分数规则在异构成本下非最优。在五个工具使用领域的 1343 个任务上评估，在 τ-bench Retail 上 CAM-DF 在所有可部署方法中取得最高收益，且在所有五个排序源上均优于预测-阈值基线。
CAM-DF 将工具获取视为一个停止问题，通过直接优化停止决策的收益损失来训练模型，而非先预测分数再设阈值。其核心创新在于利用离线差距的符号和幅度作为监督信号，使得模型在异构成本下能做出更优的停止决策。可验证的下一信号：是否有后续工作将 CAM-DF 扩展到动态工具成本或在线学习场景。
该工作直接回应了 LLM agent 部署中的成本控制痛点，特别是当 agent 需要调用大量付费 API 或私有数据源时。CAM-DF 提供了一种可部署的决策框架，有望被集成到 agent 编排平台中。可验证的下一信号：是否有主流 agent 框架（如 LangChain、AutoGPT）采纳类似成本感知的停止策略。
对于构建 LLM agent 的企业，CAM-DF 可直接降低工具调用成本，同时保持任务完成质量。在 τ-bench Retail 上的收益提升表明，该方法在商业场景中具有实际价值，尤其适合需要频繁调用付费服务的 agent 应用。可验证的下一信号：是否有企业客户在 production 中部署 CAM-DF 并报告成本节省数据。
CAM-DF 为 agent 工具选择提供了新的优化方向，未来可能推动更细粒度的成本建模和实时决策。随着 agent 任务复杂度提升，成本感知的停止策略将成为 agent 系统设计的关键组件。可验证的下一信号：是否有研究将 CAM-DF 与强化学习结合，实现端到端的工具获取策略。