HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
HarnessOpt-Bench 是一个用于评估 LLM 在 harness 优化任务上表现的基准。它由 arXiv 论文 (2608.06301v1) 于 2026-08-06 提出。该基准在昂贵且随机的评估条件下，测试优化器（LLM 与编码 harness 配对）改进目标 agent 的 seed harness 的能力。优化器接收 seed harness、分级评估反馈和固定预算，编辑 harness 并提名最终候选，最终候选根据其在保留测试分区上的归一化增益进行评分。可信执行环境强制执行评估边界、计量资源使用并保留候选版本。论文评估了 5 个前沿 LLM 作为优化器。
Development
- First ReportHarnessOpt-Bench: Evaluating LLMs at Harness OptimizationarXiv cs.AI
- Current Assessment该基准的出现表明，社区开始关注 agentic 系统的整体性能，而不仅仅是模型权重。这可能会推动 agent 开发工具链的标准化，并促进对 harness 优化的研究。Agent Pulse · analysis
HarnessOpt-Bench 是一个新基准，用于衡量前沿 LLM 在自动化 harness 优化方面的能力。随着 LLM 在 agentic 系统中部署，其能力不仅取决于模型权重，还取决于 harness（提示、工具、控制流、内存和编排代码）。该基准提供了一个通用协议，用于在昂贵且随机的评估条件下评估端到端的 harness 优化。优化器（LLM 与编码 harness 配对）接收目标 agent 的 seed harness、分级评估反馈和固定预算，编辑 harness 并提名最终候选，最终候选根据其在保留测试分区上的归一化增益进行评分。可信执行环境强制执行评估边界、计量资源使用并保留候选版本。论文评估了 5 个前沿 LLM 作为优化器。
该基准引入了一个可信执行环境来强制执行评估边界，这解决了 agentic 系统中评估作弊和资源计量的问题。优化器在固定预算下迭代改进 harness，这类似于自动机器学习中的超参数优化，但针对的是更复杂的 harness 代码。保留测试分区的使用确保了评估的泛化性。
该基准的出现表明，社区开始关注 agentic 系统的整体性能，而不仅仅是模型权重。这可能会推动 agent 开发工具链的标准化，并促进对 harness 优化的研究。
对于构建 agentic 系统的公司，该基准提供了一种衡量和优化系统性能的方法，可能降低开发成本并提高系统可靠性。
未来，该基准可能会成为评估 agent 系统性能的标准之一，并可能催生专门的 harness 优化工具或服务。