HarnessOpt-Bench: Evaluating LLMs at Harness Optimization

HarnessOpt-Bench 是一个新基准，用于衡量前沿 LLM 在自动化 harness 优化方面的能力。随着 LLM 在 agentic 系统中部署，其能力不仅取决于模型权重，还取决于 harness（提示、工具、控制流、内存和编排代码）。该基准提供了一个通用协议，用于在昂贵且随机的评估条件下评估端到端的 harness 优化。优化器（LLM 与编码 harness 配对）接收目标 agent 的 seed harness、分级评估反馈和固定预算，编辑 harness 并提名最终候选，最终候选根据其在保留测试分区上的归一化增益进行评分。可信执行环境强制执行评估边界、计量资源使用并保留候选版本。论文评估了 5 个前沿 LLM 作为优化器。

该基准引入了一个可信执行环境来强制执行评估边界，这解决了 agentic 系统中评估作弊和资源计量的问题。优化器在固定预算下迭代改进 harness，这类似于自动机器学习中的超参数优化，但针对的是更复杂的 harness 代码。保留测试分区的使用确保了评估的泛化性。