AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers
AgentHPOBench 是一个用于评估 LLM 智能体作为顺序超参数优化器的基准，包含 30 个可执行机器学习任务，涵盖七个研究类别。每个任务从验证过的基线运行开始，智能体执行多次顺序干预，观察累积配置、指标和日志后提出下一个有效配置。研究在统一协议下评估了 12 个广泛使用的智能体和传统 HPO 基线，结果显示当前智能体在跨领域表现出可测量的实验优化能力，但在持续迭代改进、复杂日志诊断和向参考性能稳定进展方面存在明显局限。
发展脉络
- 首次出现AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter OptimizersarXiv cs.AI
- 当前判断该基准填补了评估智能体实验能力的空白，可能推动更全面的智能体评测标准。随着 LLM 从代码补全转向自主科学智能体，此类基准将影响智能体在科研和工程中的应用，促使开发者关注智能体的迭代优化能力。Agent Pulse · 分析
AgentHPOBench 是一个新基准，用于评估 LLM 智能体在顺序超参数优化中的实验能力。现有基准通常关注静态代码生成、论文复现或最终答案正确性，不直接评估智能体解释实验证据并指导后续超参数决策的能力。该基准包含 30 个可执行机器学习任务，覆盖七个研究类别，每个任务从验证过的基线开始，智能体进行多次顺序干预，观察累积配置、指标和日志后提出下一个配置。研究在统一协议下评估了 12 个智能体和传统 HPO 基线，发现当前智能体表现出可测量的优化能力，但在持续迭代改进、复杂日志诊断和一致进展方面存在局限。
该基准强调顺序决策和证据解释，而非单步代码生成。智能体需要从日志和指标中提取信号，并据此调整超参数，这要求模型具备推理和规划能力。当前智能体在简单任务上表现良好，但在复杂日志诊断和长期迭代中表现不佳，提示模型在长上下文理解和多步推理上仍有不足。
该基准填补了评估智能体实验能力的空白，可能推动更全面的智能体评测标准。随着 LLM 从代码补全转向自主科学智能体，此类基准将影响智能体在科研和工程中的应用，促使开发者关注智能体的迭代优化能力。
该基准为评估和比较智能体在自动化机器学习中的能力提供了标准，可能影响 AutoML 工具和智能体平台的开发。企业可据此选择适合其 HPO 需求的智能体，并推动智能体在实验自动化中的应用。
未来可能看到更多针对智能体实验能力的基准，以及改进模型在日志诊断和持续优化方面的训练方法。智能体在 HPO 上的表现可能提升，但需解决长上下文和复杂推理的挑战。