IFHierBench: Hierarchical Instruction Following for Large Language Models
IFHierBench 是一个层级指令跟随基准，包含 600 个提示，覆盖四种约束树深度和 35 种不同约束，每个提示配有确定性检查器。评估七个领先模型发现，最强模型提示级准确率仅略超 50%，且准确率随约束深度增加而急剧下降。
Development
- First ReportIFHierBench: Hierarchical Instruction Following for Large Language ModelsarXiv cs.CL
- Current Assessment该基准的发布表明，行业对指令跟随能力的评估正从扁平约束转向层级约束，反映了真实应用中复杂输出结构的需求。当前模型在层级指令上的低准确率意味着，依赖单次 LLM 调用生成结构化输出的应用（如自动化报告、代码生成）可能面临可靠性瓶颈。这或将推动模型提供商改进训练数据与解码策略，并促使企业评估模型时纳入此类基准。可验证的下一信号：主流模型在 IFHierBench 上的分数是否在后续版本中显著提升。Agent Pulse · analysis
IFHierBench 是一个新的层级指令跟随基准，用于评估大语言模型在单次调用中遵循嵌套约束的能力。现有基准将约束视为统一应用的扁平列表，无法针对输出的特定部分进行范围检查。IFHierBench 包含 600 个提示，跨越四种约束树深度和 35 种不同约束，每个提示配有确定性检查器，验证每个作用域的满足情况。评估七个领先的专有和开源模型，发现即使最强模型提示级准确率也仅略超 50%，且准确率随约束深度增加而急剧下降。可靠地遵循嵌套约束仍是当前 LLM 的重大差距，这激励了考虑约束结构的未来训练方法。
IFHierBench 揭示了当前 LLM 在层级指令跟随上的显著不足，最强模型准确率仅略超 50%，且随约束深度增加性能急剧下降。这表明现有模型在处理嵌套结构约束时存在系统性缺陷，可能源于注意力机制难以同时追踪多层约束。未来训练方法需显式建模约束层级，例如通过结构化解码或分层强化学习。可验证的下一信号：模型在 IFHierBench 上的准确率是否随训练数据中层级指令比例增加而提升。
该基准的发布表明，行业对指令跟随能力的评估正从扁平约束转向层级约束，反映了真实应用中复杂输出结构的需求。当前模型在层级指令上的低准确率意味着，依赖单次 LLM 调用生成结构化输出的应用（如自动化报告、代码生成）可能面临可靠性瓶颈。这或将推动模型提供商改进训练数据与解码策略，并促使企业评估模型时纳入此类基准。可验证的下一信号：主流模型在 IFHierBench 上的分数是否在后续版本中显著提升。
对于依赖 LLM 生成结构化输出的企业，IFHierBench 提供了评估模型层级指令跟随能力的量化工具，帮助选择更可靠的模型。当前模型在层级指令上的低准确率意味着，企业在关键任务中需增加验证与重试机制，或采用分解任务的方式，从而增加成本。随着模型改进，单次调用生成复杂输出的可靠性提升，可降低集成成本并扩展自动化场景。可验证的下一信号：企业是否在模型选型中采用 IFHierBench 作为评估指标。
IFHierBench 可能成为评估 LLM 指令跟随能力的新标准，推动模型在层级约束上的改进。未来训练方法可能引入约束树感知的损失函数或解码算法，以提升嵌套指令的遵循能力。随着模型在此基准上的提升，单次调用生成复杂结构化输出的可靠性将增强，从而扩大 LLM 在自动化工作流中的应用。可验证的下一信号：后续研究是否引用 IFHierBench 作为训练方法改进的评估依据。