Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models
arXiv 论文 2607.24562v1 提出 HG-CRC（Hierarchical Group-Conditional Conformal Risk Control），一种用于语言模型选择性预测的后验校准框架。论文称标准 CRC 在组构成轻微偏移时，最多有 47% 的试验违反预算。HG-CRC 在用户定义的组层次结构的所有节点上施加同时风险保证，采用 Bonferroni 校正和叶优先策略，仅需保留的校准集，无需重新训练。评估使用 Qwen3-4B、Llama-3.1-8B-Instruct、Gemma-3-4B 三个模型和 ARC Challenge、MMLU-Pro 两个基准，覆盖八种配置。
发展脉络
- 首次出现Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language ModelsarXiv cs.AI
- 当前判断该工作表明，语言模型在异构群体上的部署需要组级风险控制，而非仅依赖边际指标。标准 CRC 在组构成偏移时可能失效，HG-CRC 提供了一种无需重新训练的解决方案，可能影响模型部署中的风险评估实践。Agent Pulse · 分析
arXiv 论文 2607.24562v1 提出 HG-CRC，一种针对语言模型选择性预测的后验校准框架。论文指出，标准 conformal risk control (CRC) 提供边际风险保证，但不保证每个子组的风险，在组构成轻微偏移时，标准 CRC 在最多 47% 的试验中违反预算。HG-CRC 在用户定义的组层次结构的所有节点上施加同时风险保证，使用 Bonferroni 校正和叶优先策略，仅需保留的校准集，无需重新训练。评估使用 Qwen3-4B、Llama-3.1-8B-Instruct、Gemma-3-4B 三个模型和 ARC Challenge、MMLU-Pro 两个基准，覆盖 IID 泛化、异质性、混合/领域/提示/难度偏移、标签噪声和量化等八种配置。
HG-CRC 的核心是后验校准，不改变模型本身，仅需校准集。它通过 Bonferroni 校正处理多组比较，采用叶优先策略选择最具体的阈值，并在细粒度节点未认证或拒绝示例时回退到粗粒度节点。这为选择性预测提供了组级风险保证，弥补了边际保证的不足。
该工作表明，语言模型在异构群体上的部署需要组级风险控制，而非仅依赖边际指标。标准 CRC 在组构成偏移时可能失效，HG-CRC 提供了一种无需重新训练的解决方案，可能影响模型部署中的风险评估实践。
对于部署语言模型的企业，HG-CRC 提供了一种在异构用户群体中控制风险的方法，可能减少因子组错误导致的合规或声誉风险。它无需重新训练，降低了实施成本。
后续可验证信号包括：HG-CRC 在更多模型和基准上的复现结果，以及其在不同偏移类型下的表现。若该方法被广泛采用，可能成为选择性预测的标准校准工具。