Beyond Aggregate Risk: Role-Stratified Conformal Risk Control for LLM Tool Calls
arXiv 论文《Beyond Aggregate Risk: Role-Stratified Conformal Risk Control for LLM Tool Calls》提出角色分层逐字段共形风险控制，作为校准层包装逐字段检测器，为语义参数角色设置独立阈值和风险预算。对流行度为 p_r 的角色，聚合认证需用有效预算 αp_r 保证角色特定风险 α，而角色分层校准直接认证每个充分采样的角色并给出有限样本保证，稀有角色用池化认证处理。在 AgentDojo 和 InjecAgent 上结合六个语言模型，该方法在模型与攻击迁移、检测器噪声、渐进漂移、未见工具套件和自适应攻击下实现最一致的角色特定预算合规。
发展脉络
- 首次出现Beyond Aggregate Risk: Role-Stratified Conformal Risk Control for LLM Tool CallsarXiv cs.AI
- 当前判断该研究为 LLM 工具调用安全提供了统计保证方法，可能影响 Agent 安全工具链的设计。通过角色分层风险控制，可在不牺牲整体效用的前提下，对高风险字段（如收件人、账户、命令、凭证）提供更强的风险保证。这或推动 Agent 安全从启发式检测转向有统计保证的校准层。Agent Pulse · 分析
该论文针对 LLM 工具调用中不同参数角色风险不均的问题，提出角色分层逐字段共形风险控制。现有统计方法通常控制整个动作的风险，使罕见高风险字段的失败被良性参数掩盖。新方法为每个语义角色设置独立阈值和风险预算，对充分采样的角色直接认证，稀有角色用池化认证。理论分析显示聚合认证需用有效预算 αp_r 才能保证角色特定风险 α，而分层校准直接认证。在 AgentDojo 和 InjecAgent 上结合六个语言模型，实证效用差距符合理论预测，方法在多种迁移和攻击场景下实现最一致的角色特定预算合规。
该方法将共形风险控制从整体动作粒度细化到语义角色字段粒度，为不同风险等级的参数设置独立阈值。理论贡献在于量化了聚合认证的代价：对流行度 p_r 的角色，需用 αp_r 的有效预算才能达到 α 的角色风险，而分层校准直接认证充分采样的角色。这为工具调用安全提供可验证的统计保证框架，可包装任意逐字段检测器。
该研究为 LLM 工具调用安全提供了统计保证方法，可能影响 Agent 安全工具链的设计。通过角色分层风险控制，可在不牺牲整体效用的前提下，对高风险字段（如收件人、账户、命令、凭证）提供更强的风险保证。这或推动 Agent 安全从启发式检测转向有统计保证的校准层。
对构建 Agent 安全产品的公司，该方法提供可证明的风险控制层，可能成为差异化卖点。对使用 Agent 的企业，可降低高风险操作（如凭证、命令）的失败率，提升自动化流程的可靠性。
后续可验证信号包括：该方法在更多工具套件和真实 Agent 工作流中的部署；与其他安全方法（如对抗训练、输入过滤）的组合效果；以及是否被主流 Agent 框架采纳为默认安全组件。