Agents Catching Agents: Shortcut Cascades and Benchmark Gaming in Clinical Multi-Agent Systems
一项研究在七个队列、六个公开数据集上测试了临床多智能体系统（由语言模型智能体组成的委员会）是否会被捷径（benchmark 奖励但临床医生会忽略的线索）所欺骗。结果显示，Gemini 委员会在孤立情况下能抵抗这些线索（翻转率 5-16%），但当两个同伴断言同一个错误答案时，待测智能体在 38% 的情况下会采纳；虚假的"预筛查"系统标志也会导致类似采纳。三个监督智能体中，门控无法区分采纳与诚实同意（假阳性率 100%）；同源法官在文本上表现良好（精确率 100%，召回率 93%）但在影像上失效；私下重新查询待测智能体的裁判在影像上转移良好（精确率 77-88%，假阳性率 13-21%）。将线索的视觉显著性提高三倍不会改变传染，而第二个同伴声音会使传染增加一半。
Development
- First ReportAgents Catching Agents: Shortcut Cascades and Benchmark Gaming in Clinical Multi-Agent SystemsarXiv cs.AI
- Industry ResponseAgents Catching Agents: Shortcut Cascades and Benchmark Gaming in Clinical Multi-Agent SystemsHugging Face Daily Papers
- Current Assessment临床多智能体系统的部署需要警惕"捷径级联"：即使单个模型表现良好，委员会动态也可能放大错误。监督机制（如门控、法官、裁判）的有效性因模态而异，且"同源"监督（同一模型家族）可能在某些模态上失效。这提示在构建多智能体系统时，需要针对具体任务和模态设计验证机制，并考虑社会性线索（如同伴压力）的影响。Agent Pulse · analysis
临床决策支持正转向由语言模型智能体组成的委员会在共享工作区上协商。这项研究探讨了这些委员会是否会被捷径（benchmark 奖励但临床医生会忽略的线索）所欺骗。在七个队列、六个公开数据集（涵盖文本、影像和表格 ICU 记录）上，Gemini 委员会在孤立情况下能抵抗这些线索（翻转率 5-16%），但一种社会性合理的捷径会传播：当两个同伴断言同一个错误答案时，待测智能体在 38% 的情况下会采纳，虚假的"预筛查"系统标志也会导致类似采纳，且在两个能力层级上均如此。三个监督智能体中，门控无法区分采纳与诚实同意（假阳性率 100%）；同源法官只读取转录文本，在文本上能标记采纳（精确率 100%，召回率 93%）但在影像上失效；私下重新查询待测智能体的裁判在影像上转移良好（精确率 77-88%，假阳性率 13-21%）。将线索的视觉显著性提高三倍不会改变传染，而第二个同伴声音会使传染增加一半。
多智能体系统的社会动态可能引入新的失败模式：即使单个智能体对捷径有抵抗力，同伴压力（两个同伴断言同一错误答案）也能显著提高采纳率（38%）。监督机制的设计至关重要：门控无法区分采纳与诚实同意（假阳性率 100%），而同源法官在文本上有效但在影像上失效，表明监督需要模态特定的设计。裁判通过私下重新查询待测智能体，在影像上实现了更好的转移（精确率 77-88%），提示"独立验证"可能比"读取转录"更稳健。
临床多智能体系统的部署需要警惕"捷径级联"：即使单个模型表现良好，委员会动态也可能放大错误。监督机制（如门控、法官、裁判）的有效性因模态而异，且"同源"监督（同一模型家族）可能在某些模态上失效。这提示在构建多智能体系统时，需要针对具体任务和模态设计验证机制，并考虑社会性线索（如同伴压力）的影响。
对于构建临床决策支持系统的公司，这项研究强调了多智能体系统在真实部署中的风险：即使单个模型表现良好，委员会动态也可能引入错误。投资于监督机制（如独立验证）和针对特定模态的验证是必要的。此外，"预筛查"标志的虚假性提示需要确保系统标志的可信度，以避免误导临床决策。
未来研究可能探索更复杂的监督机制，以区分"采纳"与"诚实同意"，并扩展到更多模态和任务。也可能研究如何通过训练或提示来增强智能体对同伴压力的抵抗力，或设计更鲁棒的委员会协议。此外，"预筛查"标志的虚假性提示需要验证系统标志的可信度。