Guideline-as-Oracle: Zero-Annotation Training of an Ophthalmic Telephone Triage Agent
GAO 将美国眼科学会指南编译为 70 行操作规则表，作为 3,000 个训练对话的唯一实例级监督来源，人工标注仅用于评估。基于 9B 主干微调得到 GAO-Triage，在 201 例操作参考上一致性从 61.7% 提升至 74.1%（exact McNemar p=0.0046），突发案例召回率从 9.5% 提升至 69.0%，并在第二个种子和患者模拟器上保持。七个通用系统均未在两项指标上同时超越 GAO-Triage，且推理时无需前沿模型。
发展脉络
- 首次出现Guideline-as-Oracle: Zero-Annotation Training of an Ophthalmic Telephone Triage AgentarXiv cs.CL
- 当前判断医疗 AI 领域长期受限于高质量标注数据的稀缺和隐私约束，GAO 提供了一种零标注的替代路径，可能降低医疗 Agent 开发的门槛。该方法在眼科电话分诊场景验证，但策略的通用性（如规则编译、对话构建）可能迁移到其他专科。七个通用系统未能同时超越 GAO-Triage，暗示专用规则监督在特定任务上优于通用模型。Agent Pulse · 分析
针对多轮医疗 Agent 监督扩展困难（专家对话标注昂贵、临床对话受隐私限制）的问题，研究者提出 Guideline-as-Oracle (GAO) 方法：将美国眼科学会指南编译为 70 行操作规则表，作为 3,000 个训练对话的唯一实例级监督来源，人工标注仅用于评估。由于将规则转化为对话本身是设计问题，研究者整理了八种构建策略，包括引用行分级分配、单事实边界对、仅元数据修复和标签修复，并刻画了每种策略的证据状态：标注机制、空、混淆或仅作为整体评估。基于 9B 主干微调得到 GAO-Triage，在 201 例操作参考上一致性从 61.7% 提升至 74.1%（exact McNemar p=0.0046），突发案例召回率从 9.5% 提升至 69.0%，并在第二个种子和患者模拟器上保持。七个通用系统均未在两项指标上同时超越 GAO-Triage，且推理时无需前沿模型。
GAO 的核心在于将临床指南编译为可操作的规则表，并以此作为对话生成的唯一监督信号，避免了昂贵且隐私受限的人工对话标注。八种构建策略的划分表明，规则到对话的转化本身是设计空间，不同策略的证据状态（标注机制、空、混淆或整体评估）影响训练数据的质量与可解释性。9B 模型在无需前沿模型推理的情况下达到 74.1% 的一致性，说明规则化监督可以显著提升小模型的临床对话能力。
医疗 AI 领域长期受限于高质量标注数据的稀缺和隐私约束，GAO 提供了一种零标注的替代路径，可能降低医疗 Agent 开发的门槛。该方法在眼科电话分诊场景验证，但策略的通用性（如规则编译、对话构建）可能迁移到其他专科。七个通用系统未能同时超越 GAO-Triage，暗示专用规则监督在特定任务上优于通用模型。
GAO 可能降低医疗对话 Agent 的训练成本，减少对专家标注和前沿模型推理的依赖，使中小型机构也能开发专科分诊工具。若方法验证可迁移，可能加速医疗 AI 产品在隐私敏感场景的落地，并影响相关服务的定价与部署模式。
后续可验证信号包括：GAO 方法在其他医学专科或非医疗领域（如法律、客服）的迁移效果；规则表规模与对话质量的关系；不同构建策略对最终性能的独立贡献；以及该方法在真实临床环境中的部署效果。