Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents
arXiv 论文 2608.03606v1 提出将肿瘤药物临床开发建模为离线决策问题，构建包含 31.7k 条公共记录、881 个决策片段、45 个历史项目的时序数据集，比较四种离线目标与四个前沿 LLM 智能体，发现离线训练模型优于非微调基线，其中奖励加权行为克隆表现最佳，在污染清除的保留集上取得 46.2% 的指示 F1 和 14.2% 的严格 F1。
Development
- First ReportLearning Clinical-Trial Strategy: Offline Policy Training for Decision AgentsarXiv cs.AI
- Current Assessment该研究展示了 LLM 智能体在药物开发决策中的潜力，通过离线训练可提升决策质量，尤其在数据污染清除后表现更佳，暗示真实世界部署可能更有效。这为制药行业利用公共数据训练决策智能体提供了新思路，可能改变临床试验策略的制定方式。Agent Pulse · analysis
该研究将肿瘤药物临床开发视为不确定性下的序贯决策，通过离线策略训练构建决策智能体。研究者整合试验注册、监管审查、申办方文件、利用数据和流行病学等 31.7k 条异构公共记录，形成 881 个离线决策片段，覆盖 45 个历史项目。他们比较了行为克隆、奖励加权行为克隆、学习奖励训练和基于价值的隐式 Q 学习四种离线目标，并对照四个共享日期门控检索脚手架的前沿 LLM 智能体，在药物、申办方、药物类别和时间分割的保留集上评估。结果显示，离线训练的模型在整体上优于非微调基线，尤其在 2025 年 8 月后的污染清除保留集上优势明显。其中奖励加权行为克隆表现最佳，取得 46.2% 的指示 F1 和 14.2% 的严格 F1。
该工作将临床开发建模为离线决策问题，使用包含时间戳的异构数据构建决策片段，并采用日期门控检索脚手架防止信息泄漏。四种离线目标中，奖励加权行为克隆表现最佳，表明在离线策略学习中，利用奖励权重调整行为克隆可能比纯行为克隆或复杂价值学习方法更有效。严格 F1 较低（14.2%）说明精确匹配试验组合仍具挑战，可能源于动作空间大和稀疏奖励。
该研究展示了 LLM 智能体在药物开发决策中的潜力，通过离线训练可提升决策质量，尤其在数据污染清除后表现更佳，暗示真实世界部署可能更有效。这为制药行业利用公共数据训练决策智能体提供了新思路，可能改变临床试验策略的制定方式。
对于制药企业，该技术可辅助优化临床试验组合，提高决策效率，降低失败风险。通过自动化策略生成，可能缩短试验设计周期，节省成本。同时，公共数据的利用降低了数据获取门槛，使中小型药企也能受益。
未来可探索更复杂的奖励建模、更大规模的数据整合以及跨疾病领域的泛化。随着更多数据公开和模型改进，离线策略训练有望在真实临床试验规划中辅助决策，但需验证其在动态环境中的鲁棒性。