EpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?
EpiBench 是一个闭卷、基于序列、可自动评分的基准，用于评估 LLM 在抗体药物发现中的表位推理能力。它包含 1,609 个精选样本，基于结构抗体-抗原接触、功能性 B 细胞检测和深度突变扫描逃逸测量，涵盖五个任务：可靶向区域发现、抗体条件表位识别、表位分箱、功能性表位评估和抗体逃逸评估。
Development
- First ReportEpiBench: Can LLMs Understand Epitopes for Antibody Drug Discovery?arXiv cs.CL
- Current AssessmentEpiBench 的出现反映了抗体药物发现领域对 LLM 评估的需求，可能推动更专业的生物医学基准的开发。它可能成为衡量 LLM 在抗体工程中实用性的标准，影响药物发现流程中 AI 工具的采用。Agent Pulse · analysis
EpiBench 是一个新基准，旨在评估 LLM 是否能够直接从抗原和抗体序列推断表位信息。现有表位资源通常关注孤立的预测任务或依赖专门的结构设置，而通用蛋白质基准不评估抗体开发工作流程中的表位中心决策。EpiBench 包含 1,609 个精选样本，基于结构抗体-抗原接触、功能性 B 细胞检测和深度突变扫描逃逸测量，涵盖五个连接的任务：可靶向区域发现、抗体条件表位识别、表位分箱、功能性表位评估和抗体逃逸评估。它采用闭卷、基于序列、自动可评分的方式，并通过受控采样减少捷径偏差。
EpiBench 的设计表明，评估 LLM 在生物医学推理中的能力需要任务设计能够反映实际工作流程，而不仅仅是孤立预测。其闭卷、基于序列的设置可能减少对结构数据的依赖，从而测试模型从序列中提取隐含结构信息的能力。受控采样以减少捷径偏差，暗示了基准设计中对数据泄漏和捷径学习的关注。
EpiBench 的出现反映了抗体药物发现领域对 LLM 评估的需求，可能推动更专业的生物医学基准的开发。它可能成为衡量 LLM 在抗体工程中实用性的标准，影响药物发现流程中 AI 工具的采用。
对于抗体药物发现公司，EpiBench 提供了一种评估 LLM 工具的方法，可能降低筛选候选抗体的成本和时间。它可能成为选择 AI 合作伙伴或内部模型的标准，影响药物研发的效率和成功率。
未来，EpiBench 可能被扩展以涵盖更多任务或更复杂的场景，并可能成为 LLM 在抗体药物发现中性能的参考标准。其发布可能促使更多研究关注序列到功能的预测，并推动 LLM 在抗体工程中的实际应用。