Aug 3, 2026 · onepot-Bench 0
onepot-Bench 0: towards lab-aware in silico chemistry benchmarks
onepot-Bench 0 是一个专有的基准测试套件，用于评估语言模型在湿实验室执行相关的合成化学能力。它包含三个评估：ChemAbacus（无工具化学信息学素养和数值推理）、SynthRefusal（安全与拒绝行为）和 SynthBench（反应结果预测和催化剂选择，使用实验室生成的私有实验数据）。
EVENT STORY
Development
- First Reportonepot-Bench 0: towards lab-aware in silico chemistry benchmarksarXiv cs.LG
- Current Assessment该基准的引入表明，AI 在实验室科学中的应用正从通用问题解决转向领域特定的可靠性和安全性评估。这反映了行业对模型在现实世界任务中可信度的关注，尤其是在药物发现和化学合成等高风险领域。Agent Pulse · analysis
onepot-Bench 0 是一个新的专有基准测试套件，旨在评估语言模型在合成化学方面的能力，特别是与湿实验室执行相关的能力。该基准由三个互补的评估组成：ChemAbacus 测试无工具的化学信息学素养和数值推理；SynthRefusal 评估模型在良性、受控和设计药物目标上的安全与拒绝行为；SynthBench 使用实验室生成的私有实验数据评估反应结果预测和催化剂选择。该基准旨在解决现有评估的局限性，这些评估通常依赖可能已出现在模型训练语料库中的公共数据，并且很少衡量在物理实验室中做出可靠决策所需的能力。
该基准通过结合工具无关的推理、安全行为和私有实验数据上的预测，提供了对语言模型化学能力的更全面评估。SynthBench 使用私有数据可能减少数据污染风险，从而更真实地反映模型在未见数据上的表现。
该基准的引入表明，AI 在实验室科学中的应用正从通用问题解决转向领域特定的可靠性和安全性评估。这反映了行业对模型在现实世界任务中可信度的关注，尤其是在药物发现和化学合成等高风险领域。
对于从事药物发现或化学合成的公司，该基准提供了一种评估语言模型在关键任务上可靠性的方法，有助于选择适合的模型并降低实验失败的风险。
未来，类似的领域特定基准可能会成为标准，推动模型在专业任务上的改进。可验证的下一信号是 onepot-Bench 0 的公开版本或后续版本，以及模型在该基准上的性能提升。