Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language
CheMatE 是一个基于 ModernBERT 的化学嵌入模型，通过两阶段训练（MLM 和 Matryoshka 对比学习）联合学习 SMILES 和自然语言表示。训练语料包含从 FineWeb 和 ChemPile 构建的 10.4B 和 11.5B token 的 SMILES 注释长上下文科学文档。
发展脉络
- 首次出现Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural LanguagearXiv cs.LG
- 当前判断该研究反映了化学信息学中向联合多模态表示发展的趋势，可能推动药物发现和材料科学中更有效的分子检索和属性预测。可验证的下一信号：是否有商业化学数据库或工具集成该模型。Agent Pulse · 分析
CheMatE 是一个面向化学的嵌入模型，旨在联合表示分子结构（SMILES）和领域特定的自然语言。它基于 ModernBERT 架构，采用两阶段训练：首先在包含 SMILES 注释的长上下文科学文档（来自 FineWeb 和 ChemPile，分别包含 10.4B 和 11.5B token）上进行继续掩码语言建模（MLM），然后通过 Matryoshka 对比学习（使用多负排名损失）在合成 SMILES-文本对上进行训练。该模型解决了领域自适应预训练导致模型过度拟合化学语法而灾难性遗忘基础语义能力的问题。
CheMatE 的两阶段训练方法（先 MLM 后对比学习）可能为化学领域嵌入模型提供一种平衡语法和语义的范式。其使用 Matryoshka 表示学习可能支持灵活的嵌入维度，适应不同下游任务。可验证的下一信号：模型是否在化学问答或分子性质预测等任务上超越现有基线。
该研究反映了化学信息学中向联合多模态表示发展的趋势，可能推动药物发现和材料科学中更有效的分子检索和属性预测。可验证的下一信号：是否有商业化学数据库或工具集成该模型。
对于化学和制药行业，CheMatE 可能降低分子-文本检索和属性预测的成本，加速文献挖掘和虚拟筛选。可验证的下一信号：是否有公司采用该模型用于内部研发流程。
CheMatE 可能成为化学领域嵌入模型的新基准，未来可能扩展到其他分子表示或生物序列。可验证的下一信号：模型权重是否开源，以及后续是否有更大规模或更多模态的扩展。