ChemBERTa-2：迈向化学基础模型的自监督预训练新范式

最新推荐文章于 2026-08-04 16:34:46 发布

原创

最新推荐文章于 2026-08-04 16:34:46 发布 · 209 阅读

1. 从ChemBERTa到ChemBERTa-2：化学AI的“大语言模型”之路

如果你关注过AI在化学领域的应用，这两年肯定没少听到“分子性质预测”这个词。简单来说，就是让AI看一眼分子的结构式（比如SMILES字符串），就能告诉我们这个分子有没有毒性、能不能穿透血脑屏障、或者和某个靶点结合的能力强不强。这活儿以前得靠实验化学家们在实验室里泡上好几个月，现在AI模型几秒钟就能给出预测，听起来是不是很科幻？

但早期的模型有个大问题：它们大多是“从头开始”训练的。就像教一个不认识字的小孩直接去读博士论文，效果可想而知。每个新任务都需要大量的、带标签的实验数据去“喂养”模型，而化学实验数据恰恰是最昂贵、最稀缺的资源。这就形成了一个死循环：没有数据就训不好模型，模型不好用就更难产生有效数据。

这时候，ChemBERTa出现了。它的核心思路借鉴了自然语言处理（NLP）里颠覆性的思想——自监督预训练。想象一下，我们怎么教一个孩子学中文？不是一开始就让他做阅读理解题，而是先让他海量地听和读，在上下文中自然而然地学会词汇、语法和语义。ChemBERTa对分子做的也是同样的事：它把分子的SMILES字符串当成一种特殊的“化学语言”，然后通过“掩码语言模型”（MLM）任务进行预训练。具体来说，就是随机盖住SMILES字符串中的一部分“字符”（原子或化学键符号），让模型根据上下文去猜被盖住的是什么。通过完成这个看似简单的填空游戏，模型在无标签的海量分子结构数据中，自发地学会了分子结构的语法规则和深层表征。

原始的ChemBERTa基于RoBERTa架构，在数百万个PubChem分子上进行了预训练，然后在MoleculeNet等基准数据集上微调，已经在多个性质预测任务上证明了其价值。但科研的脚步从未停止，当我们还在消化ChemBERTa时，更强的ChemBERTa-2已经登场。它不仅仅是规模的扩大，更是在预训练范式、模型架构和任务设计上的一次全面演进，真正朝着“化学基础模型”的宏伟目标迈进。如果说ChemBERTa是学会了识文断字，那么ChemBERTa-2的目标就是成为化学领域的“通才”，具备更深刻的理解和更强的泛化能力。

2. ChemBERTa-2的核心革新：不只是更大，而是更聪明

ChemBERTa-2的改进是全方位的，我把它总结为“三大升级”。这些升级不是拍脑袋想出来的，而是针对化学数据特点和下游任务需求做的深度优化。

2.1 预训练数据的“质”与“量”双飞跃

第一代ChemBERTa主要使用了PubChem的数据。PubChem固然是宝库，但ChemBERTa-2将数据源的视野放得更广。除了更大量的PubChem化合物，它还整合了像ZINC这样的商业化合物库，以及更多来自专利、文献的专有分子结构。数据量级从百万级向千万级甚至更高迈进。

但更重要的是数据质量的提升和处理的精细化。化学SMILES字符串存在一个经典问题：同一个分子可能有多种合法且不同的SMILES表示（称为“规范化”问题）。这就像同一个人有多个曾用名，如果模型把它们当成完全不同的东西来学，就会引入噪声。ChemBERTa-2在预训练前，很可能对数据进行了更严格的**规范化（Canonicalization）**处理，确保每个分子以一种标准、唯一的形式输入模型。这一步看似简单，却能极大提升模型学习到的表征的一致性。

此外，对于超大规-模数据集（比如千万级），ChemBERTa-2采用了更科学的训练策略。原始论文中提到，在1000万分子子集上只训练了3个epoch，以避免过拟合。ChemBERTa-2可能进一步优化了这种策略，比如引入动态掩码比例、更复杂的课程学习（从简单样本到复杂样本），或者对难例样本进行重点学习，让模型每一轮训练的效率更高。

2.2 分词器（Tokenizer）的化学专业化定制

这是ChemBERTa-2可能最具巧思的改进之一。原始ChemBERTa直接借用了NLP中通用的**字节对编码（BPE）**分词器。BPE对于自然语言很有效，但它本质上是基于统计频率来合并字符，对化学语义的理解是盲目的。

举个例子，SMILES字符串中的“C1=CC=CC=C1”代表苯环。BPE可能会把它切成 [“C1”, “=C”, “C=”, “CC”, “=C1”] 这种奇怪的片段，完全破坏了“苯环”作为一个整体功能团的概念。而一个懂化学的分词器，应该能识别出“c1ccccc1”（小写c代表芳香碳）作为一个完整的芳香环模式。

原始文章末尾提到了一个实验：使用基于正则表达式的、化学语义更明确的 SmilesTokenizer（来自DeepChem库）在Tox21任务上取得了比BPE更好的效果（∆PRC-AUC +0.015）。这个信号非常强烈！ChemBERTa-2极有可能采纳或改进了这种思路。

一个专业化的化学分词器会做什么？