NeurIPS 2020 | ChemBERTa+：用于分子性质预测的大规模自监督预训练

最新推荐文章于 2026-07-07 13:44:55 发布
原创 最新推荐文章于 2026-07-07 13:44:55 发布 · 5.2k 阅读 · 12
本文介绍了ChemBERTa模型，它基于HuggingFace中的RoBERTa transformer实现，在多个PubChem子集上训练。在MoleculeNet的分类任务上评估该模型，下游任务中预训练数据集扩大可改善性能。还比较了不同tokenizer算法，建议尽量使用ChemBERTa - 2。

原文标题：ChemBERTa: Large-Scale Self-Supervised Pretraining for Molecular Property Prediction

Chithrananda, Seyone, Gabriel Grand, and Bharath Ramsundar. "ChemBERTa: large-scale self-supervised pretraining for molecular property prediction." arXiv preprint arXiv:2010.09885 (2020).

地址：https://arxiv.org/abs/2209.01712v1

基于HuggingFace中的RoBERTa transformer实现。对RoBERTa的实现使用了12个注意力头和6层，产生了72种不同的注意力机制。mask每个输入字符串中15%的令牌。用的是最大值。词汇表大小为52Ktoken和最大值。

标签
#论文阅读
最低0.47元/天 解锁文章
【综述】分子预训练模型综述
qq_45331246的博客
11-15 4158
分子预训练综述
ChemBERTa-2：迈向化学基础模型的自监督预训练新范式
gpu4optimizer的博客
03-06 209
本文深入解析了ChemBERTa-2这一化学AI领域的新型自监督预训练模型。它通过采用化学感知的分词器、优化预训练数据与策略，显著提升了分子性质预测等下游任务的性能与泛化能力，标志着向通用化学基础模型迈出了关键一步。
如何快速上手ChemBERTa：面向化学AI新手的完整指南
最新发布
gitblog_00191的博客
07-07 167
想要利用AI技术加速化学研究和药物发现吗？🤔 化学SMILES数据的复杂性和专业性让传统AI模型望而却步，但ChemBERTa彻底改变了这一局面！这款专为化学领域优化的Transformer模型，让你能够轻松处理分子预测、药物设计等专业任务。 ChemBERTa是基于RoBERTa架构的化学专用预训练模型，通过掩码语言建模在ZINC 250k数据集上训练，损失收敛至0.26左右。它专门为化学S
ChemBERTa 化合物小分子的向量表示及相似检索
weixin_42357472的博客
11-23 2132
参考：https://arxiv.org/pdf/2209.01712.pdf模型是基于分子simles进行transformer的MLM预训练的bert模型。
【免费下载】 探索化学新纪元： ChemBERTa——化学界的新一代预训练模型
gitblog_00031的博客
11-12 3131
**1、项目介绍** ChemBERTa是一个创新的项目，它将流行的BERT模型应用到化学领域，尤其是处理SMILES（简化分子输入线路语）数据。这个项目旨在推动药物设计、化学建模和性质预测的进步，并已在多个学术会议上展示，包括[Baylearn](https://baylearn2020.splashthat.com/)和[Royal Society of Chemistry's Chemic
探索化学新纪元：ChemBERTa——化学界的新一代预训练模型
gitblog_01153的博客
11-18 451
ChemBERTa是一个创新的项目，它将流行的BERT模型应用到化学领域，专门处理SMILES（简化分子输入线路语）数据。这个项目旨在推动药物设计、化学建模和性质预测的进步，并已在多个学术会议上展示。 ## 项目技术分析 ChemBERTa基于RoBERTa模型，在掩码语言建模（MLM）任务上进行了预训练。模型在ZINC 250k数据集上经过10个周期的训练，直到损失收敛到约0.26。通过Hu
计算生物学习——Code_SMILES的向量表示_ChemBERTa(07.16)
weixin_43213559的博客
07-17 1874
模型在输入序列中随机遮盖（mask）一些令牌（tokens），然后预测这些被遮盖的令牌。参数越多，模型的容量越大，可以捕捉到更多的复杂特征，但也需要更多的计算资源来训练和推理。记得定义一下自己的local_model_path(文件夹（chemBERTa_files）所在的路径)这是在提示说我加载的模型不完整或有一些参数没有在预训练过程中保存下来。尝试加载模型时，遇到和之前一样的情况，用和之前一样ESM2的方法：本地加载。是模型池化层（pooler layer）的权重。根据错误信息，我加载的模型使用的是。
如何用ChemBERTa变革药物研发：零基础掌握化学AI模型的终极指南
gitblog_01041的博客
10-25 1185
ChemBERTa是一个将BERT模型应用于化学领域的创新项目，专注于处理SMILES分子数据，为药物设计、化学建模和性质预测提供强大AI支持。通过预训练的Transformer模型，即使是非专业人士也能快速实现分子结构分析与预测，开启化学研究智能化新纪元。 ## ???? 为什么选择ChemBERTa？3大核心优势解析 ### 1️⃣ 开箱即用的预训练模型库 项目提供在ZINC 100k、ZIN...
ChemBERTa：重新定义化学AI的Transformer革命
gitblog_00398的博客
04-15 223
在人工智能与化学科学的交叉领域，一个名为ChemBERTa的开源项目正在悄然改变药物研发的游戏规则。这个基于Transformer架构的预训练模型专门针对化学SMILES数据进行优化，为研究人员提供了前所未有的分子属性预测能力，让AI驱动的化学研究变得触手可及。 ## 🧪 为什么ChemBERTa是化学AI的里程碑？ 传统的化学建模方法往往依赖于复杂的物理化学公式和大量的实验数据，而Chem
论文解读：4mCBERT:基于集成学习策略，通过序列和化学衍生信息识别DNA n4 -甲基胞嘧啶位点的计算工具
qq_41909775的博客
04-05 1408
首先构建了PCP特征和化学BERT特征，并将其应用于4mC位点预测，对识别4mC有积极贡献。对于MCC，4mCBERT在六个独立的基准数据集上显著优于其他最先进的模型，包括A.taliana, C.elegans, D.melanogaster, E.coli, G.Pickering和G.subterraneous。
深度探索ChemBERTa：构建面向化学领域的智能Transformer模型
gitblog_00206的博客
04-15 230
在人工智能与化学科学交叉的前沿领域，ChemBERTa作为专门针对化学SMILES数据优化的预训练模型，正在彻底改变分子预测和药物研发的研究范式。这款基于RoBERTa架构的Transformer模型，通过掩码语言建模在ZINC 250k数据集上训练至损失收敛至0.26左右，为化学研究者提供了前所未有的分子属性预测能力。 ## 前沿技术架构深度解析 ChemBERTa的核心创新在于其专门为化学
Edward隐空间模型：潜在变量建模的终极指南
gitblog_00745的博客
12-25 529
Edward隐空间模型是TensorFlow概率编程语言中用于潜在变量建模的强大工具，能够帮助数据科学家从复杂数据中提取有意义的结构。🎯 这个完整的指南将带你了解如何使用Edward进行隐空间建模，从基本概念到实际应用。 ## 什么是隐空间模型？ 隐空间模型是一种强大的统计建模技术，它假设观测数据是由一些未观察到的潜在变量生成的。在Edward中，你可以轻松构建这样的模型来发现数据中的隐藏结
揭秘ChemBERTa：如何用AI大模型彻底改变化学研究新范式
gitblog_01053的博客
11-17 1398
在人工智能席卷各个科学领域的今天，ChemBERTa作为化学AI领域的突破性技术，正在重新定义分子预测和药物研发的游戏规则。这款基于Transformer架构的预训练模型，专门针对化学SMILES数据进行了深度优化，为研究人员提供了前所未有的分子属性预测能力。 ## 核心突破：ChemBERTa的技术革新点解析 ChemBERTa采用了RoBERTa模型的改进架构，专门针对化学领域的特殊需求进
重构化学AI范式：ChemBERTa如何用Transformer架构颠覆分子预测游戏规则
gitblog_00313的博客
04-15 222
在化学研究的传统范式中，科学家们常常需要耗费数月甚至数年时间，通过实验验证分子的性质与活性。这种"试错式"的研究方法不仅效率低下，更让药物发现和材料设计成为成本高昂的探索过程。然而，ChemBERTa的出现彻底打破了这一僵局，它将自然语言处理领域的Transformer架构创新性地应用于化学SMILES数据，为化学AI领域带来了革命性的范式转移。 ## 从文本到分子：Transformer架构的
IJCAI2023 | A Systematic Survey of Chemical Pre-trained Models（化学小分子预训练模型综述）
justBeHerHero
05-03 2410
IJCAI2023 | A Systematic Survey of Chemical Pre-trained Models（化学小分子预训练模型综述）
科学LLM—科学大语言模型综述，原文阅读：A Comprehensive Survey of Scientific Large Language Models and Their Applicatio
小小帅
09-04 2713
1.纯文本：1.1.纯文本—数据集：科学LLM 最常用的预训练语料库是来自书目数据库的研究论文，例如AMiner、Microsoft Academic Graph (MAG)和 Semantic Scholar。其中一些来源（S2ORC）包含论文全文信息，而其他来源仅包含标题和摘要。1.2.纯文本—Model分类（预训练方式）：早期的科学LLM模型在预训练期间以自监督的方式利用论文文本，旨在从大规模未标记语料库中获取科学知识。
分子性质预测预训练模型 + code使用方法
Drug discovery
12-14 3586
Pre-train model
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值