pytorch 中加载 bert 模型, 获取词向量

原创

已于 2023-06-06 13:29:26 修改 · 2.1w 阅读

标签

#pytorch #bert #人工智能

收录于

于 2020-08-01 08:08:10 首次发布

本文介绍如何在PyTorch环境中使用transformers库加载和应用哈工大提供的中文BERT-wwm系列预训练模型，包括模型加载、词向量与句向量的获取，并提供错误解决方法。

import torch
from transformers import BertTokenizer, BertModel
#MODELNAME='hfl/chinese-bert-wwm-ext' #ok
#MODELNAME ='hfl/chinese-bert-wwm' #ok
#MODELNAME='hfl/rbt3'#ok
#MODELNAME='hfl/rbtl3'#ok
#MODELNAME='hfl/chinese-roberta-wwm-ext-large' #ok
MODELNAME='hfl/chinese-roberta-wwm-ext'  # ok

tokenizer = BertTokenizer.from_pretrained(MODELNAME)
roberta = BertModel.from_pretrained(MODELNAME)

可以根据需要选择不同的模型。

如果它自动下载时出错，报如下异常：

Exception has occurred: OSError
Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

清除 ~/.cache/torch/transformers下的所有文件后重试。 ~表示你的 home目录，如root用户就是 /root, 其它用户是 /home/username

模型来源于哈工大 GitHub - ymcui/Chinese-BERT-