bert、transformers、sentence-transformers关系

原创

已于 2022-04-06 17:38:08 修改 · 3.7k 阅读

标签

#自然语言处理

收录于

于 2022-03-16 00:32:11 首次发布

Transformer和RNN，CNN一样，是一种特征提取器，bert是使用了transformer的模型，transformers是汇总了很多使用Transformer模型的包，sentence-transformers则是是在transformers上面再进行了加工，用于求句子相识度

transformers：

情感分析(Sentiment analysis)：一段文本是正面还是负面的情感倾向
文本生成(Text generation)：给定一段文本，让模型补充后面的内容
命名实体识别(Name entity recognition)：识别文字中出现的人名地名的命名实体
问答(Question answering)：给定一段文本以及针对它的一个问题，从文本中抽取答案
填词(Filling masked text)：把一段文字的某些部分mask住，然后让模型填空
摘要(Summarization)：根据一段长文本中生成简短的摘要
翻译(Translation)：把一种语言的文字翻译成另一种语言
特征提取(Feature extraction)：把一段文字用一个向量来表示

import torch
from transformers  import AdamW
no_decay = ['bias', 'LayerNorm.weight']
optimizer_grouped_parameters = [
    {'params': [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], 'weight_decay': 0.01},
    {'params': [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], 'weight_decay': 0.0}
]
optimizer =