Transformer从零详细解读

原创 已于 2025-07-14 09:45:20 修改 · 1.8k 阅读 · 14
标签
#transformer #深度学习 #人工智能
于 2024-12-09 12:43:44 首次发布

1.从全局角度概括Transformer

73ddbea78328491ebb00014dcc507279.png输入汉字:我爱你 到Transformer中处理后会得到一个输出的结果:I LOVE YOU

对Transformer进行细化:

ec6c02b4e38a41fa8316d6c87948bcde.png

TRM结果可以分文两部分 一部分是Encoders(编码器) 一部分是Decoders(解码器) 简单的流程就是 "我爱你"输入到Encoders中处理后作为Decoders的输入 处理后输出"I LOVE YOU"

进一步细化:
691b323ed4b8470baf3b33fd1ccc503f.png

需要注意 Encoder有6个结构完全相同的小Encoder,Decoder也是由6个结构完全相同的小Decoder组成,数字可以是自己定  这6个解码器和编码器在结构上完全相同 但是在参数上是不同的 也就是说 在训练的过程中 不是训练了一个Encoder然后复制6个 而是6个Encoder一同训练

论文中的结构:

Nx = 6，Encoder block由6个encoder堆叠而成，图中的一个框代表的是一个encoder的内部结构，一个Encoder是由Multi-Head Attention和全连接神经网络Feed Forward Network构成。如下图所示

15c41fe530c6426fb0f1f3ddc40f747f.png

Nx:是编码器或者解码器的个数为N个 数量可以由自己定

2.Encoder编码器

af16c8e637b14c37b51edbe3c2b00cdd.png

  1.输入部分

   1.Embedding

     Embedding属于NLP(自然语言处理)的入门知识 我们之前学习的RNN与语言处理有关 所以在这篇博客上发布了一些关于自然语言处理的知识 #深度学习继卷积之后—RNN_bp神经网络和rnn-CSDN博客

4345a49501d14fb99bc0e876a58e6445.png

比如说我们输入的数据是:我爱你... 12个汉字 我们按字切分 每个字对应一个512维的字向量(可以使用Word2vec 或者是初始化)

   2.位置编码

为什么需要:

82d3a07f789e469cbfd311ef90938aae.png

在RNN当中需要注意的是 每一次循环使用的W U V都是一样的 使用的是一套的参数 在后续更新的过程中 更新的也是这共享的一套参数

(插一个小的知识点:RNN的梯度消失有什么不同?

或许会说是由于连乘效应 所以导致了梯度消失 这个原因放在RNN中不太准确 因为RNN的梯度消失和普通网络消失的原因不一样

RNN的梯度是一个总的梯度和 他的梯度消失并不是变为0 而是说 总梯度被近梯度主导 远距离梯度忽略不计) 

在RNN中 输入完"我" 需要等处理完"

最低0.47元/天 解锁文章
王严培.
关注
如何理解 Transformer 中的 Query、Key 与 Value
Yafee的专栏
04-27 4万+
Transformer 起源于 2017 年的一篇 google brain 的又一篇神文 《Attention is all you need》，至此由引领了在 NLP 和 CV 了又一研究热点。 在 Transformer 中一个非常关键的贡献就是 self-attention。就是利用输入样本自身的关系构建注意力模型。 self-attention 中又引入了三个非常重要的元素： Query 、Key 和 Value。 假设是一个输入样本序列的特征, 其中 n 为输入样本个数(序列长度)，d..
Transformer Attention机制中的Query、Key和Value
YHKKun的博客
03-29 1万+
Value向量是与每个位置相关联的“内容”或“上下文信息”的载体，包含的是实际要被关注并组合成输出的信息，即每个位置上我们认为对后续处理有价值的信息。当计算“jumps”这个词的注意力时，它的Query向量Q5将会与所有的Key向量（K1至K9）进行点积运算，然后通过softmax函数得到相应的注意力权重分布。)，通过加权求和的方式得到一个Context Vector（上下文向量），这个向量融合了输入序列中所有位置的信息，但不同位置的信息贡献程度由它们相对于Query的关注度决定。
Transformer
最新发布
2301_80044974的博客
05-12 429
是由 Google 在 2017 年的经典论文《Attention Is All You Need》中提出的一种深度学习架构。它彻底抛弃了以往处理序列数据时常用的 RNN（循环神经网络）和 CNN（卷积神经网络），完全依赖于。
图解 Transformer
张贤的博客
08-25 1045
本文翻译自 : http://jalammar.github.io/illustrated-transformer/。是我看过的把 Transformer 讲解得最好的文章：这篇文章从输入开始，一步一步演示了数据在 Transformer 中的流动过程。由于看过一些中文翻译的文章，感觉不够好，所以我自己翻译了一个版本，在一些难以直译的地方，我加入了一些原文没有的文字说明，来更好地解释概念。另外，我添加了一些简单的代码，实现了一个基本的 self-attention 以及 multi-head attent.
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 65万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Transformer详解
weixin_44762713的博客
07-05 1万+
Transformer详解 1. 简介 Transformer是一个面向sequence to sequence任务的模型，在17年的论文《Attention is all you need》中首次提出。Transformer 是第一个完全依赖自注意力（self-attention）来计算输入和输出的表示，而不使用序列对齐的递归神经网络或卷积神经网络的转换模型。
Transformer 从零解读详细教程
weixin_62275996的博客
10-24 1617
编码器（Encoder）：包含多个相同的编码器层。每个编码器层由多头自注意力和前馈神经网络组成。 解码器（Decoder）：也包含多个相同的解码器层。每个解码器层有三部分：多头自注意力、编码器-解码器注意力、前馈神经网络。 Encoder 生成 K 和 V 矩阵。Decoder 生成 Q 矩阵。Q、K、V 矩阵通过多头注意力机制交互，生成解码器输出。
从零构建大模型之Transformer公式解读
我相信......
04-13 880
解码器层是相似的，但有一个额外的多头注意力子层，允许参与编码器的输出。另一方面，交叉注意力专注于故事的具体细节，以确保随着你的进步，能将最相关的信息融入到你的理解中。解码器的多头注意力子层，包括掩蔽的多头注意力和标准的多头注意力(注意编码器的输出) ，共同生成输出序列。【引】收到图灵寄来的两本书《大模型应用开发极简入门》和《从零构建大模型》，重新点燃了自己深入理解大模型内部机制的热情，不能只知其然而不知其所以然，于是重温大模型核心的transformer架构， 尝试用25个公式进行解读，遂成此文。
Transformer从零详细解读——DASOU讲AI
WBingJ的博客
01-02 990
transformer的任务是什么？进一步细化进一步细化，注意：每个encoder结构相同，参数不同；
Transformer 中的 Decoder 机制
实力派，无需多言！
11-07 4119
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
简单transformer
c851666395的博客
10-28 509
简单的transformer代码
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
一文搞懂Transformer-decoder
lbr15660656263的博客
06-29 4644
每个步骤的输出都会在下一个时间步骤中被传递给底层解码器，解码器们会像编码器一样层层传递解码结果，并且，就像我们对编码器输入所做的那样，我们对这些解码器输入进行嵌入和添加位置编码，以指示每个单词的位置。在这里，引入了两个新的token，分别是<|im_start|>和<|im_end|>，此外，解码器一次只能接受一个token作为输入，也就是说，<|im_start|>会被作为一个输入，而"太”就是下一个预测token。根据我们的计算，解码器预测的单词是"太"，它的Token是8192和103。
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 9586
Transformer中解码器decoder的详细讲解（图文解释）
Transformer系列：图文详解Decoder解码器原理
嘴巴吃糖了
10-20 1725
在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来进行建模，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下Encoder-Decoder框架。
Transformer原理详解和代码
weixin_52862386的博客
05-29 5299
多头注意力机制是transformer的主要创新点，它摒弃了传统卷积神经网络和神经网络的思想，通过 Scaled Dot-Product Attention实现了信息交互，但一次性使用scle dot attention对计算机计算和信息交互而言效果并不好，所以对embedding向量进行映射，映射为等长的向量。Transfomrer目前的火热主要来源于其self-attention，它的设计非常符合人类，许多transformer的变体也是基于self-attention的基础上，进行各种的变换。
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 6820
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
【学习笔记】Transformer详解
Small__明的博客
04-04 6279
transformer详解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值