小白吃透Transformer！零基础也能看懂的AI大模型核心原理

原创已于 2026-08-06 21:26:42 修改 · 383 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

机器学习

于 2026-07-20 14:07:14 首次发布

文章目录

前言

玩 AI、学深度学习、做大模型的小伙伴，没人能绕开 Transformer。
现在爆火的ChatGPT、文心一言、讯飞星火，还有BERT、GPT系列模型，底层全部都是Transformer架构。
很多新手一看到 Transformer、自注意力、编码器、解码器这些名词就头大，觉得是高深的黑科技。
其实Transformer 一点都不难！本文不堆晦涩专业术语，全程大白话 + 生活化比喻，零基础小白也能彻底看懂，看完直接掌握所有大模型的底层核心！
玩AI、学深度学习、做大模型的小伙伴，没人能绕开Transformer。

一、Transformer是什么？诞生背景是什么？

1. 通俗定义

Transformer是2017年Google在论文《Attention Is All You Need》中提出的神经网络架构，是所有现代大语言模型的地基。

核心特点：全程依靠注意力机制工作，抛弃了传统循环结构，支持全局并行计算。

2. 为什么要发明Transformer？

在Transformer出现之前，处理文本、语音这类序列数据，用的都是RNN、LSTM、GRU模型。

但这些老模型有两个致命缺点：

必须串行计算，速度极慢
老模型读句子像老和尚念经：一个字一个字依次读，必须读完第一个字，才能读第二个字，无法并行，训练速度特别慢。
长文本记忆崩盘
句子短还好，一旦句子很长，前面的文字信息会慢慢丢失，无法捕捉远距离词语的关联关系。

举个例子：小明小时候住在北京，长大后去上海工作，他非常喜欢这座城市。
普通人一眼就知道“这座城市”指上海。
但老模型因为逐字读取、长距离记忆衰退，很容易认错指代关系。

而Transformer的出现，完美解决了这两个问题：

拥有全局上帝视角：一次性读完整句话，所有文字同步处理
注意力机制：自动捕捉任意两个词语的关联，不管相隔多远
全并行计算：训练速度直接碾压传统模型

Transformer整体架构：
在这里插入图片描述

二、词嵌入（Embedding）向量

AI看不懂文字，只能看懂数字，这里深度细化底层逻辑，这是所有计算的基础。

1. 什么是词嵌入？

通俗定义：把人类的文字，转换成计算机能计算的高维向量。
简单说：每个字/词，对应一个专属数字数组（向量）。

每个token（字/词）单独对应一条长度512的浮点数向量，只描述语义内容，和它在句子第几号位置无关。
示例句子：我吃苹果

token「我」固定有专属向量 $E_我$ ，不管放在句子第0位、第100位， $E_我$ 不变
token「吃」固定向量 $E_吃$
token「苹果」固定向量 $E_{苹果}$

只和文字本身有关，和语序、位置无关。

2. 为什么不能用数字表示？

如果我们给词语编号：苹果=1、香蕉=2、桌子=3
模型会默认：香蕉-苹果=桌子-香蕉，强行制造无意义的数学关系，语义完全失效。

而词嵌入向量的核心：
语义相近的词，向量距离更近；语义无关的词，向量距离更远。

3. 数学表示

假设句子有 (n) 个词，词嵌入维度为 (d_{model})（Transformer标准维度512）
单个词的嵌入向量：
[
x \in \mathbb{R}^{d_{model}}
]
整句输入矩阵：
[
X \in \mathbb{R}^{n \times d_{model}}
]

(n)：句子单词数量
(d_{model})：向量维度（固定512）
词嵌入维度 = 512：把每一个单词 / 字 /token，转换成一个长度为 512 的浮点数向量，这个向量就是词嵌入
简单拆解：
维度 512 = 向量有 512 个数字，形如：
[0.12, -0.35, 0.78, … , 0.21] 一共 512 个数
每个数字代表词语某一层语义特征（情绪、词性、上下文、实体属性等）

512 维向量：(v=[x_1,x_2,…,x_{512}])
里面每一个 (x_i) 不是人为规定 “第 1 维代表词性、第 2 维代表情绪”，不存在人工赋予的固定语义。
所有维度的含义，都是模型无监督 / 有监督训练自动学出来的隐性特征。

训练目标只有一个：
让语义相近的 token，512 维向量在空间上距离更近；语义无关的距离更远。
为了达成这个目标，模型自由分配 512 个维度去捕捉各种混合特征。

4. 实际作用

所有后续的注意力权重计算、特征融合、网络训练，全部都是基于词嵌入向量矩阵运算，没有词嵌入，就没有一切计算。

三、位置编码（Positional Encoding）向量

Transformer没有循环结构，无法天然识别语序，必须人工注入位置信息。

1. 核心公式

对于位置 (pos)、维度 (2i)、(2i+1)：
[
\begin{align*}
PE_{(pos,2i)} &= \sin\big(\frac{pos}{10000^{\frac{2i}{d_{model}}}}\big) \
PE_{(pos,2i+1)} &= \cos\big(\frac{pos}{10000^{\frac{2i}{d_{model}}}}\big)
\end{align*}
]
用正弦余弦公式直接计算，不需要训练，固定不变。

2. 通俗解释

偶数维度用sin函数，奇数维度用cos函数
不同位置的单词，会得到独一无二的位置向量
最终输入向量 X= 词嵌入向量 E+ 位置编码向量P
[
Input = X_{embedding} + PE
]

3. 意义

让向量既包含语义信息，又包含语序信息，解决Transformer无序读取的缺陷。只和位置pos有关，和文字内容无关。单独拿PE看不出任何词语含义，只能区分先后。

4. 逐变量拆解：pos、i、d_model 完整含义

4.1. pos：token 在句子里的绝对位置

取值： $p os = 0, 1, 2, 3, ..., L - 1$ ， $L$ 是句子最大长度
含义：当前是第几个字/Token
- 句子第1个token： $p os = 0$
- 句子第2个token： $p os = 1$
- 句子第100个token： $p os = 99$

举例：句子 我爱中国
pos=0：我
pos=1：爱
pos=2：中国

作用：公式全部以 pos 为自变量，让不同位置算出完全不同的PE向量，模型才能区分语序（“猫追狗”vs“狗追猫”pos不同，PE不同）。

4.2. i：位置编码向量内部的“维度分组索引”

PE向量总长是 $d_{model}$ ，分成二元组：(偶数维2i，奇数维2i+1)

i 的取值： $i=0,1,2,...,\displaystyle \frac{d_{model}}{2}-1$
每组对应向量里两个连续维度：
- 偶数下标维度： $2 i$ → 用sin计算
- 奇数下标维度： $2 i + 1$ → 用cos计算

以 $d_{model}=512$ 举例：
向量维度下标范围：0,1,2,3,…,511
i最大为 $512/2 - 1 = 255$

i=0 → 维度0(sin)、维度1(cos)
i=1 → 维度2(sin)、维度3(cos)
i=2 → 维度4(sin)、维度5(cos)
…
i=255 → 维度510(sin)、维度511(cos)

4.3 i 的核心作用

控制三角函数的波长/频率：
分母 $10000^{\frac{2i}{d_{model}}}$ 随 i 增大而变大
→ $\displaystyle \frac{pos}{10000^{\frac{2i}{d_{model}}}}$ 随 i 增大变小

小i（前半段维度）：三角函数周期短、频率高 → 捕捉细粒度局部位置差（相邻token的先后）
大i（后半段维度）：三角函数周期极长、频率极低 → 捕捉远距离位置关系（第3位和第200位的差距）

4.4 完整举一组代入示例（d_model=512，pos=3，i=1）

pos=3：当前是句子第4个token
i=1：对应向量第2、3维
$2 i = 2$ → PE第2维 = $\sin(\frac{3}{10000^{2/512}})≈0.245$
$2 i + 1 = 3$ → PE第3维 = $\cos(\frac{3}{10000^{2/512}})≈-0.970$

4.5 为什么这么设计i和pos

相对位置可线性表达
任意两个位置 $pos_1,pos_2$ ，差值 $k=pos_2-pos_1$ 能通过sin/cos和差公式，由PE(pos1)线性组合出PE(pos2)，模型天然学到相对距离。
覆盖长短距离
i从小到大，频率从高到低，一套公式同时编码近距离、远距离语序信息；
维度对齐
PE向量长度等于词嵌入维度 $d_{model}$ ，可以直接逐位相加，不改变张量形状。