一文讲清Transformer来龙去脉：从一篇论文到AI时代基石

原创于 2026-08-13 17:34:13 发布 · 286 阅读

本内容遵循CC 4.0 BY-SA版权协议

在这里插入图片描述

2017年的谷歌大脑会议室里，几个年轻人正对着满屏的RNN公式发愁。当时业界的主流序列模型是循环神经网络RNN和它的变体LSTM，所有人都默认“处理文本就得一个字一个字串行算”，就像人读书要逐字逐句往下读一样。

但这个默认规则有个致命的毛病：序列一长，后面的字就完全“记不住”前面的内容，而且GPU的并行算力根本发挥不出来，训练一个稍大的模型要耗上几个月。

当时团队里的核心成员Ashish Vaswani突然拍了桌子：“为什么我们不能让每个字直接‘看’到所有其他字？用注意力直接算关联，根本不用串行循环！”

这个想法在当时听起来离经叛道，几乎所有同行都觉得“不可能”：没有循环的序列模型，怎么可能理解语言的时序逻辑？团队顶着质疑，花了几个月时间把代码跑通，最终把成果写成了一篇只有13页的论文——《Attention Is All You Need》。

没人想到，这篇当时投稿差点被ICLR拒稿的论文，会在几年后彻底改写整个AI行业的走向。

论文刚发表的头一年，Transformer完全是个“小透明”。当时业界的主流焦点还在不断堆叠LSTM的层数，很少有人愿意花精力去理解这个完全抛弃循环的新架构。

少数几个尝试复现的团队还踩了大坑：早期的Transformer对学习率、初始化极其敏感，稍微调不好参数，整个模型就直接“崩掉”，输出全是乱码。有个小团队在博客里吐槽：“这东西根本没法用，训练10次有9次直接发散。”

直到2018年OpenAI推出GPT-1，谷歌推出BERT，大家才突然反应过来：这个没人看好的架构，在大规模语料上的表现，居然把所有RNN系的模型远远甩在了身后。BERT在11项NLP任务上直接刷新了世界纪录，整个AI圈一夜之间集体“倒戈”，所有人都开始转去研究Transformer。

2019年之后，Transformer开启了“降维打击”模式，从最初的NLP领域疯狂向外扩张：

最有意思的是2021年之后的“内卷竞赛”：大家发现只要把Transformer的层数堆高、参数量做大，模型的能力就会神奇地持续上涨。从GPT-2的15亿参数，到GPT-3的1750亿参数，再到后来万亿级别的大模型，整个行业的算力投入指数级增长，但所有人都乐此不疲。

随着模型越来越大，大家很快遇到了新的天花板：纯稠密Transformer全参数激活，训练一个万亿级模型要烧上几万个GPU小时，普通公司根本承担不起。

这时候大家回头翻旧论文，发现90年代就提出的MoE混合专家思路，居然是Transformer的最佳拍档。把Transformer里最占计算量的FFN层拆成多个小专家，每次只激活少数几个，直接把单步计算成本压缩了3-4倍。

2023年之后，Mixtral 8x7B、Qwen-MoE、Kimi等模型纷纷落地，MoE+Transformer的组合直接把大模型的落地门槛打了下来，原本只有巨头能玩的万亿级大模型，中小团队也能在有限的算力下训练出来。

论文作者的“无心插柳”：Transformer的第一作者Ashish Vaswani后来在采访里说，当初写论文的时候，团队根本没想到这个架构会火，他们当时只是想解决机器翻译里的长句子翻译不准的小问题。
BERT的“意外惊喜”：谷歌做BERT的时候，本来只是想做一个更好的预训练特征提取器，完全没预料到双向预训练的Transformer能在这么多任务上爆发出这么强的能力，直接开启了大模型时代。
FlashAttention的“逆袭”：FlashAttention的核心作者Tri Dao当时还是个博士生，他发现原生Transformer的注意力计算完全没有利用好GPU的显存层次，写了一个融合CUDA内核直接把速度提升了好几倍，现在几乎所有大模型训练框架都在默认用他写的FlashAttention。
“Attention Is All You Need”的反向打脸：后来有不少论文证明，Transformer里也不是只有注意力，FFN层才是存储大部分知识的核心，当年的论文标题现在成了圈内人经常调侃的“标题党”。