LLM(4) | Attention Is All You Need 论文粗读

LLM(4) | Attention Is All You Need 论文粗读

1. 目的

LLM 模型都是 transformer 模型， “Attention Is All You Need” 是提出 transformer 的论文。 使用李沐的论文精读法， 记录第一次阅读（“海选”） transformer 的笔记。

2. 回顾论文精读的第一遍的步骤

海选（通常用10+分钟）

1. title √[1]
2. abstract √[2]
3. intro
4. method √(5)
5. exp √(4)
6. conclusion √[3]

先标题，再摘要； 摘要可能有1、2个问题没说清楚， 看结论里的答案，比如数字、实际的结论； 感兴趣那么稍微看下实验部分的关键图表， 再稍微看一下方法里的图表。

其中 [] 必选， () 可选。

3. 标题

Attention Is All You Need

标题分成两部分：

1. attention： 注意力

2. all you need: 你只需要

意思是说， attention 是有用的， 并且你不需要用其他方法了， 就只用 attention 方法就足够了。

4. 摘要

以下是翻译， 括号里是个人粗浅想法的记录：

The dominant sequence transduction models are based on complex recurrent or
convolutional neural networks that include an encoder and a decoder.
The best performing models also connect the encoder and decoder through an attention
mechanism.

主流的序列转换模型，是基于复杂的 RNN 或 CNN， 包括一个 encoder 和一个 decoder。 性能最佳的模型还通过 注意力机制(attention mechanism) 连接编码器和解码器。
（以前的序列转换模型里， 既用 RNN， 也用 CNN， 并且也有人用了注意力机制。 encoder 是啥？ decoder 又是啥？）

We propose a new simple network architecture, the Transformer,
based solely on attention mechanisms, dispensing with