PyTorch中Transformer 模型介绍

在 PyTorch 中，Transformer 模型是基于 Vaswani 等人提出的经典论文 "Attention is All You Need" 实现的，它广泛应用于自然语言处理（NLP）和计算机视觉（CV）等任务。Transformer 模型的核心是自注意力机制和完全并行的计算结构，与传统的 RNN（循环神经网络）和 CNN（卷积神经网络）相比，它具有处理长距离依赖关系和高效训练的优势。

1. Transformer 模型的组成部分

一个标准的 Transformer 模型由以下几部分组成：

1.1 编码器（Encoder）

编码器是由多个相同的 TransformerEncoderLayer 堆叠而成的，它将输入序列编码为隐藏状态。

• 每个编码器层包含两个子层：
  • 多头自注意力机制（Multi-head Self-Attention）：允许序列中的每个元素关注其他元素，从而捕获全局依赖关系。
  • 前馈神经网络（Feed-forward network, FFN）：对每个序列位置的特征进行非线性变换。

1.2 解码器（Decoder）

解码器与编码器类似，但解码器会额外处理生成序列的自回归问题。它也是由多个 TransformerDecoderLayer 堆叠而成。

• 每个解码器层有三个子层：
  • 自注意力层（Self-Attention）：类似于编码器中的自注意力机制，但使用前向掩码确保无法看到未来的时间步。