Transformer 是一种基于自注意力机制（Self-Attention Mechanism）的深度学习模型架构

Transformer 是一种基于自注意力机制（Self-Attention Mechanism）的深度学习模型架构，最初由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》中提出。它的核心创新在于完全摒弃了传统的循环神经网络（RNN）或卷积神经网络（CNN），转而依赖自注意力机制来处理序列数据，从而在多个自然语言处理（NLP）任务中取得了突破性进展。

### Transformer 的核心特点：
1. **自注意力机制（Self-Attention Mechanism）**：
   - 自注意力机制允许模型在处理序列数据时，动态地关注序列中不同位置的元素之间的关系，无论这些元素在序列中的距离有多远。
   - 这种机制通过计算查询（Query）、键（Key）和值（Value）的交互，捕捉序列中全局的依赖关系，而不需要像 RNN 那样逐个处理序列元素。

2. **并行计算**：
   - 由于自注意力机制不依赖于序列的顺序处理，Transformer 可以在训练和推理时对整个序列进行并行计算，从而显著提高了训练效率。

3. **多头注意力（Multi-Head Attention）**：
   - Transformer 使用多个并行的自注意力机制（“头”），每个头关注序列中不同的特征模式。这种设计使得模型能够捕捉更丰富的语义信息。

4. **位置编码（Positional Encoding）**：
   - 为了保留序列中元素的顺序信息，Transformer 在输入中加入了位置编码（Positional En