「大模型学习」(14)Long Context之线性插值、NTK-aware、Yarn、LongRoPE

🔧 为什么需要“位置插值”？

大语言模型如 GPT、LLaMA 等在训练时使用的是有限长度的上下文窗口（如 2048 token）。如果想在推理阶段扩展上下文到 4K、16K、100K 甚至百万 token，必须解决一个核心问题：

原始位置编码机制不支持未见过的位置索引！

例如：

• RoPE（旋转位置编码）是 GPT 系列中使用的机制，训练时只学习到 2048 个位置索引。
• 如果你强行外推，比如输入 4096 个 token，它就必须处理未见过的位置，从而性能显著下降。

于是引入插值：把原本“稀疏的”位置信息，插值成“密集的”分布，让模型在训练过的位置区间“内”继续工作，而不是外推“未知位置”。

回顾rope

$m$ 是 token 在序列中的位置编号（position index），比如在一句话中：

“The cat sat on the mat”

如果我们将这句话 tokenize 为：

那么：

• 第一个 token “The” 的位置是 $m=0$；
• 第二个 token “cat” 的位置是 $m=1$；
• 以此类推。

在位置编码中，我们通常对每个 token 使用它的 $m$ 值来生成对应的旋转编码。

$i$ 是 embedding 向量维度中的索引（维度编号）

假设一个 token 的嵌入向量维度 $d=8$，我们可以将它分为 4 个维度对：

RoPE 在每个维度对 $(2i,2i+1)$ 上使用不同的频率 ${\theta }_i$ 来控制旋转角度：

$${\theta }_i=\frac{1}{10000^{2i/d}}$$

• $i$ 越大，频率 ${\theta }_i$ 越小；
• 这意味着高维旋转更慢、低维旋转更快；

RoPE 编码每个 token 的嵌入向量时，使用如下公式在维度对 $(2i,2i+1)$ 上进行旋转：

$$\left[\begin{array}{c}{x}_{2i}^{\text{rot}}\\ x_{2i+1}^{\text{rot}}\end{array}\right]=[\begin{array}{cc}\cos ({\theta }_i\cdot m)& -\sin ({\theta }_i\cdot m)\\ \sin ({\theta }_i\cdot m)& \cos ({\theta }_i\cdot \end{array}$$