Language Lives in Sparse Dimensions: Toward Interpretable and Efficient Multilingual Control

该文章提出大语言模型（LLMs）的跨语言转换由少量稀疏的“语言特定维度”主导，并基于此开发了无需训练、数据高效的多语言控制方法，显著提升了多语言生成控制效果。

一、文章主要内容总结

1. 核心假设：以英语为中心的LLMs会在中间层将多语言内容映射为英语对齐表示，最终层再投射到目标语言token空间；这一跨语言转换由少量稀疏且层间索引一致的“语言特定维度”控制，多数语义内容则保留在语言无关维度中。
2. 方法设计：
   • 维度识别：两种场景下仅需约50句数据即可识别维度。单语场景对比中间层与最终层的表示差异，平行语料场景对比英语与目标语言的最终层表示差异，均选取差异最大的Top-K维度作为语言特定维度。
   • 推理干预：在推理时，将中间层中已识别的语言特定维度值，替换为预计算的目标语言对应维度均值（乘以缩放系数α），其余维度保持不变，实现语言切换且保留语义。
3. 实验验证：在Llama2、Llama3.1、Aya23等模型上，针对法、德、西、中、日五种语言的多语言生成控制任务测试，通过ACC（语言切换成功率）、BLEU（翻译质量）、ACC*BLEU（综合得分）评估，结果显示该方法优于基于神经元的传统方法，且单语与平行语料场景效果接近。
4. 关键发现：语言特定维度在不同语言间存在重叠（类型相近语言重叠更多，如中法、德西）；仅需50句数据即可有效识别维度，无需大规模语料；干预层和缩放系数