大模型学习学习笔记（第一天）

1.1语言模型（LM）

将文本转化为概率分布，假设一个单词为一个元素x（对于英文文本而言），如果想正确的表达一句话，那么需要以正确的顺序组合单词，而词序正确的句子应该概率最高，这样才能正确表达文本。最常见的方法就是求x（1：L）的概率值

自回归语言模型(Autoregressive language models)

使用链式法则求x（1：L）的联合分布概率。

该式由条件分布公式可以推出。

自回归语言模型的特点是它可以利用例如前馈神经网络等方法法有效计算出每个条件概率分布。（存疑，具体怎么算我还是不太清楚）

在语言模型中，退火条件概率分布中的温度参数（temperature parameter）是用来控制生成文本的多样性和随机性的参数。它通常应用于基于概率的文本生成模型，例如循环神经网络 (Recurrent Neural Network, RNN) 中的语言模型。

温度参数在语言模型中用来调整生成的文本的分布形状。具体来说，较高的温度参数会使生成的文本更加多样化和随机化，而较低的温度参数会使生成的文本更加倾向于高概率的预测结果。举例来说，假设我们有一个经过训练的语言模型，用于生成下一个单词的预测。在一个特定的语境下，模型会给出在给定词汇表上每个单词的条件概率分布。如果将温度参数设置为较高的值（例如1.0），则生成的文本更倾向于从较低的条件概率中进行选择，使得生成文本更加多样。而如果将温度参数设置为较低的值（例如0.5），则生成的文本更倾向于从较高的概率中进行选择，使得生成文本更加确定性。以语言模型生成句子为例，较高温度参数的生成示例可能如下：原句: "I love to" 高温度参数生成（例如1.0）： - "I love to dance" - "I love to sing" - "I love to eat" 较低温度参数的生成示例可能如下：原句: "I love to" 低温度参数生成（例如0.5）： - "I love to eat" - "I love to eat" - "I love to eat"

通过调整温度参数，可以改变分布的倾斜程度和峰度影响分布形状。较高温度值使得分布更均匀，较低温度值使得分布更尖锐。可以控制生成文本的多样性和随机性，从而根据需要产生不同风格或类型的文本。需要注意的是，具体的温度参数值的选择是依赖于具体任务和模型的特点，并需要进行实验和调优来确定最佳的值。

当我们需要⼀次生成⼀个令牌(token) ，该令牌基于之前以生成的令牌进行计算获得：