大模型相关论文笔记

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

用于知识密集型NLP任务的检索增强生成
Facebook 2020
PDF
CODE
（论文代码链接已失效，以上是最新链接）

引言

大模型有幻觉问题（hallucinations），检索增强生成(retrieval-augmented generation, RAG)可以解决它。

方法

输入为x，外部检索资源为z，生成目标序列y。
模型有两块：一个检索器$p_{\eta }(z|x)$，$\eta$为参数，给定一个查询q，根据文本返回top-K个分布；一个生成器$p_{\theta }(y_i|x,z,y_{1:i-1})$，参数为$\theta$，它基于过去i-1个tokens $y_{1:i-1}$、原始输入x和检索器信息z，产生一个当前的token。
为了端到端的训练检索器和生成器，我们将检索文档作为一个隐变量。我们提出了两个模型，他们以不同的方式边缘化隐变量，从而在文本上产生分布。在我们的方法里，第一步，RAG-Sequence，这个模型使用相同的文本预测每一个目标token；第二步，RAG-Token，基于不同的文件预测每一个目标token。

模型

• RAG-Sequence模型
  $$p_{RAG-Sequence}(y|x)\approx \sum _{z\in top-k(p(\cdot |x))}{p}_{\eta }(z|x)p_{\theta }(y|x,z)=\sum _{z\in top-k(p(\cdot |x))}{p}_{\eta }(z|x)\prod _i^N{p}_{\theta }(y_i|x,z,y_{1:i-1})$$
• RAG-Token模型
  $$p_{RAG-Token}(y|x)\approx \prod _i^N\sum _{z\in top-k(p(\cdot |x))}{p}_{\eta }(z|x)p_{\theta }(y_i|x,$$