简单理解 BM25 与 TF-IDF

1. TF-IDF

TF-IDF即为词频*词逆文档频率（词稀有度），代表着某个词能不能代表文档，并通过该值与其他文档区分开。

通过这个值能够进行关键词检索，推荐系统，相似度计算等等。

1.1 TF（Term Frequency）

• 词频：顾名思义是一个词在一篇文档中出现的次数，计算也很简单：

• t 表示当前计算的词，d 表示文档，w 表示文档里的某一个词。

1.2 IDF（inverse document frequency）

• 词的逆文档频率：其实就是一个词的稀有度，在越少的文档中出现则说明这个词越稀有：

• t 表示当前计算的词，N 表示总文档数， df（t）函数表示包含词 t 的文档数。
• 为了防止df（t）函数为0，有时会分子分母都加一个常数，如 1。

2. BM25

BM25是在TF-IDF的基础上进行了四点优化，使结果更精确合理。

2.1 TF线性增长改为非线性增长

TF-IDF中的词频计算是线性的，这是不合理的，因为一个词出现10次，20词都已经算是强关联了，不能说出现20次就比出现10次大一倍的相关性。所以应该修改为饱和式增长，趋近于某个固定值。

所以这里把：

改为：

• 这里的 k 是控制饱和速度的参数，f 为词频。
• 当 f 趋近正无穷时，TF≈ k + 1。

2.2 文档长度归一化

TF-IDF中没有对文档长度做处理，那么文档越长词越多，统计也就越失真。所以应该对长文档进行惩罚，短文档进行奖励。

其实就是对 2.1 中的 TF 分母中的 k 乘一个系数：

得到：

• dl 表示当前文档的长度， avgdl 表示所有文档平均长度。
• 如果 dl ＞avgdl，则 系数＞ 1， 分母变大导致TF变小。
• 如果 dl < avgdl, 则 系数 ＜ 1，分母变小导致TF变大。

2.3 词稀有度加权更合理

之前TF-IDF中的IDF只把相关文档纳入计算，而没有把不相关的纳入计算。名义上等于替换成了概览检索模型，但简单理解的话也就是在分子减去相关文档数再分子分母同加一个平滑项。最后为了防止出现负数，加1使得结果大于0.

为什么说这样把不相关也纳入计算了呢？因为分子是总文档数减去相关文档数，那么也就是等于不相关文档数，而分母是相关文档数，所以就是同时考虑了这两个因素！然后不相关除以相关，也就解释了为什么是一个概率模型了。

得到：

注意，如果把1约进去前面的算式可得：

• 这样看好像这些计算完全没有意义了，只是加了不同的常数，但这个常数是在概率模型的基础上得到的，而不是随意设置的，所以同样具有意义。

2.4 查询词频因子

之前的计算都是文档层面的，包括TF-IDF也没有考虑查询的信息。如果用于查询，那么查询中的词频也是应该考虑在内的！所以同样把查询改成TF的格式，但因为查询的长度都有限，所以不进行长度归一化。

• 最终可以得到完整公式：