Python TFIDF计算文本相似度

本文主要参考https://stackoverflow.com/questions/12118720/python-tf-idf-cosine-to-find-document-similaritStackOverflow的回答
主要是使用sklearn的TfidfTransformer

cosine_similarity就是计算L2归一化的向量点乘。如果x,y是行向量，它们的cosine similarityk是：

linear_kernel 是多项式核的特例，如果x,和y是列向量，他们的线性核为：

fit &fit_tansform & transform

• fit是一个适配的过程，用于train，得到一个统一的转换的规则的模型；
• transform：将数据进行转换，比如测试数据按照训练数据同样的模型进行转换，得到特征向量；
• fit_tansform:将上述两个合并起来，fit to data,then transform it. 如果训练阶段用的是fit_transform，在测试阶段只需要transform就行

也就是一般训练的时候用fit_transform(train_data)
在测试的时候用transform(test_data)

回答一

如果你想提取count features并应用TF-IDFnormalizaition以及行基础的欧式距离，用一个操作就行：
TFidfVectorizor

>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> from sklearn.datasets import fetch_20newsgroups
>>> twenty = fetch_20newsgroups()

>>> tfidf = TfidfVectorizer().fit_transform