gensim + tfidf计算句子之间相似度_index[tfidf[corpus]]-CSDN博客

本文介绍了如何利用gensim库和tf-idf方法来计算句子间的相似度。首先，通过建立词汇表（dictionary）和转换文本（corpus），接着构建tf-idf模型。然后，将特定句子转化为tf-idf向量，并使用该向量在索引中查找与其他句子的相似度。这种方法可以用于文本分析和信息检索。

def get_tfidf(words_lists):
    texts = words_lists
    dictionary = corpora.Dictionary(texts)
    feature_cnt = len(dictionary.token2id)
    
    corpus = [dictionary.doc2bow(text) for text in texts]
    
    tfidf = models.TfidfModel(corpus)

    return tfidf, dictionary, corpus, feature_cnt

texts：二维数组，每一行代表一个句子，内容是分词结果。

dictionary：相当于建了个字典，键：索引，值：词。

corpus：把句子转化成每个词出现多少次，[[(索引1，次数), (索引2，次数), ...],[(索引0，次数), (索引2，次数), ...]。

tfidf：以当前语料建模。

def get_semantic_similarity_for_line(words_list1, tfidf, dictionary, corpus, feature_cnt):
    
    kw_vector = dictionary.doc2bow(words_list1)#(jieba.lcut(keyword))
    index = similarities.SparseMatrixSimilarity(tfidf[corpus], num_features=feature_cnt)

    sim = index[tfidf[kw_vector]]
    return sim

words_list1：某个句子的分词结果。

kw_vector：相当于某个句子的corpus值，[(索引1，次数), (索引2，次数), ...]。