DSSM语义召回
DSSM是一种基于深度神经网络的语义建模方法,这是由微软发表的一篇关于Query和Doc的相似度计算模型的论文提出。
该模型的结构主要由三部分组成(如下图)
输入层
输入层主要负责将Query和Doc的数据转换成embedding向量表达,方法通常有TFIDF,One-Hot等。原论文针对英文输入提出了一种叫做Word hashing的特殊embedding方法来降低字典规模。
表示层
表示层主要是将初始的embedding向量,经过深度学习的方法映射得到Query和Doc的新的embedding向量表达,即上图中的New embeddingNew\ embeddingNew embedding。
匹配层
匹配层是比较关键的一步,它将所获取的Query和Doc相互做余弦相似度运算,获得两两之间的语义相似度,注意此处的相似度结果不限输出范围,所以最后需要通过softmax把所有结果归一化,从而得到目标针对点击的正样本拟合P为1,反之拟合P为0。
总结
DSSM方法目前广泛运用于搜索、推荐等领域的找回和排序问题。双塔模型的最大特点就是user侧和item侧是两个独立的子网络,两个塔可以各自缓存,线上召回时只需要取出缓存中的向量做相似度计算即可。
DSSM(Deep Semantic Similarity Model)是一种由微软提出的深度学习模型,用于计算Query和Document的语义相似度。模型包含输入层、表示层和匹配层,其中输入层通过embedding技术如Wordhashing处理数据,表示层通过深度学习得到新的向量表示,匹配层则计算余弦相似度并用softmax进行归一化。DSSM广泛应用于搜索和推荐系统的召回和排序阶段,尤其适合双塔模型架构,便于线上高效召回。

5070

被折叠的 条评论
为什么被折叠?



