KGE性能指标：MRR，MR，HITS@1，HITS@3，HITS@10

知识图谱嵌入的衡量指标：MRR，MR，HITS@n

MRR的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好（即预测排名越靠前，倒数就越大，求和结果越大越好）。MRR=∣S∣1​∑i=1∣S∣​ranki​1​=∣S∣1​(rank1​1​+rank2​1​+⋅⋅⋅+ranki​1​)其中S是三元组集合，∣S∣是三元组集合个数，ranki。

MRR（Mean reciprocal rank） MRR最早是在搜索场景下衡量，返回结果的质量。 其基于一个假设“每一个query Q只有一个与其相关(relevant)的结果A” 指标反应的是我们找到的这些item是否摆在用户更明显的位置，强调位置关系，顺序性。公式如下，N表示推荐次数，1/p表示用户真实访问的item在结果列表中的位置，如果没在结果序列中，则p为无穷大，1/p为0。 如上图，有N次搜索，p_i是第i次搜索的结果中最相关结果的位置，其倒数就是返回结果的质量。 python实现： '''

hit@k 指的是在前 k 个结果中命中的概率。举例而言，假设我们在做 MLM (masked language model) 任务，输入：A bird usually has [MASK] legs. 真实标签为：two，输出的结果为： four: 0.321 two: 0.178 three: 0.114 six: 0.064 no: 0.063 如果是用 hit@1 accuracy 作为评价指标，那么我们看前 1 个结果，是 four，那么 FN + 1； 如果是用 hit@2 accura

Knowledge Graph Embedding，KGE模型性能中最常用的几个指标：MRR,HITS@1,HITS@10。MRR和HITS@10是两个重要指标，不可缺少，MR不被看作是一个好的指标，所以不进行介绍。

你是否还在为知识图谱嵌入（Knowledge Graph Embedding，KGE）模型的性能优化而烦恼？面对动辄数十亿三元组的大规模知识图谱（Knowledge Graph，KG），如何在保证模型精度的同时实现训练效率的飞跃？本文将深入剖析DGL-KE（Deep Graph Library for Knowledge Embedding）在五大基准数据集上的全面测试结果，通过18组对比实验、7...

平均倒数排名（Mean Reciprocal Rank, MRR）是一个国际上通用的对搜索算法进行评价的机制。 描述 第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。 数学形式 正确检索结果值在检索结果中的排名来评估检索系统的性能。 其中，是用户的个数，是对于第个用户，推荐列表中第一个在ground-t...

(1）精确率。精确率（Precision）指问答方法对每个自然语言问句给出的黄金标准答案（问题对应的一个标准答案）占所有返回答案总数的比例。精确率计算公式可以形式化表示： (2）召回率。一个自然语言问句可能存在多个标准答案，如：问题“杭州有那些景点？”就有多个标准答案，因此需要评测知识图谱问答方法召回完整答案的能力。召回率（Recall）表示知识图谱问答方法返回的正确答案数占返回的黄金标准答案的比例。召回率计算公式可以形式化表示为： (3）准确率。准确率（Accuracy）表示知识图谱问答方法回答正确的

命中率是衡量推荐系统准确性的指标之一。它表示。命中率的计算非常直接。你只需要统计推荐列表中用户实际感兴趣的项目数量，然后除以测试集中用户实际感兴趣的总项目数量。示例：假设一个用户在测试集中对5个项目感兴趣，推荐系统推荐了10个项目，其中3个是用户实际感兴趣的，那么命中率为 3/5 = 0.6。

1、Mean rank 首先 对于每个testing triple，以预测tailentity为例，我们将（h,r,t）中的t用知识图谱中的每个实体来代替，然后通过fr（h,t）函数来计算分数，这样我们可以得到一系列的分数，之后按照升序将这些分数排列。 f函数值是越小越好，那么在上个排列中，排的越前越好。 现在重点来了，我们去看每个testing triple中正确答案也就是真实的t...

在测试中，对于每个testing tuple:(head,relation,tail)，给定head和relation，分别用实体集中每个实体代替tail并计算该实体对应的分数f_r (head,tail)，按照分数对所有实体进行排序（f_r 越小越好，分数越小的实体排在前面）。 对于一个测试集，如果testing tuple的正确答案在排序列表的前十，则计数器加一。最终，正确答案恰好排在列表前十的总数量就是Hits@ 10. ...

最近学习了知识图谱数值表示方式的学习算法，包括TransE、TransD、TransR等，看到提到的评价指标有hit@10、mean rank等，一开始对于这些指标并不清楚。在看了一篇Transe的实现之后，明白了其所代表的含义。 表示学习的过程，其实就是实体链接的过程，首先把实体以及关系随机初始化为一定长度的向量，然后基于训练数据，希望通过类似于翻译的方式得到一个更优的向量表示，使 头实体+关...

不断更新中... MAP(Mean Average Precision)：单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高)，MAP就可能越高。如果系统没有返回相关文档，则准确率默认为0。 例如：假设有两个主题，主

MAP、MRR、NDCG

MRR(Mean Reciprocal Rank, 平均倒数排名) 是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和。...

知识图谱是典型的交叉技术领域，在人工智能和机器学习领域，传统符号知识表示是知识图谱的重要基础技术。深度学习、表示学习等领域与知识图谱的交叉产生了知识图谱嵌入、知识图谱表示学习等交叉领域。在传统的自然语言处理领域，从文本中自动化识别实体、抽取关系、检测事件等信息一直是研究热度比较高的课题，Knowledge Base Population即是知识图谱与自然语言处理之间产生的交叉领域。