知识表示|knowledge Representation learning：A Review

知识表示

基本概念

表示学习的目标是通过机器学习将研究对象的语义信息表示为稠密低维实值向量。

更简单的数据表示one-hot，缺点是在one-hot表示空间中，所有对象向量都是相互正交的，语义相似度均为0.不符合实际。

表示学习的理论基础

• 表示学习得到的低维向量表示是一种分布式表示。孤立地看向量中的每一维，都没有明确含义，而综合各维形成一个向量，则能表示对象的语义信息。

• 这些实体是离散的、有明显的界限（人脑神经元激活和抑制存储这些对象），并存在层次结构（一个由更小的对象组成）

• 分布式表示和层次结构是人类智能的基础。

基本应用

• 相似度计算。语义相似性，用于信息检索等
• 知识图谱补全。 利用知识表示学习模型，预测两个实体的关系。
• 关系抽取、自动问答、实体链指等。

知识表示的优点

1. 显著提升计算效率。分布式表示能高效实现语义相似度计算。
2. 有效缓解数据稀疏。 投影到统一空间，可度量任意对象之间的相似度，另能提高低频对象的语义表示精确性。
3. 异质信息融合。

主要方法

1. 翻译模型（transE）

   从head到tail: l_h+l_r≈l_t, 把r看做从h到t的翻译。

   TransE简单有效，成为知识表示的代表模型，目前大部分方法都是基于此的扩展。

2. 其他扩展延伸

   • TransH 解决1-N、N-1、N-N等复杂关系的局限性。

展望

1. 面向不同知识类型的知识表示。人类知识结构包括四种：树结构（层次分类关系）、二维网格结构（空间地理信息等）、单维顺序结构（实体间的偏序关系）、有向网络关系（实体间的关联、因果）
2. 多源信息融合的知识表示。融合知识库中的实体和关系的其他信息（描述信息、层次信息、图像信息）；融合互联网文本信息（远程监督、开放信息抽取）、融合多知识库信息（实体、关系、事实的融合）
3. 考虑复杂推理模式的知识表示。如何总结和表示这些复杂推理模式识关键难题。未来需要探索一阶逻辑的分布式表示及其融合到知识表示中的方案。

参考: http://nlp.csai.tsinghua.edu.cn/~xrb/publications/JCRD-16_knowledge.pdf