知识图谱专栏【详细版本】：数据增强，智能标注，文本信息抽取（实体关系事件抽取）、知识融合算法方案、知识推理、模型优化、模型压缩技术等

本项目主要讲解了图学习的基本概念、图的应用场景、以及图算法，最后介绍了PGL图学习框架并给出demo实践，过程中把老项目demo修正版本兼容问题等小坑，并在最新版本运行便于后续同学更有体验感。现在已经覆盖了图的介绍，图的主要类型，不同的图算法，在Python中使用Networkx来实现它们，以及用于节点标记，链接预测和图嵌入的图学习技术，最后讲了GNN分类应用以及未来发展方向！本项目对图基本概念、关键技术（表示方法、存储方式、经典算法），应用等都进行详细讲解，并在最后用程序实现各类算法方便大家更好的理解。

在领域知识图谱中，模式层（Schema Level）的构建一般会先于数据层，知识图谱的schema在构建过程中，不仅借助行业专业人员并对大量的底层数据做分析和提炼来明确领域的基本属性、明确属性的适用概念、明确属性值的类别或者范围，同时还参考了已有的schema资源（如freebase等），并在数据构建的过程中和落地场景进行测试、交互，对schema做适当的交互和调整，比方属性的添加、属性值类型的变更等。

一、知识图谱算法梳理：本章详细梳理了知识图谱推理算法，讲解了算法原理以及各个算法之间的差异、联系、应用范围和优缺点。二、参考文献图传播算法采用了知识表示对图谱信息进行充分的挖掘。不同的模型对信息的利用层次不同，可以分为以下几个信息层次：属性信息（第一层）、结构信息&标签信息（第二层）、规则约束（第三层）、第四层和第五层是算法模型应用到知识图谱后的互相提升。图传播算法能够挖掘前三层的信息，然后再应用到第四、五层。metapath2vec[24]是2017年发表的。

各位可以参考国内知识图谱平台产品进行对技术链路搭建和产品参考提供借鉴。

目前自己对这块领域比较感兴趣。对下面两个核心技术进行归纳总结1.知识融合是在知识图谱构建过程中经常遇到的，它是一个将多个知识库进行融合的过程。在整个过程中，会遇到异构、歧义、数据噪声及跨语言等问题。本体对齐章节，在实践中采用本体集成，并结合专家辅助的系统完成大规模的本体树融合。介绍了基于规则和基于表示学习方法的实体对齐，在信息融合部分，现阶段学界主要分为有监督和无监督两条技术路线。2.随看知识图谱近年来的飞速发展，知识推理作为知识图谱补全和去噪的重要手段得到了广泛的关注。补全和去噪。...

我们知道决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。全新发布6个深度时序模型。不同的KG库由于使用的场景不同，对于KG中实体的维护程度往往不一致，如上图所示，Aditya Raj Kapoor这个演员在IMDB和Freebase中的作品存在一定的差异，针对这种case，上述普通的GCN无法很好的解决。当然在模型的精度较高的情况下，加入的伪标签才会更精确。

本体是知识图谱的知识表示基础，可以形式化表示为，O={C，H， P，A，I}，C 为概念集合，如事物性概念和事件类概念，H是概念的上下位关系集合，也称为Taxonomy知识，P是属性集合，描述概念所具有的特征，A是规则集合，描述领域规则，I是实例集合，用来描述实例-属性-值。因此，基于已标注词性的词序列，我们抽取出其中的所有k元以内的名词短语作为候选术语。针对这些问题，我们利用团队已沉淀的同款商品算法，聚合了同款的商品集，基于同款商品的同属性项下的属性值是相似或者一样的这一特征，来扩展属性值归一的覆盖率。

品牌知识链指即建立品牌和企业间的关联，关键特征包含在品牌文本和企业文本中，因此整体任务可以定义为文本匹配任务，通过计算品牌和企业相关文本特征的相似性来实现链指，我们调研了文本匹配的相关工作，主要可以分为三大类，包括传统模型，主题模型和深度模型，如图3所示。：从经验上讲，品牌和企业的文本信息对于区分品牌所属企业具有显著的价值，但不同于行业、产品这类中观知识具有较为标准的分类体系，品牌数据名称规范模糊，数据更加复杂，如何学习到品牌和企业文本的关键信息，实现品牌和企业的精准链指，是算法模型需要解决的问题；

本项目主要讲述文本匹配算法、知识融合学术界方案、知识融合业界落地方案、基于单塔 Point-wise 范式的语义匹配模型 erniematching: 模型精度高、计算复杂度高,适合直进行语义匹配

transH、transD、transR这三个算法在几何变换上是等效的，就是对向量h和t在空间上做了一个变换（包括角度变换和长度伸缩两个操作），不同的关系r对应的变换矩阵不同，还有参数数量不同。我们的实验从效果上来看，往往都是 transH>transD>transR。为什么效果会有区别？这是因为参数数量不同。transH的参数只有一个法向量wr，transR的参数是一个变换矩阵Mr，transD是对transR约化，参数简化为三个向量wr、wh、wt。从参数数量角度transH

Transformer用全attention的结构代替了传统的CNN和RNN，在翻译领域取得了新的突破。与LSTM相比，Transformer仅由self-Attenion和Feed Forward Neural Network组成，计算效率高的同时受语句顺序的影响较小，对于用大量特征词堆砌的淘系商品标题而言，有着天然的优势。

一、背景和目的：本章介绍了这篇图谱算法综述的背景、目的和现状。二、知识图谱算法梳理：本章详细梳理了知识图谱推理算法，讲解了算法原理以及各个算法之间的差异、联系、应用范围和优缺点。三、参考文献Trans系列、RESCAL系列、SME系列这三类模型的参数数量与节点数量成正比，面对大规模图谱时往往捉襟见肘。为了克服这个困难，人们引入了图神经网络模型GNN，图神经网络后来发展成为了一个体系，下一篇文章后面会介绍到包括GCN、GAT、Structure2vec、GeniePath等等图神经网络算法。

建立门店标准化数据，涉及到的场景，一是：是如何对多个数据源的数据进行融合，生成一套统一的标准化数据，二是：如何对新增数据进行实时融合。根据人工标注回流表、onelocation表、召回中间结果表怎么分析哪些数据应该落在哪个集合中，由于算法召回、opnesearch召回、onelocation召回、高德召回存在后者包含前者的关系，因此，每一条数据按标注结果做下判断，若算法召回则标记为1，否则标记为0。基于样本库的回归其测试集为原始样本集，算法版本发生变化，比较不同版本的算法在原始样本集上的表现。

本项目主要围绕着特定领域知识图谱(Domain-specific KnowledgeGraph:DKG)融合方案：文本匹配算法、知识融合学术界方案、知识融合业界落地方案、算法测评KG生产质量保障讲解了文本匹配算法的综述，从经典的传统模型到孪生神经网络“双塔模型”再到预训练模型以及有监督无监督联合模型，期间也涉及了近几年前沿的对比学习模型，之后提出了文本匹配技巧提升方案，最终给出了DKG的落地方案。这边主要以原理讲解和技术方案阐述为主，之后会慢慢把项目开源出来，一起共建KG，从知识抽取到知识融合、知识推理、质

1. 知识图谱基础概念、开发流程以及落地策略： 2012年谷歌正式提出知识图谱概念：用来解决搜索效率和准确率问题。 知识图谱与图数据库区别： 知识图谱：可推理，可运营，可解释 图数据库：多跳查，可视化，图算法。 ...

知识存储：以三元组（head entity， relation， tail entity）为主，如下图所示，其中（Y，isFatherOf，X）为一条三元组。图谱中存在大量的实体节点，节点之间通过relation链接起来。。同样如下图所示：根据X、M在图谱中的知识，推测出（X，isFatherOf，M）可能成立。学习过程为：设计一个表示学习方程fr​ht。正例为图谱中存在的三元组，负例为随机采样图谱中不存在的三元组，分别将正例和负例数据代入fr​。

如果没有精准命中pattern库的中pattern，会尝试进行模糊召回，模糊召回的pattern将和slot filling中结果的所有非{other} pattern的组合（顺序不考虑）进行匹配。如果模糊召回的pattern命中，将计算模糊召回pattern的相似度，取top结果进行意图识别。例如在得到query的所有槽位组合信息之后，预先进行一些剪枝，防止一些包含的词，比如周杰, 周杰伦，天下无双(节目)，无双之类的数据被分开处理，这里主要用的是最短路径和最大切分。pattern库的构建流程如下所示。

文章摘要 FormStruct-Bench论文提出了一个针对表单类文档结构识别的新型分层评测基准，解决了传统方法在结构化评估上的不足。研究团队通过"导演-美术-质检"的合成流程构建了7,000个带精确标注的表单实例，并设计了分层评估指标，包括内容读取(Value-nED)、结构重建(Schema-nED)和路径正确率(TSR-path)等。实验结果显示，当前最佳系统在内容读取上达到83.85%，但结构路径正确率仅17.91%，区域检测和关系识别指标更低。研究表明，视觉退化主要影响结构绑定而非内容识别，且合成