知识谱图学习笔记 01

最新推荐文章于 2025-01-03 16:35:54 发布

转载最新推荐文章于 2025-01-03 16:35:54 发布 · 325 阅读

本内容遵循CC 4.0 BY-SA版权协议

原文链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/KnowledgeGraph_Basic/task01.md#四neo4j-介绍与安装

本文是知识图谱学习笔记，介绍了知识图谱的定义、重要性，阐述其构建过程，包括数据获取与非结构化数据信息抽取。还提及存储方式，重点介绍Neo4J图数据库，涵盖下载、安装、Web界面及Cypher查询语言，通过实战展示节点创建、关系建立、查询、修改等操作，最后说明用Python操作及批量导入数据方法。

知识谱图学习笔记01

1 知识谱图定义及重要性

知识谱图本质上是语义网络（Semantic Network)的知识库，即多关系图。

图/图论
由节点和边组成的无向连接图，通常可用来表示多类型节点相关性，可用于电力系统随机变量关联分析等多种领域。
Schema
规范结构化数据的表达
一条数据必须满足Schema预先定义好的实体对象及其类型，才被允许更新到知识图谱中
知识图谱是人工智能很重要的一个分支，建立好知识图谱，才能开展后续工作。

2.知识图谱的构建

2.1获取数据

常用的数据来源渠道主要有：

业务本身的数据（公司数据库）
网络上公开、抓取的数据

其中，公司数据库的数据可以通过简单预处理后作为AI系统的输入；而网络上爬取的数据需要经过一系列处理（自然语言技术等）提取结构化信息，再作为AI系统的输入。
于是，以上两种数据来源获得的数据又可被分为：

结构化数据
非结构化数据

2.2 信息抽取要点（非结构化数据）

对于非结构化数据，如何通过自然语言技术提取结构化信息是一直以来被学者们关注的要点。
目前已被应用的自然语言处理技术包括：

实体命名识别（Name Entity Recognition)：从文本中提取实体并对其分类/打标签
关系提取（Relation Extraction)：通过关系抽取技术，把实体间的关系从文本中提取出来
实体统一（Entity Resolution)：对表达意思相同，说法不同的实体进行类别合并
指代消解（Coreference Resolution)：针对指代词，找出指代词对应的实体

3.知识图谱的存储

知识图谱的存储主要有两种方式：

基于RDF的存储
基于图数据库的存储

两种区别如下：
在这里插入图片描述

目前使用率最高的图数据库是Neo4j系统，它拥有活跃的社区，系统本身的查询效率高，但不支持分布式。而orientDB和JanusGraph支持分布式。
对使用RDF的存储系统，Jena是一个不错的选择。

4.Neo4J介绍与安装

知识图谱由于其数据包含实体、属性、关系等，常见的关系型数据库诸如MySQL之类不能很好的体现数据的这些特点，因此知识图谱数据的存储一般是采用图数据库（Graph Databases）。而Neo4j是其中最为常见的图数据库。

4.1 Neo4J下载

首先在Neo4J官网下载 Neo4J。

Neo4J分为社区版和企业版：
- 企业版：收费，在横向扩展、权限控制、运行性能、HA等方面都比社区版好，适合正式的生产环境；
- 社区版：免费，普通的学习和开发采用免费社区版就好。

4.2 Neo4J安装

在Mac或者Linux中，安装好jdk后，直接解压下载好的Neo4J包，运行命令

bin/neo4j start

windows系统下载好neo4j和jdk 1.8.0后，输入以下命令启动后neo4j

neo4j.bat console

4.3 Neo4J Web界面介绍

Neo4J提供了一个用户友好的 Web 界面，可以进行各项配置、写入、查询等操作，并且提供了可视化功能。

4.4 Cypher查询语言

Cypher是Neo4J的声明式图形查询语言，允许用户不必编写图形结构的遍历代码，就可以对图形数据进行高效的查询
功能：创建、更新、删除节点和关系；通过模式匹配来查询和修改节点和关系

5 Neo4J实战

案例主要包括人物和城市两类，人物和人物之间有朋友、夫妻等关系，人物和城市之间有出生地的关系。

Person-Friends-PERSON
Person-Married-PERSON
Person-Born_in-Location

5.1 创建节点

1.删除数据库中以往的图，确保一个空白的环境进行操作。

MATCH (n) DETACH DELETE n

2.创建一个人物节点

CREATE (n:Person {name:'John'}) RETURN n

注：
CREATE是创建操作，Person是标签，代表节点的类型。
花括号{}代表节点的属性，属性类似Python的字典。
这条语句的含义就是创建一个标签为Person的节点，该节点具有一个name属性，属性值是John。

3.创建更多的人物节点，并分别命名：

CREATE (n:Person {name:'Sally'}) RETURN n
CREATE (n:Person {name:'Steve'}) RETURN n
CREATE (n:Person {name:'Mike'}) RETURN n
CREATE (n:Person {name:'Liz'}) RETURN n
CREATE (n:Person {name:'Shawn'}) RETURN n

六个节点创建成功：
在这里插入图片描述
3.创建地区节点：

CREATE (n:Location {city:'Miami', state:'FL'})
CREATE (n:Location {city:'Boston', state:'MA'})
CREATE (n:Location {city:'Lynn', state:'MA'})
CREATE (n:Location {city:'Portland', state:'ME'})
CREATE (n:Location {city:'San Francisco', state:'CA'})

在这里插入图片描述

5.2 创建关系

1.朋友关系

MATCH (a:Person {name:'Liz'}), 
      (b:Person {name:'Mike'}) 
MERGE (a)-[:FRIENDS]->(b)

注：
方括号[]即为关系，FRIENDS为关系的类型。
注意这里的箭头–>是有方向的，表示是从a到b的关系。这样，Liz和Mike之间建立了FRIENDS关系。
2.关系增加属性

  MATCH (a:Person {name:'Shawn'}), 
        (b:Person {name:'Sally'}) 
  MERGE (a)-[:FRIENDS {since:2001}]->(b)

3.增加更多的朋友关系：

MATCH (a:Person {name:'Shawn'}), (b:Person {name:'John'}) MERGE (a)-[:FRIENDS {since:2012}]->(b)
MATCH (a:Person {name:'Mike'}), (b:Person {name:'Shawn'}) MERGE (a)-[:FRIENDS {since:2006}]->(b)
MATCH (a:Person {name:'Sally'}), (b:Person {name:'Steve'}) MERGE (a)-[:FRIENDS {since:2006}]->(b)
MATCH (a:Person {name:'Liz'}), (b:Person {name:'John'}) MERGE (a)-[:MARRIED {since:1998}]->(b)

图谱建立结果如下：
在这里插入图片描述

5.3 创建出生地关系

1.建立不同类型节点之间的关系-人物和地点的关系

 MATCH (a:Person {name:'John'}), (b:Location {city:'Boston'}) MERGE (a)-[:BORN_IN {year:1978}]->(b);
  MATCH (a:Person {name:'Liz'}), (b:Location {city:'Boston'}) MERGE (a)-[:BORN_IN {year:1981}]->(b);
  MATCH (a:Person {name:'Mike'}), (b:Location {city:'San Francisco'}) MERGE (a)-[:BORN_IN {year:1960}]->(b);
  MATCH (a:Person {name:'Shawn'}), (b:Location {city:'Miami'}) MERGE (a)-[:BORN_IN {year:1960}]->(b);
  MATCH (a:Person {name:'Steve'}), (b:Location {city:'Lynn'}) MERGE (a)-[:BORN_IN {year:1970}]->(b)

这里的关系是BORN_IN，表示出生地，同样有一个属性，表示出生年份
2.创建节点的时候就建好关系

 CREATE (a:Person {name:'Todd'})-[r:FRIENDS]->(b:Person {name:'Carlos'})

在这里插入图片描述

5.4图数据库查询

1.查询下所有在Boston出生的人物

MATCH (a:Person)-\[:BORN_IN\]->(b:Location {city:'Boston'}) RETURN a,b

结果如下图：
2.查询下所有在Boston出生的人物

MATCH (a)--() RETURN a

结果如下图：

3.查询所有对外有关系的节点

MATCH (a)-[r]->() RETURN a.name, type(r)

结果如下图：
在这里插入图片描述
4.查询所有有关系的节点，以及关系类型

MATCH (a)-[r]-(b) RETURN a.name,b.name, type(r)

结果如下图：
在这里插入图片描述
5.查询所有有结婚关系的节点

MATCH (n)-\[:MARRIED\]-() RETURN n

结果如下图：

5.查找某人的朋友的朋友

MATCH (a:Person {name:'Mike'})-[r1:FRIENDS]-()-[r2:FRIENDS]-(friend_of_a_friend) RETURN friend_of_a_friend.name AS fofName

结果如下图：
在这里插入图片描述

5.5 删除和修改

1.增加/修改节点的属性

MATCH (a:Person {name:'Liz'}) SET a.age=34
MATCH (a:Person {name:'Shawn'}) SET a.age=32
MATCH (a:Person {name:'John'}) SET a.age=44
MATCH (a:Person {name:'Mike'}) SET a.age=25

这里，SET表示修改操作

2.删除节点的属性

MATCH (a:Person {name:'Mike'}) SET a.test='test'
MATCH (a:Person {name:'Mike'}) REMOVE a.test

删除属性操作主要通过REMOVE

3.删除节点

 MATCH (a:Location {city:'Portland'}) DELETE a

4.删除有关系的节点

MATCH (a:Person {name:'Todd'})-[rel]-(b:Person) DELETE a,b,rel

6. 通过 Python 操作 Neo4j

6.1 neo4j模块：执行CQL ( cypher ) 语句

# step 1：导入 Neo4j 驱动包
from neo4j import GraphDatabase
# step 2：连接 Neo4j 图数据库
driver = GraphDatabase.driver("bolt://localhost:7687", auth=("neo4j", "password"))
# 添加 关系 函数
def add_friend(tx, name, friend_name):
    tx.run("MERGE (a:Person {name: $name}) "
          "MERGE (a)-[:KNOWS]->(friend:Person {name: $friend_name})",
          name=name, friend_name=friend_name)
# 定义 关系函数
def print_friends(tx, name):
    for record in tx.run("MATCH (a:Person)-[:KNOWS]->(friend) WHERE a.name = $name "
                        "RETURN friend.name ORDER BY friend.name", name=name):
        print(record["friend.name"])
# step 3：运行
with driver.session() as session:
    session.write_transaction(add_friend, "Arthur", "Guinevere")
    session.write_transaction(add_friend, "Arthur", "Lancelot")
    session.write_transaction(add_friend, "Arthur", "Merlin")
    session.read_transaction(print_friends, "Arthur")

对neo4j而言，上述程序可抽象为：

neo4j.GraphDatabase.driver(xxxx).session().write_transaction(函数(含tx.run(CQL语句)))

or:

neo4j.GraphDatabase.driver(xxxx).session().begin_transaction.run(CQL语句)

6.2 py2neo模块：通过操作python变量，达到操作neo4j的目的

  # step 1：导包
  from py2neo import Graph, Node, Relationship
  # step 2：构建图
  g = Graph()
  # step 3：创建节点
  tx = g.begin()
  a = Node("Person", name="Alice")
  tx.create(a)
  b = Node("Person", name="Bob")
  # step 4：创建边
  ab = Relationship(a, "KNOWS", b)
  # step 5：运行
  tx.create(ab)
  tx.commit()

7.通过csv文件批量导入图数据

使用neo4j-admin import命令导入，适合部署在docker环境下的neo4j

首先需要两个csv文件nodes.csv和relations.csv，关系里的起始节点必须是在nodes.csv里能找到的：

  # nodes.csv需要指定唯一ID和nam,
  headers = [
  'unique_id:ID', # 图数据库中节点存储的唯一标识
  'name', # 节点展示的名称
  'node_type:LABEL', # 节点的类型，比如Person和Location
  'property' # 节点的其他属性
  ]
  # relations.csv
  headers = [
  'unique_id', # 图数据库中关系存储的唯一标识
  'begin_node_id:START_ID', # begin_node和end_node的值来自于nodes.csv中节点
  'end_node_id:END_ID',
  'begin_node_name',
  'end_node_name',
  'begin_node_type',
  'end_node_type',
  'relation_type:TYPE', # 关系的类型，比如Friends和Married
  'property' # 关系的其他属性
  ]

通过以下步骤导入neo4j:
1.两个文件nodes.csv ，relas.csv放在

neo4j安装绝对路径/import

2.导入到图数据库mygraph.db

neo4j bin/neo4j-admin import --nodes=/var/lib/neo4j/import/nodes.csv --relationships=/var/lib/neo4j/import/relas.csv   --delimiter=^ --database=xinfang*.db
#delimiter=^ 指的是csv的分隔符

3.指定neo4j使用哪个数据库

修改 /root/neo4j/conf/neo4j.conf 文件中的 dbms.default_database=mygraph.db

4.重启neo4j