图机器学习——Introduction

图机器学习(Graph Machine Learning)- 第二章 图机器学习简介 Graph Machine Learning 第二章 图机器学习简介 Graph Machine Learning 文章目录第二章 图机器学习简介 Graph Machine Learning前言1. 环境要求Technical requirements2. 理解图机器学习2.1 机器学习的基本原理2.2 图机器学习的优点3. 广义嵌入问题 The generalized graph embedding problem3.1 Node2Vec example3.2 Edge2Vec example3.3 Graph2Vec Example3. 嵌入 阅读详情

Why Graphs?

Graphs are a general language for describing and analyzing entities with relations/interactions.
图是用于描述和分析具有关系/交互的实体的一种通用语言。

  1. 许多数据类型是图
图一:图结构类型的数据

Graphs and Relational Data

主要问题:如何利用这些关系数据更好的进行预测任务?

Graphs : Machine Learning

复杂领域有丰富的关系结构,可以被表示为relational graph(关系图),通过显式的建模得到更好的表现。

Today:Modern ML Toolbox

在这里插入图片描述

图二:现代DL工具设计用于sequences & grids

    但并非所有数据都可以表示为sequence or grid。如何开发出适用范围更广的神经网络?使其应用不在局限于images and sequences

图机器学习

Graphs are the new frontier of deep learning.(图是深度学习的新前沿)
Graphs connect things.(图连接一切)

为何图深度学习很难?

Networks are complex.

  1. Arbitrary and complex topological structure(任意大小和复杂拓扑结构,没有向网格一样的空间局部性)
    在这里插入图片描述
图三:Networks vs Images/Text
  1. No fixed node ordering or reference point(没有固定节点排序或参考点)
  2. Often dynamic and have multimodal features(图是动态的并具有多模态特征)

Deep Learning in Graphs(图深度学习)

在这里插入图片描述

图四:图神经网络流程

Representation Learning(表示学习)

Outline

  • 传统方法:Graphlets、Graph Kernels
  • 节点嵌入方法:DeepWalk、Node2Vec
  • 图神经网络:GCN、GraphSAGE、GAT、
  • 知识图谱和推理:TransE、BetaE
  • 图深度生成模型:GraphRNN
  • 应用:Biomedicine、Science、Industry

Application(应用)

经典图机器学习任务

  • 节点分类:预测一个节点属性
    • 在线用户/物品分类
  • 链接预测:预测两个节点间是否边缺失
  • 图分类:分类不同的图
    • 分子属性预测
  • 聚类:检查节点是否形成社区
    • 社交圈子检测
  • 其他任务
    • 图生成:药物发现
    • 图演化:物理模拟

Example(例子)

Node-level ML Tasks(节点级别的ML任务)

  1. 仅仅基于氨基酸序列预测蛋白质的3D结构
    在这里插入图片描述
  2. AlphaFold:解决蛋白质折叠问题
  • 核心idea:Spatial graph (空间图)
    • 节点:蛋白质序列中的氨基酸
    • 边:氨基酸(残基)之间的接近度

在这里插入图片描述

Edge-level ML Tasks(边级别的ML任务)

  1. 推荐系统

    • 用户和物品交互
      • 看电影、购物、听音乐
      • 节点:用户和物品
      • 边:用户和物品的交互
    • 目标:给用户推荐其可能喜欢的物品
      在这里插入图片描述
      基于图的推荐

在这里插入图片描述
2. 药物副作用影响
在这里插入图片描述

图 :生物医学图链接预测

Subgraph-level ML Tasks(子图级别ML任务)

  1. 交通预测
    • 节点:路段
    • 边:路段之间的连通性
    • 预测:Time of Arrival(ETA)(到达时间)
      在这里插入图片描述
      解决方法:用GNN来预测ETA。
      在这里插入图片描述
【从零开始】CS224W-图机器学习-2021冬季学习笔记1:Introduction; Machine Learning for Graphs CS224W-图机器学习笔记1:Introduction : Structure of Graphs 阅读详情

相关推荐

cs224w 神经网络 学习笔记(一)Introduction

课程链接:CS224W: Machine Learning with Graphs 课程视频:【课程】斯坦福 CS224W: 图机器学习 (2019 秋 | 英字) 目录0. 写在前面1. Why Networks?2. 基础:网络/论基本知识2.1 Starter Topic: Structure of Graphs 的结构2.2 Choice of Network Representation 的不同形式 0. 写在前面 第一节课是Introduction,主要介绍了的优势以及论的一些基本.

喵木木的博客 2936

学习笔记(二):图机器学习

学习笔记(二):学习回顾五. 图机器学习的发展一. 图机器学习:学习的主要任务(三种)链接预测(Link prediction)1. 相似度分数1.1 公共邻居1.2 Jaccard系数1.3 Adamic-Adar指数1.4 优先依附2. 性能指标(Performance metrics)节点标记预测(Node labeling)嵌入(Graph Embedding)小结 回顾 论的基本概念 的表示和存储方式 同构和异构的分类 几个基础的论算法 五. 图机器学习的发展 一. 机器学

Wangzx的博客 3266

表示学习(一)--introduction

文章目录一、Graph基本概念多关系的特征信息二、图机器学习1.半监督结点分类2.关系预测3.聚类问题4.的聚类、回归、分类 一、Graph基本概念 基本概念: 1.G = (V, E) 2.adjacency matrix A ∈R |V|×|V|. 多关系 1.异质 特点:具有多种类型的结构,含有不同属性的数据,增加的的语义信息 (1)结点多类型:V = V1 ∪ V2 ∪ … ∪ Vk,其中Vi ∩ Vj = ∅, ∀i != j. (2)边含约束条件:如:(u, τi, v) ∈ E

weixin_44117376的博客 572

【CS224W】斯坦福图机器学习-相关笔记-Fall 2021

【CS224W】斯坦福图机器学习-相关笔记 斯坦福图机器学习-哔哩哔哩课程链接 值得参考的github 1. 导论,传统的学习方法(Lecture1,Lecture2) graphs are general language for describing and analyzing entities with relations/interactions. 描述和分析实体之间的关系和结构 知识谱仅仅只是神经网络中的一类 network graph ...

froot的博客 1414

图机器学习系列】(一)图机器学习简介

图机器学习系列

不负如来不负卿 1020

神经网络预训练 (2) - 结构预测 Context Prediction 代码

如上篇文章所提及,Strategies for Pre-training Graph Neural Networks一文的作者提出了节点层面进行预训练的两种方法,分别是:Context 和 Attribute Prediction。这两种预训练方法可以让模型学会节点层面嵌入。将预训练得到的模型用于下游层面的任务时,可以很好的保留节点层面的信息,活得更好的泛化能力。 接下来,这一部分就来具体介绍结构预测 Context Prediction,并提供一个可以直接运行的代码版本。 一、 Conte..

wufeil7的博客 2542

cs224w(图机器学习)2021冬季课程学习笔记1 Introduction; Machine Learning for Graphs

cs224w(图机器学习)2021冬季课程学习笔记1. Introduction; Machine Learning for Graphs 1. 课程建议先修知识点 2. Why Graphs 3. Applications of Graph ML 4. Choice of Graph Representation 5. 本章总结

诸神缄默不语的博客 1万+

记录CS2224W图机器学习Machine Learning Graphs(Stanford/Fall 2019)_introduction

Introduction: sturcture of graphs a set of nodes a set of relationships/connections(lines) Starter Topics——Structures of Graphs A network is a collection of objects where ...

weixin_41741485的博客 224

通俗易懂!《图机器学习导论》(附链接)

来源:专知本文多,建议阅读8分钟本文为你介绍目前较新的基于机器学习方法。[ 导读 ]是强大的数据结构,可以被用于建模许多真实世界的场景。可以建模样本之间的关系信息,然而,许多...

数据派THU 1585

神经网络(CS224w)学习笔记1 Introduction:Machine Learning for Graphs

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、为什么要选择进行机器学习?(起源)1.现代深度学习工具的不足二、神经网络定义1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 本章主要介绍了神经网络的起源、定义、应用与总结。 课程建议先修知识点: 1.机器学习、2.算法与论、3.概率论与数理统计 一、为什么要选择进行机器学习?(起源) 是用于描述并分析有关联/互动的实体的一种普适语言。它不将实体视为一系列孤立的点,而认为其互相之间.

woshuaizuishuai的博客 1529

1. Introduction-Machine Learning for Graphs

主要讲述了图机器学习的概念(Machine Learning with Graphs)、应用(Applications of Graph ML),以及表征(Choice of Graph Representation)相关内容。其中,应用层面从Node-level、Edge-level、Subgraph-level、Graph-level 依次展开介绍。...

qq_43629945的博客 1402

CS224W-神经网络 笔记1:Introduction : Structure of Graphs

CS224W-神经网络 笔记1:Introduction : Structure of Graphs 本文总结之日CS224W Winter 2021只更新到了第四节,所以下文会参考2021年课程的PPT并结合2019年秋季课程进行总结以求内容完整 课程主页:CS224W: Machine Learning with Graphs 视频链接:【斯坦福】CS224W:图机器学习( 中英字幕 | 2019秋) 文章目录CS224W-神经网络 笔记1:Introduction : Structure of

HD的博客 507

斯坦福机器学习笔记-Introduction

斯坦福机器学习笔记-Introduction 机器学习定义 关于机器学习有数种定义。 Arthur Samuel described it as the field of study that gives computers the ability to learn without being explicitly programmed. Tom Mitchell provides a

hao555sky 546

Cooperative Graph Neural Networks(一)摘要和Introduction

讲述了一种新的神经网络(Graph Neural Network,GNN)训练框架,称为Cooperative Graph Neural Networks (CO-GNNs)。GNN是一种在上进行机器学习的架构,通过一系列不变变换对输入的节点表示进行迭代计算。(这句话介绍了神经网络的基本概念。在每一层,每个节点状态都基于来自其邻居的消息的聚合进行更新。(这句话指出了现有的GNN模型通常采用的消息传递机制。在这项工作中,我们提出了一种新的GNN训练框架,

sinat_41942180的博客 1137

图机器学习》-Machine Learning for Graphs

CS224W学习笔记

GuoShao_的博客 1099

图机器学习(4)——图机器学习与嵌入算法

在本节中,我们回顾了机器学习的基础概念,并探讨了其在数据中的应用。我们系统梳理了图机器学习的基本术语,重点阐释了表示学习的内涵。通过建立嵌入学习算法的分类框架,厘清了各类技术方案的差异化特征。

盼小辉丶的博客 7756

图机器学习【从理论到实战】

图机器学习1、图机器学习导论1.1神经网络与普通神经网络的异同2、的基本表示和特征工程2.1 的基本表示2.1.1 的本体设计2.1.2 的种类2.1.3节点连接数(度)2.1.4的基本表示(邻接矩阵)节点数量少使用2.1.5的基本表示(连接列表和邻接列表)数量巨大采用2.1.6的连通性 1、图机器学习导论 1.1神经网络与普通神经网络的异同 传统神经网络 以往:随着机器学习深度学习的发展,语音、像、自然语言处理逐渐取得了很大的突破,然而语音、像、文本都是很简单的序列或者网格数据,

feverfew1的博客 2216

图机器学习神经网络学习笔记(一)——————基于CS224W课程及同济豪兄

传统的数据分析中,每一个数据样本都是彼此无关、彼此独立的,我们称之为独立同分布(i.i.d)。但是描述关联数据(数据样本直接存在联系)的通用语言,现实生活中,是无处不在的,比如疾病的变异路径、食物链、地铁站、社交网络、经济网络、神经元、医疗知识谱、场景、基因蛋白质的调控网络、分、代码等都可以抽象为。现代的深度学习网络主要用来解决表格、矩阵、序列等数据,但是没有专门用来解决关联数据的神经网络,并且训练神经网络是复杂的,主要表现如下:任意大小和复杂的拓扑结构(即,没有像网格那样的空间局部性);

qq_46582366的博客 926
上一篇: Understanding and Implementing LeNet-5 CNN Architecture
下一篇: 必读论文(1)——Attention Is All You Need
AcceptGo
博客等级 码龄5年 2095粉丝 · 10原创
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值