Transformer for Graphs: An Overview from Architecture Perspective 综述笔记（待更）

原创 已于 2022-11-30 13:26:09 修改 · 593 阅读 · 2
标签
#transformer #深度学习 #人工智能
于 2022-08-06 14:05:59 首次发布
该博客探讨了如何在Transformer架构中整合图神经网络（GNN），提出三种方法：1) 将GNN作为Transformer的辅助模块；2) 利用GNN改进位置嵌入；3) 通过图信息改善注意力矩阵。实验表明，这些方法能提升性能，尤其在图级任务上。GA（GNNs as Auxiliary Modules）适合节点级任务，而AT（Improved Attention Matrices from Graphs）则适用于图级任务。未来的研究方向包括新型融合方式、扩展到其他类型的图以及处理大规模图的任务。

Transformer for Graphs

Introduction

1、GA: GNNs as Auxiliary Modules

直接将GNN加入Transformer框架里，然后根据GNN与Transformer的相对位置分类

2、PE: Improved Positional Embedding from Graphs

在使用Transformer模型之前，利用GNN把图的结构信息压缩到位置向量中，然后加入到Transformer的输入中

3、AT: Improved Attention Matrices from Graphs

在计算attention系数矩阵时加入图的信息，或者限制结点只attend他的邻居等
在这里插入图片描述

Transformer Architecture for Graphs

GNNs as Auxiliary Modules in Transformer

在这里插入图片描述

1、three types

(1) building Transformer blocks on top of GNN blocks

(2) alternately stacking GNN blocks and Tr

最低0.47元/天 解锁文章
【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
07-07 1858
图神经网络最新范式的探索报告
Structure-Aware Transformer for Graph Representation Learning
Ohh_ckx的博客
11-18 1728
Structure-Aware Transformer for Graph Representation Learning
论文解读：Graph Transformer for Graph-to-Sequence Learning
夏栀的博客
12-07 7909
论文解读：Graph Transformer for Graph-to-Sequence Learning   图神经网络在深度学习领域内得到十分广泛的应用，其可以对拓扑结构的数据进行表征。现阶段传统的以GNN及其相关变体在进行表征时普遍做法是将结点多跳范围内的邻居结点通过平均或加权等方式进行聚合，但这类方式存在一些不足之处，本篇文章提出的Graph Transformer模型主要解决含有关系以及在有限跳数范围内部分结点之间信息无法得到交互的问题，并应用到graph-to-sequence类问题上。 一、简
Google图嵌入工业界最新大招，高效解决训练大规模深度图卷积神经网络问题
AI科技大本营
10-13 1867
导读：本文主要介绍Google发表在KDD 2019的图嵌入工业界最新论文，提出Cluster-GCN，高效解决工业界训练大规模深度图卷积神经网络问题，性能大幅提升基础上...
一文浅谈Graph Transformer领域近期研究进展
zenRRan的博客
02-06 4983
©作者 |崔琪单位 |北邮GAMMA Lab来自 | PaperWeekly在图表示学习中，Graph Transformer 通过位置编码对图结构信息进行编码，相比 GNN，可以捕获长距离依赖，减轻过平滑现象。本文介绍 Graph Transformer 的两篇近期工作。SAT论文标题：Structure-Aware Transformer for Graph Representation ...
2026年顶会、顶刊SNN相关论文----------持续更新中
lanpeople的博客
02-04 2440
这篇博客主要用于记录2026年在人工智能领域顶会顶刊（ICML、ICLR、CVPR、ECCV、AAAI、IJCAI等）上发表的SNN相关的论文，会附上相关论文的链接及简单介绍，正在持续更新中…
图学习？Transformer：我也行
fareise的博客
05-15 1992
微信公众号“圆圆的算法笔记”，持续更新NLP、CV、搜推广干货笔记和业内前沿工作解读~ 后台回复“交流”加入“圆圆的算法笔记”交流群；回复“时间序列“、”多模态“、”迁移学习“、”NLP“、”图学习“等获取各个领域干货算法笔记~ Transformer诞生于NLP领域，目前已经成为NLP中的主力模型。同时，Transformer在CV领域也逐渐显示出其超强的能力，诸如ViT、Swin Transformer、BEiT等Vision Transformer模型验证了Transformer同样适.
ICLR'22 | 图机器学习最近都在研究什么？
zenRRan的博客
11-22 6214
每天给你送来NLP技术干货！来自：图与推荐 ICLR由Yann LeCun和Yoshua Bengio等大牛发起，在2013年成立了第一届会议，会议开创了公开评议机制（open revie...
学习长短期记忆网络lstm
qq_52122048的博客
06-17 387
Ct可能是-2到2之间，所以后面再来一个tanh缩小范围-1到1之间。
Python全栈项目--基于深度学习的自动驾驶模拟系统
exlink2012的专栏
06-17 676
本文介绍了一个基于深度学习的自动驾驶模拟系统全栈项目，包含以下核心内容： 系统架构：采用前后端分离设计，Python+FastAPI处理后端逻辑和深度学习模拟，Vue3构建前端交互界面。 功能模块： 用户认证（JWT+bcrypt加密） 场景配置（道路类型/天气/交通密度） 自动驾驶模拟（车道线识别/障碍物检测/碰撞风险评估） 数据看板展示 技术特点： 轻量级SQLite数据库存储 完整的认证流程实现 可扩展的深度学习模拟框架 响应式前端界面 学习价值：项目提供了完整的开发流程和可运行源码，适合作为深度学习
LSTM预判+速度门控双保险自愈
2301_77211362的博客
06-21 174
模块功能LSTM 预判预警分析历史通量/应力序列，预测未来失稳风险（如裂纹萌生）Speed-Gated 自愈实时监测通量变化率（速度），当超过阈值时自动增强修复强度双重触发机制满足任一条件（预判高风险 或 实际失稳）即启动自愈动态调节自愈强度随风险等级与速度同步变化。
深度学习稀疏编码与 PCA 的流形解释 —— 线性因子模型收官（八十一）
hello.reader
06-21 117
本文总结了线性因子模型的两个重要主题：稀疏编码和PCA的流形解释。稀疏编码通过L1范数约束实现因子稀疏性，其编码器是非参数的优化过程，虽能获得更优重构但计算效率较低。PCA可视为学习数据所在的低维线性流形（"薄饼"几何），通过保留方差最大的主成分实现降维，并可从线性自编码器角度理解其编码-解码过程。这些线性模型为后续自编码器等深度表示学习模型奠定了基础，同时也揭示了线性方法的局限性，如稀疏编码生成样本质量不佳的问题。文章通过几何动画和对比表格直观展示了关键概念的技术原理与优劣。
深度学习自编码器基础与欠完备自编码器 —— 复制的艺术（八十二）
hello.reader
06-21 227
自编码器不需要标签（用数据自身作监督信号，目标是重构 x），产出有用表示 h，能利用无标注的海量数据。非线性自编码器能找弯曲的流形（曲面），是 PCA 的强大推广，能捕捉更复杂的数据结构。上图展示自编码器的两个组件：编码器 f（x→h）和解码器 g（h→r），目标是 r 近似 x。上图展示欠完备自编码器的沙漏结构：编码维度（瓶颈，如 2 维）小于输入维度（如 8 维）。也有更具生物学意义的**再循环（recirculation）**算法（比较原始输入与重构输入的激活），但很少用于实际。
深度学习自编码器的概率视角与流形学习 —— 编码器即分布（八十四）
hello.reader
06-21 57
上图总结自编码器的概率视角三层次：确定函数（h=f(x), r=g(h)，传统自编码器）→ 概率分布（p(h|x), p(x|h)，随机自编码器）→ 生成模型（近似后验+似然+先验，VAE）。上图展示流形的经典例子：把一张 MNIST 图像垂直平移，所有平移版本在 784 维空间中构成一条 1 维流形（弯曲路径），平移量就是沿流形的坐标。把编码器/解码器从函数推广为分布，再加上对隐变量先验的建模和变分下界，就得到了 VAE——一个真正的深度生成模型。前两篇讲了自编码器的结构（82）和正则化（83）。
【训练与微调篇07】训练监控与模型评估：从实验管理到Benchmark实战
weixin_54908067的博客
06-22 367
本文系统介绍了2026年大模型评估体系的最新发展与实践方法，主要内容包括： 系统化评估的必要性 指出仅监控训练Loss的局限性 提出三层评估架构：实时训练监控、定期基准测试、最终全面评估 训练监控系统搭建 详细演示Weights & Biases(W&B)的实战应用 提供完整的Python实现代码 介绍MLflow自托管方案作为替代选择 评估体系创新 强调多维度标准化评估的重要性 涵盖16+核心Benchmark指标 提出Multi-Score综合评分框架 文章通过具体代码示例和系统架构图，展示了如何构建完
基于深度学习的目标跟踪综述（A review of object tracking based on deep learningq）
2301_78173237的博客
06-17 371
随着深度学习技术的快速发展，目标跟踪算法的发展也随之兴起。鉴于目标、骨干网络和应用方法的多样性，本研究旨在综合整合现有的目标跟踪方法。我们提出了一种基于应用场景和主要方法的系统分类方案，伴随着对每个类别的透彻分析和简明摘要。这种方法提供了更广泛的跟踪技术覆盖面，便于新手研究人员更快地理解该领域。此外，我们提出了标准化的评估指标和广泛使用的数据集，包括在相同的基准上对选定算法进行跨方法性能比较，以增强读者对上下文的理解。最后，我们对当前的局限性、实用建议和前瞻性观点进行了批判性评估，以指导未来的研究方向。
通用表格识别技术通过深度学习与计算机视觉，实现了复杂表格的高精度数字化解析
智能图像识别
06-22 268
摘要：通用表格识别技术通过深度学习与计算机视觉，实现了复杂表格的高精度数字化解析。该技术采用CNN+Transformer融合架构，支持有线/无线表格检测、结构还原与文字识别同步处理，具备多级表头识别、跨页续接等能力，在金融、政务、医疗等领域广泛应用。相比传统OCR，其突破性在于保留表格行列关系与合并单元格结构，将静态图像转化为可计算数据，解决了低质量文档识别难题，显著提升了企业数据自动化处理效率，成为数字化转型的关键基础设施。
NLP基础（RNN，LSTM，GRU）
最新发布
Maxwell_Newton的博客
06-22 65
则引入一个重要的思想，编码器-解码器架构，先用多次循环读入全部输入，这被称为编码阶段，这个阶段没有输出，再把编码阶段的记忆传递下去，每一步都输出一个token，然后新的输入为上一步的记忆+上一步的输出token。前面的RNN很容易发现一个问题，推理都是从前往后读的，也就是生成第i个token的隐状态时，只能看到前i个token，但现实文本很容易出现的情况是，一个词的含义不仅要看上文，还要看下文，比如。RNN的关键是，会在隐藏层传递记忆，单看隐藏层的话，是一个循环的过程，这也是循环神经网络名字的由来。
深入浅出 RNN 反向传播与梯度消失
weixin_48609829的博客
06-21 394
title: 深入浅出 RNN 反向传播与梯度消失tags: Agent开发, 深度学习, 算法基础excerpt: 详细解析 RNN 的随时间反向传播（BPTT）过程。从底层的前向信息流，到严谨的微积分链式法则，直击全导数展开与连乘导致梯度消失的数学本质。循环神经网络（RNN）的核心优势在于处理带有序列依赖的数据。在训练阶段，这种处理时间序列的“记忆”特性，使得其反向传播算法（Backpropagation Through Time, BPTT）比传统的前馈神经网络多了一个关键的时间维度。
深度学习时候d2l报错和使用问题
qq_52122048的博客
06-16 297
解决AttributeError: module ‘d2l.torch‘ has no attribute ‘load_data_time_machine‘_attributeerror: module 'torch' has no attribute 'l-CSDN博客。【d2l包】关于李沐《动手学深度学习》中的attributeerror: module ‘d2l.torch‘ has no attribute ‘train_ch3‘问题_d2l.train_ch3报错-爱代码爱编程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值