《论文阅读27》SuperGlue: Learning Feature Matching with Graph Neural Networks

写在前面 SLAM这个领域有着及其详细的子领域划分，理论上是任何一个小部分都可以使用深度特征学习代替的，差别是谁代替的更加优雅 摘要 SuperGlue，一种通过联合寻找对应点和拒绝不可匹配点来匹配两组局部特征的神经网络。分配是通过解决一个可微的最优运输问题来估计的，其成本由一个图神经网络预测。引入了一种基于注意力的灵活上下文聚合机制，使SuperGlue能够联合推理底层 3D 场景和特征分配。与传统的手工设计启发式方法相比，SuperGlue通过图像对的端到端训练来学习 3D 世界的几何变换和规律性

论文地址：https://arxiv.org/abs/1911.11763 代码地址：https://github.com/magicleap/SuperGluePretrainedNetwork 背景 SuperGlue是一个特征匹配与外点剔除的网络，它将特征匹配问题等价于求解可微分最优化转移问题，再使用GNN来构建损失函数；受到Transformer的启发，作者提出了一个自注意力机制与交叉注意力机制来抽取同一幅图内特征点间的融合信息与两幅图之间的特征点的视觉关联信息，该模型的输入为图像对的特征点与描述

SuperGlue: Learning Feature Matching with Graph Neural Networks 个人感受： 这个是继SuperPoint 后该组又一次推进，感觉效果更加强了，如果superpoint只是在尝试学习传统方法的流程，LFNet end-to-end training就在benchmark上超越了SIFT，近来CVPR19的D2Net 就直接跳出了传统方法...

ETHZ ASL与Magicleap联名之作，CVPR 2020 Oral（论文见文末），一作是来自ETHZ的实习生，二作是当年CVPR2018 SuperPoint的作者Daniel DeTone。Sarlin小伙之前在MagicLeap实习，在ETHZ（苏黎世联邦理工） ASL 完成硕士，目前在 ETHZ CVG就读博士，不是TUM（慕尼黑工业大学）的CVG。

1、将两个图之间的特征点匹配问题松弛为两个特征点图的最优传输问题，可以快速的处理遮挡点、不可重复点的问题； 2、以图像对的形式进行端到端的训练，预先在大型数据集学习姿态估计的先验，使其能推理三维场景； 3、将自然先验应用到模型结构设计中（可以见章节三），设计了点最多是一对一、有些点缺少匹配点； 4、将特征点之间的关系定义为内点（一个图像内）和外点（两个图像间），分别使用self-attention和cross-attenion提前特征； 5、使用神经网络预测两个图之间的传输成本，然后使用辛克霍恩迭代来计算两

SuperGlue:Learning Feature Matching with Graph Neural Networks说明摘要相关工作局部特征匹配图匹配深度点云匹配框架（The SuperGlue Architecture)MotivationFormulationPartial AssignmentAttentional Graph Neural NetworkKeypoint EncoderMultiplex Graph Neural NetworkAttentional AggregationO

SuperGlue：使用图神经网络学习特征匹配 摘要 本文介绍了 SuperGlue，一种神经网络，通过联合寻找对应关系并拒绝不可匹配的点来匹配两组局部特征。分配是通过求解一个可微的最优值来估计的运输问题，其成本由图形预测 神经网络。我们引入了灵活的上下文聚合基于注意力的机制，使 SuperGlue 能够推理底层 3D 场景和特征分配共同。与传统的、手工设计的启发式方法相比，我们的技术通过端到端学习了几何变换和 3D 世界的规律性的先验从图像对训练。 SuperGlue 优于其他学习方法并取得最先进的

superGlue学习_u010949023的博客-CSDN博客 superPoint学习_u010949023的博客-CSDN博客_superpoint 一种基于注意力机制特征匹配网络SuperGlue：端到端深度学习SLAM的重要里程碑_3D视觉工坊-CSDN博客

本论文介绍了LightGlue，这是一个经过训练的深度神经网络，用于在图像之间匹配稀疏的局部特征。借鉴了SuperGlue的成功，论文将注意力机制的能力与匹配问题的见解以及Transformer的最新创新相结合。论文赋予这个模型自省其预测的置信度的能力。这产生了一种优雅的方案，根据每对图像的难度自适应计算量。模型的深度和宽度都是自适应的：1）如果所有预测都已准备好，推理可以在较早的层停止；2）被认为不可匹配的点从进一步的步骤中提前丢弃。

SuperGlue: Learning Feature Matching with Graph Neural Networks 论文解析 简介 出发点 快速最临近邻搜索（FLANN）算法常常被用于匹配得到最近邻特征点，从而得到图片A和图片B中的特征点的匹配对。但是本文认为，特征点的提取与描述采用复杂的深度学习算法后不再是限制因素，而Naive的匹配方法才是限制其性能的关键点。因此本文在SuperPoint的基础上提出了一种匹配算法，取得了匹配性能的极大改进。 相关工作 经典的局部特征匹配流程 提取特

​ 本文提出了一种能够同时进行特征匹配以及滤除外点的网络。其中特征匹配是通过求解可微分最优化转移问题（ optimal transport problem）来解决；本文基于注意力机制提出了一种将2D特征点以及聚合机制，这使得SuperGlue能够同时感知潜在的3D场景以及进行特征匹配。该网络能够在GPU上达到实时，预期能够集成到slam算法中位置如下图​ 在经典的SLAM框架中，前端进行特征提取，后端进行非线性优化，而。

BLOOM: A 176B-Parameter Open-Access MultilingualLanguage Model——一个拥有1760亿参数的开源多语言语言模型

【成长day】SuperPoint&SuperGlue(01): Superglue论文算法学习与对应源码解析

SuperGlue是一种特征匹配网络，它的输入是2张图像中特征点以及描述子，输出是图像特征之间的匹配关系。两幅图像A和B，每幅图像都有一组关键点位置p和每个关键点对应的描述符，将关键点的位置和对应的描述符等信息输入到网络中。例如，A有M个关键点，索引为{1,...,M}，B有N个关键点，索引为{1,...,N}，完成的功能是实现两组关键点之间的，每对关键点之间有一个置信度值，所以定义一个部分软匹配矩阵，大小为M*N，其中第i行第j列表示A中的第i个关键点和 B图中第j个关键点他们匹配的置信度值。其中。

点击上方“3D视觉工坊”，选择“星标”干货第一时间送达今天要介绍的文章是“Back to the Feature: Learning Robust Camera Localization ...

简介 SupeGlue与LoFTR都是对图片间进行特征点匹配的方法，其目的是，找到图像A、图像B中同时存在的相同物体实例，并输出其位置信息、匹配关系。 在提取出特征点后，我们通过图神经网络生成匹配代价矩阵，并求解最优匹配矩阵，以获得全局最优的匹配结果。 图神经网络简介 在讨论 GNN 之前，让我们先了解一下什么是图 (Graph)。在计算机科学中，图是由两个部件组成的一种数据结构：顶点/节点 (vertices/nodes)和边 (edges)。一个图 G 可以用它包含的顶点 V 和边 E 的集合.

SuperGlue: Learning Feature Matching with Graph Neural Networks 2019 论文笔记 Magic Leap, ETH Zurich 提出了特征点匹配网络SuperGlue，寻找两幅图像局部特征点之间的对应关系的神经网络，该网络使用图神经网络预测损失。 搭配super point在室内外重定位任务中达到SOTA的精度。 论文方法： 首先输入图像对记为A，B，各包含了关键点和局部描述子，因此是集合形式{(p,d)} p=(x,y,c)是关键点，

论文测试了 Qwen-3、Llama-3.1、GPT-4o、GPT-5.1、Gemini-3 和 Claude-4.5。它关注一个很现实的问题：LLM 智能体已经不只是聊天机器人，而是能调用工具、读网页、写邮件、用日历、保存记忆的“数字助手”。因为现实攻击往往不是一锤子买卖，而是像“温水煮青蛙”，通过多轮用户、智能体、环境交互，把危险目标拆开、伪装、累积，最终让智能体执行原本不该执行的操作。它包含 28 个真实感较强的智能体环境和 644 个安全测试用例，覆盖工具调用、记忆、网页、邮箱、购物等场景。

训练集中可能混入异常样本。为了解决传统方法过度相信训练集干净的问题，作者提出 SoftPatch，在构建 memory bank 之前先进行patch 级别去噪，并在推理阶段使用降低可疑训练 patch 对异常分数的影响。工业异常通常只占据图像中的一小块区域。例如划痕、污点、裂纹等缺陷往往是局部的。一张异常图像中大部分区域可能仍然是正常的；删除整张图会浪费大量正常 patch 信息。异常 patch 被删除；正常 patch 仍然可以被利用；数据利用率更高；对局部缺陷更友好。