《论文阅读》Point Transformer

最新推荐文章于 2026-05-26 09:16:43 发布
原创 最新推荐文章于 2026-05-26 09:16:43 发布 · 1w 阅读 · 68
博客介绍了PointTransformer，一种将NLP中的Transformer架构应用于点云处理的方法。点云是3D空间中目标表面的点集合，富含三维坐标及附加信息。PointTransformer借鉴Transformer的自注意力机制，处理点云中点之间的位置和语义关系。通过多头注意力和位置编码，该模型能够捕捉点云的结构和上下文信息。在语义分割任务中，PointTransformer展示出高效性能，无需传统卷积操作。

留个笔记自用

Point Transformer

做什么

点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。在这里插入图片描述
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样
在这里插入图片描述

做了什么

在这里插入图片描述
创造了一个点云处理方式也就是题目的Point transformer，将nlp领域中的transformer引入了点云处理领域
首先先回顾一下nlp中transformer的设计方式，借鉴图解Transformer（完整版）
在这里插入图片描述
整体结构是

标签
#人工智能
最低0.47元/天 解锁文章
Point Transformer
qihshe的博客
07-07 1466
本文提出了一种基于自注意力机制的"点Transformer"网络，用于3D点云处理。点云作为无序且不规则的3D数据，传统卷积方法难以直接处理。作者设计了具有置换不变性的点Transformer层，采用局部向量自注意力机制，结合位置编码，有效捕捉点云几何特征。基于该层构建的网络在多个任务中取得突破性成果：在S3DIS数据集上mIoU首次突破70%（70.4%），ModelNet40分类准确率达93.7%，ShapeNetPart部件分割mIoU达86.6%。相比基于投影、体素或图的方法，点
避坑指南：WinCC连接SQL Server 2019数据库的3个常见错误与VB脚本调试技巧
最新发布
weixin_33738982的博客
05-26 570
本文详细解析了WinCC连接SQL Server 2019数据库的常见错误与VB脚本调试技巧，包括身份验证模式选择、连接池优化、防注入SQL构建及事务处理等关键点。特别针对工业自动化场景，提供了高效的调试方法和性能优化方案，帮助工程师避免常见陷阱，实现稳定高效的数据集成。
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
点变压器-火炬 在Pytorch中实现自注意层。 上面的简单电路似乎允许他们的小组在点云分类和分割方面胜过所有以前的方法。 安装 $ pip install point-transformer-pytorch 用法 import torch from point_transformer_pytorch import PointTransformerLayer attn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_hidden_mult = 4 ) feats = torch . randn ( 1 , 16 , 128 ) pos = torch . randn ( 1 , 16 , 3 ) mask = torch . ones ( 1 , 16 ). bool
「论文阅读」Point Transformer（ICCV_2021_paper_Zhao）
小麋鹿跑了的博客
02-13 8610
作者提出，Transformer模型特别适合于点云处理，因为自注意力是Transformer的核心，本质上是一个集合算子：它对输入元素具有顺序不变性和数量不变性，因此，将自注意力机制用于点云是自然而然的，因为点云本质上是嵌入在3D空间的集合。 我们将这种直觉具体化，并开发了一个用于3D点云处理的自注意层。 该文章的主要贡献在于： 1.为点云处理设计了一个表达能力非常强的Point Transformer Layer。该层具有顺序不变性和数量不变性，因此天生适合点云处理。
(CVPR) Point Transformer - 详细解读
晨的博客
03-19 6516
Point Transformer是一种深度学习模型，专门设计来处理点云数据。点云是3D空间中的一组点，通常用于表示物体的外形或空间的结构。这种数据格式在计算机视觉、自动驾驶汽车、机器人导航等领域非常重要。与其他数据类型（如图像）相比，点云的处理更为复杂，因为它是无序的，并且点与点之间的关系不像像素那样规则。
点云深度学习系列博客(六): Point Transformer方法概述
02-10 1万+
基于注意力机制的深度学习模型在起初设计时，针对的是NLP问题。包括词元分析，翻译等语言处理任务，注意力机制能够训练超大规模数据，并建立学习模型，获得显著的性能提升。鉴于注意力机制在NLP任务中的空前成功，视觉领域也尝试引入注意力机制，著名工作包括VIT [1] 和Swin Transformer [2]。对于点云数据处理，一些基于Transformer模型 [3][4] 的工作也被提出。本文以文献 [3] 为基础，概述在点云数据处理任务中引入Point Transformer的具体思路。
论文阅读 Point Transformer & Fast Point Transformer
Mrjdk的博客
11-23 1670
由于Transformer在NLP以及2D图像以及视频领域取得的成功，有学者便想着将其应用于3D点云中，本文将先后介绍以及两篇文章。后续文中将两者分别简称为和。
Point Transformer论文阅读
weixin_65412860的博客
11-20 835
本文提出PointTransformer网络，利用自注意力机制处理3D点云数据。创新点包括：(1)局部自注意力机制，基于K近邻构建局部特征交互；(2)向量注意力形式，支持特征通道级自适应调制；(3)相对位置编码方法，通过坐标差MLP变换获得位置信息。网络由PointTransformer块、上下采样模块构成，在分类、分割任务上表现优异。消融实验表明，相对位置编码和向量注意力机制对性能提升显著，k=16的邻域规模取得最佳平衡。该方法将点云视为3D空间中的集合数据，通过注意力机制实现高效的特征交互与聚合。
Point Transformer 论文阅读笔记
m0_46238121的博客
06-06 1171
本意是用来整理自己阅读论文的理解与感悟，目前写哪算哪，主打一个随心所欲。最近刚刚开始阅读point cloud semantic segmentation方向的论文，这是第一篇，很多前置的知识不怎么了解，今晚先丢一些图，后续过程慢慢补充吧。
Point Transformer v3论文阅读
weixin_65412860的博客
11-28 883
PTv3分析了PTv2的性能瓶颈主要来自KNN和位置编码，这些瓶颈限制了注意力机制感受野的增大，限制了模型深度的增大，也限制了多数据联合训练等策略，也就是限制了模型的scale。因此，作者的核心改进就是通过空间填充曲线来讲点云序列化，此序列化就是给这些高维空间的点云生成一个位置索引，这个位置索引在一定程度上保存了点云之间的空间位置关系。
论文阅读【PCT: Point Cloud Transformer】
weixin_47725177的博客
12-05 1559
PCT 论文阅读
《论文阅读》PCT: Point Cloud Transformer
未知丶的博客
02-19 5552
留个笔记自用 PCT: Point Cloud Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 跟另外一篇Point transformer的说法非常相似，将
PCT: Point Cloud Transformer论文阅读及理解
Lcx559的博客
11-21 2166
点云数据的不规则和无序性是的用神经网络处理变得很困难。PCT是基于Transformer。为了更好的获得点云局部的联系，采用了最远点采样和最邻近搜索。
【论文阅读】【3d目标检测】point transformer
hgj1h的博客
04-22 827
论文标题：Point Transformer iccv2021 用transformer做点云工作 出于点云的随机性 transformer正好处理此类问题 但是 很显然对于大规模的点云 直接使用transformer计算量是巨大的 所以作者提出来一种新的transformer处理形式，那便是knn查找临近点。 首先 作者介绍了transformer的背景 自注意力操作主要可以分为scalar和vector attention scalar就是我们常说的注意力机制 而vector attention则还
Point Transformer V3适合小白，看完就懂
热门推荐
博客简介
03-23 1万+
PTv3设计原理介绍
【点云处理】PointTransformerV1、V2、V3
1900的博客
01-12 5763
对于分类任务，不包含上采样部分，在经过四次下采样，将点云分辨率减小到N/256之后，直接执行全局平均池化，得到一个长度为512的向量，这就是经过之前point transformer block和transition down之后提取到的点云全局特征向量，最终将这个特征向量输入到最后的MLP中，输出分类标签。假设V代表n个点，每个点xyz坐标，所以3列n行，注意力权重为nxn，那么在计算的时候就会发现，权重值是直接乘以每一个点的（就是说点向量的三个通道没有区别，直接乘以一个权重值）。
Point Transformer 翻译笔记
Torres9_1125的博客
06-15 1733
自我注意网络已经彻底改变了自然语言处理，并在图像分类和目标检测等图像分析任务中取得了令人瞩目的进步。受此启发，我们研究了自我注意网络在三维点云处理中的应用。我们为点云设计了自我注意层，并利用这些层构建了用于语义场景分割、对象部分分割和对象分类等任务的自我注意网络。我们的点转换器设计改进了先前跨域和任务的工作。例如，在用于大规模语义场景分割的具有挑战性的S3DIS数据集上，点变换器在区域5上达到70.4%的mIoU，比最强的先验模型高出3.3个绝对百分比，并首次超过70%的mIoU阈值。...
Point Transformer V3: 更简单，更快，更强 详细解读
晨的博客
03-22 7591
主题: "更简单，更快，更强大"，v3版本在保持高性能的同时，着重优化了模型的简洁性和计算效率。 核心改进: 简化设计: v3版本对Point Transformer层进行了简化，减少了模型复杂度，提高了训练和推理速度。 效率提升: 引入了新的优化算法和技术，如高效的点采样和特征提取方法，显著提升了处理速度。 性能增强: 即便在简化模型结构的同时，v3版本通过更加精细的注意力机制和改进的网络架构，依然实现了在多个3D点云处理任务上的性能提升。
【点云】point Transformer V1文章梳理
胡侃有料的博客
10-19 1741
将Transformer引入到点云中（不确定之前是不是有人这么做）采用unet形式由于点云的特点，使用最远点采样+knn，获取局部点注意力机制方面的改进注意力和特征都加位置编码用”领域特征-中心点特征“作为权重（还要加上位置编码）权重部分还会经过一个MLP2020.12.16。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值