[论文理解]为旋转等变CNN学习可操纵卷积核Learning Steerable Filters for Rotation Equivariant CNNs

最新推荐文章于 2024-05-16 09:40:15 发布
原创 最新推荐文章于 2024-05-16 09:40:15 发布 · 3.2k 阅读 · 11
标签
#计算机视觉 #神经网络
该论文探讨了如何实现卷积神经网络(CNN)对平移和旋转的等变性，采用复数滤波器并提出一种新的方法，通过多个原子滤波器的线性组合来减少插值伪影。模型创新性地使用He初始化，并降低了数据冗余和过拟合风险。实验涉及群卷积层和输出层的设计，以实现旋转不变性。

1.几个问题

1.1 基本信息

CVPR 2018

1.2 做了什么

实现CNN对平移和任意离散旋转的等变性。

1.3 实现方法

和谐波网络Harmonic-Net这篇一样，也是使用复数滤波器。不过这篇使用的是多个复数滤波器，通过一个权重把它们加起来，得到最后的滤波器，其中单个原子滤波器是已知的、权重是需要学习的。理论上能实现N-循环离散旋转等变，N可以任意增大。比如当N=4的时候，一次旋转是90°。

Harmonic-Net中只使用了单个复数滤波器，且滤波器的实数部分是需要学习的，理论上可以实现连续旋转等变。

1.4 创新性

1.使用了He参数初始化方法。
2.利用多个原子卷积核的线性组合能减少卷积核在小尺度下的插值伪影。
3.数据增强会让CNN学习图像在同一滤波器不同旋转版本下的特征图，有数据冗余和过拟合的风险。而这个模型的参数只有传统CNN的 1 / Λ 1/\Lambda 1/Λ倍，

最低0.47元/天 解锁文章
【3D等变几何深度学习与分子表示】E(3)等变神经网络基础
最新发布
u012133341的博客
03-27 94
在等变网络中，不同阶数的等变特征需要通过特定的组合方式生成新的特征表示。在实现层面，张量积通过稀疏的权重矩阵控制不同通道间的信息流动，确保生成的特征仍保持对输入旋转的严格协变性。旋转群描述分子绕通过原点的轴进行的转动，其李群结构保持了向量的长度和内积关系，对应于分子取向变化时内部几何关系的不变性。E(3)等变神经网络正是建立在这一基本物理约束之上的深度学习架构，通过将欧几里得群的对称性显式编码于网络结构之中，使得模型在学习分子表示时能够自动尊重三维空间的几何规律，从而在数据效率和泛化能力上获得本质提升。
[论文理解]深层等变卷积神经网络Rotation Equivariance of Deep Convolutional Neural Network
bxdzyhx的博客
11-21 2651
1.几个问题 1.1 做了什么 提出一种能保证全局旋转等变性的卷积神经网络。 能对四个旋转方向提取特征。 1.2 效果 略 1.3 局限性 只能实现四个方向的旋转，因为矩阵是方形的，最多作用在p4群上。 2.数学部分 2.1 旋转操作 图像函数为f:Z2→Rf:{Z^2} \to Rf:Z2→R。定义旋转变换RRR（这里的R不是实数域的意思）,R(f(x)),x∈Z2R\left( {f\left( x \right)} \right),x \in {Z^2}R(f(x)),x∈Z2相当于将图像顺时针喜欢.
Rotation Equivariant Siamese Networks for Tracking ---cvpr2021-sot
weixin_45032769的博客
03-04 2058
用于跟踪的旋转等变siamese网络 Abstract 旋转是视觉对象跟踪中长期存在但尚未解决的艰巨挑战之一。 现有的基于深度学习的跟踪算法使用常规的CNN，这些CNN本质上是平移等变的，但并非旨在解决旋转问题。 在本文中，我们首先证明视频中存在旋转实例时，现有跟踪器的性能会受到严重影响。 为了避免旋转的不利影响，我们介绍了等速旋转连体网络（RE-SiamNets），该网络是通过使用包含可控滤镜的等分组卷积层构建的。 SiamNets允许以无人监督的方式估计对象方向的变化，从而也方便了其在相对2D姿势估计
[论文理解]旋转等变向量场网络Rotation equivariant vector field networks
bxdzyhx的博客
11-20 3506
1. 几个问题 做了什么 提出了旋转等变向量场网络Rotation Equivariant Vector Field Networks (RotEqNet)，是一种对旋转等变性（equivariance）、旋转不变性（invariance）和旋转共变性（covariance）进行了编码的CNN网络。 论文中专注于解决“旋转”这一操作，因此下文所述的对象都与旋转有关。 实现原理 每个卷积核被应用在多个方向上，并返回一个矢量场，表示每个空间位置的最高评分方向的大小和角度。 实验效果 相比于一些大型模型，RotE
探索与创新：Spherical CNNs —— PyTorch中的旋转等变CNN库
gitblog_00049的博客
05-16 523
在人工智能和计算机视觉领域中，处理球面信号如全景图像或地球表面的数据是一个重要且富有挑战性的任务。为此，我们向您推荐一个由PyTorch实现的旋转等变卷积神经网络（Spherical CNNs）库，它提供了在球面上进行高效计算的能力。这个库是基于[[1]](https://arxiv.org/abs/1801.10130)的研究论文，旨在帮助开发者构建对球面数据具有等变性的深度学习模型。 ###...
深入研读“ReDet: A Rotation-equivariant Detector for Aerial Object Detection”学习笔记
m0_53065609的博客
08-19 6246
ReDet: A Rotation-equivariant Detector for Aerial Object Detection Jiaming Han∗, Jian Ding∗, Nan Xue, Gui-Song Xia Wuhan University, Wuhan, China {hanjiaming, jian.ding, xuenan, guisong.xia}@whu.edu.cn 摘要 最近，航拍图像中的物体检测在计算机视觉中受到了广泛关注。与自然图像中的物体不同，空中物体通常
ReDet:A Rotation-equivariant Detector for Aerial Object Detection
椰子奶糖的博客
07-30 1161
ReDet:A Rotation-equivariant Detector for Aerial Object Detection 文章目录ReDet:A Rotation-equivariant Detector for Aerial Object Detection参考IntroductionRelated WorksPreliminariesRotation-equivariant NetworksRotation-invariant FeaturesRotation-equivariant Det
用于数字病理学的旋转等变CNN
ResumeProject的博客
03-02 753
0.等变        平移不变性\color{blue}平移不变性平移不变性:将图片平移后再送入若干卷积层得到的结果，与将原图直接送入相同卷积层得到结果后再对特征图进行平移所得到的结果一样        如果一个函数满足，输入改变而输出也以同样的方式改变的这一性质，我们就说它是等变的。       &nbsp
论文笔记（ReDet，CVPR2021）
qq_39858171的博客
10-27 1708
论文笔记（ReDet，CVPR2021）A Rotation-equivariant Detector for Aerial Object Detection：利用旋转不变性和等变性特征的旋转等变检测器
Rotation Equivariant Networks for Tracking论文解读
Soonki的博客
06-16 580
1. Introduction The task of visual object tracking with Siamese networks, referred as Siamese tracking, transforms the problem of tracking into similarity estimation between a template frame and sampled region from a candidate frame. 孪生网络是把追踪任务描述成templat
Siamese 目标跟踪：Rotation Equivariant Siamese Networks for Tracking(CVPR2021)
du的博客
04-26 2148
1.Motivation 本文重点是处理目标的平面旋转对Siamese跟踪器性能的不利影响。在没有采取有效解决方案的情况下，目标旋转被认为是最困难的跟踪挑战。 基于深度学习的跟踪算法中使用了CNN，虽然CNN具有平移不变性，但是没有解决旋转问题。视频中存在旋转目标时，现有的跟踪器会受到严重影响。 f(⋅)f(\cdot)f(⋅)和ψθ(⋅)\psi_{\theta}(\cdot)ψθ​(⋅) 分别表示神经网络编码函数和旋转变换函数，由图中可以看出ψθ(f(⋅))≠f(ψθ(⋅))\psi_{\thet
为什么CNN中的卷积核要旋转180度？
J~的博客
02-02 5367
目录 1CNN介绍 2Why Reference 1CNN介绍 推荐看这位大佬的文章：卷积思想理解、Convolutional Neural Network（CNN）卷积神经网络初探 2Why CNN(卷积神经网络)的误差反传(error back propagation)中有一个非常关键的的步骤就是将某个卷积(Convolve)层的误差传到前一层的池化(Pool)层上，因为...
为什么卷积核需要反转180度
通俗易懂的 AI 技术
01-07 2316
因此，如果你用 scypi 库中的 signal 模块来计算卷积，是有 180 度反转过程的，因为 scypi 中的计算是严格遵循数学定义的。正因如此，深度学习中的卷积，就直接简化成了卷积核在输入图像上滑窗做乘累加运算，而不再需要像传统卷积那样进行 180 度旋转。在信号处理中，卷积是一种数学运算，用于接受两个信号(如输入信号和系统响应)，从而产生第三个信号，也就是输出。看了这篇文章后，其实不用再疑惑，这个很好理解，首先在深度学习中，卷积算法依然需要旋转。从数学的角度看，卷积运算的定义包括了这个反转步骤。
卷积核翻转方法
Lucky_yw的博客
04-25 7658
卷积核翻转方法翻转卷积核有三种方法1.围绕卷积核中心旋转180度方法：把卷积核写在一张纸上，用笔尖固定住中心元素，旋转180度后就是翻转后的卷积核。2.沿着两条对角线翻转两次方法：设原始卷积核为1   2   34   5   67   8   9第一次沿着左下角到右上角翻转，也就是3,5,7不变，2和4 交换。6和8交换，1和9交换9   6   38   5   27    4   1第一次沿...
【论文精读】CVPR2021 - ReDet：一种用于航空目标检测的旋转等变检测器
qq_50757624的博客
04-01 1671
最近，航空图像中的目标检测在计算机视觉中引起了广泛的关注。与自然图像中的物体不同，空中物体通常以任意方向分布。因此，检测器需要更多的参数来编码方向信息，这通常是高度冗余和低效的。此外，由于普通CNN没有明确地对方向变化进行建模，因此需要大量的旋转增强数据来训练准确的目标检测器。在本文中，我们提出了一种旋转等变检测器（ReDet）来解决这些问题，它明确编码了旋转等变性和旋转不变性。更准确地说，我们将旋转等变网络纳入检测器以提取旋转等变特征，这可以准确预测方向并导致模型尺寸的大幅减小。基于旋转等变特征，我们还。
经典卷积概述
weixin_44881806的博客
10-09 1483
本文内容主要是对一些经典卷积的概述，包括现代CNN的基本构建模块，可变形卷积，组卷积，可控制卷积，等等。 CNN 图1.CNN层和FC层示意图 首先介绍一下卷积神经网络(CNN)，CNN有以下三个特点： 局部连接——每个神经元不再与前一层的所有神经元相连，而只与少数神经元相连，有效地减少了参数，加快了收敛速度。 权值共享——一组连接可以共享相同的权值，这进一步减少了参数。 降采样降维—池化层利用图像局部相关原理对图像进行降采样，在保留有用信息的同时减少数据量。...
卷积的时候需要对卷积核进行180的旋转，你知道吗?
09-16 5115
这个问题我之前是有过疑问的，后来不知道又取消了这个疑问。今天又去看了一下github上的那篇文章： DeepLearning-500-questions/ch05_卷积神经网络(CNN)/第五章_卷积神经网络 里面有这么一段 卷积的时候需要对卷积核进行180的旋转！ 这个和平时想的有点不一样啊，平时看到的文章不都是那卷积核直接和图像做卷积的吗？ 网上搜到的卷积操作绝大部分是这样介绍的，拿着卷积核直接和原图进行卷积计算就行了。 实际不是这么回事！ 上面这张图的卷积核已经是原卷积核逆时
卷积核flip+transpose+cv.imread+enumerate+np.pad+tqdm
weixin_43845922的博客
10-24 907
平时笔记
CNN误差反传时旋转卷积核的简明分析
热门推荐
zy3381的专栏
03-18 1万+
CNN(卷积神经网络)的误差反传(error back propagation)中有一个非常关键的的步骤就是将某个卷积(Convolve)层的误差传到前一层的池化(Pool)层上，因为在CNN中是2D反传，与传统神经网络中的1D反传有点细节上的不同，下面我们来详细分解一下这个反传步骤。        首先来看一下前向(feed forward)计算，从一个池化层经过与卷积核(Kernel
深度学习之图像分割（二）—— 转置卷积（霹雳吧啦wz）
qq_44832832的博客
02-12 1219
1.上采样（填充，使输出结果大于输入结果，实现一个上采样）2.转置卷积不是卷积的逆运算3.转置卷积也是卷积。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值