RepLKNet论文详解:31×31的超大卷积核模型

原创

已于 2022-09-25 20:45:56 修改 · 9.2k 阅读

收录于

于 2022-09-25 20:33:22 首次发布

提出RepLKNet，一种采用大卷积核（31x31）的CNN架构，性能优于传统CNN和Vision Transformers，尤其在分类、检测和分割任务中表现突出。通过Depthwise卷积和重参数化技术解决大卷积核带来的计算和优化问题。

一切都是为了顺利毕业而努力！这个读作Rep L P Net

论文名称：Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs

原论文地址：https://arxiv.org/pdf/2203.06717.pdf

代码：GitHub - DingXiaoH/RepLKNet-pytorch: Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs (CVPR 2022)

1. 论文主要干啥

（1）在卷积神经网络中，采用少量大卷积是比大量小卷积更好

（2）提出大卷积核神经网络架构RepLKNet，其卷积核尺寸能达到31*31，在分类，检测，分割上均显著强于传统的CNN架构，取得了和主流Vision Transformers相似或者更强的性能，运行的效率更高

（3）对于Vit 来说，Self-attention模块的大感受野是它取得优异性能的重要原因，在使用了大卷积核的设计之后，CNN架构也可以拥有相当的性能，并且在Shape bias等方面和Vit 的表现更为接近

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

思艺妄为

关注关注

9
点赞
踩
32

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

RepLKNet实战：使用RepLKNet实现对植物幼苗的分类（非官方）

05-25

本文通过对植物幼苗分类的实际例子来感受一下超大核的魅力所在。这篇文章能让你学到：通过对论文的解读，了解RepLKNet超大核的设计思想和架构。如何使用数据增强，包括transforms的增强、CutOut、MixUp、CutMix等增强手段？如何调用自定义的模型？如何使用混合精度训练？如何使用梯度裁剪防止梯度爆炸？如何使用DP多显卡训练？如何绘制loss和acc曲线？如何生成val的测评报告？如何编写测试脚本测试测试集？如何使用余弦退火策略调整学习率？原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/124959038

1 条评论您还未登录，请先登录后发表或查看评论

RepLKNet 学习笔记

jacke121的专栏

01-21

1327

RepLKNet 学习笔记

RepLKNet架构详解

培根芝士的专栏

09-12

1378

RepLKNet 通过引入大卷积核和重参数化技术，有效地结合了 Vision Transformer 的全局建模能力和 CNN 的高效计算优势。其设计创新在于既保持了卷积网络的结构简单性和计算效率，又通过大卷积核弥补了 CNN 在处理长距离依赖信息时的不足。因此，RepLKNet 是一种强大的模型架构，适用于各类计算机视觉任务，在大规模数据集上的表现尤其出色。

图像超分辨率中的‘高频细节’救星：手把手拆解SRFormer的ConvFFN模块

最新发布

weixin_29062865的博客

03-30

157

本文深入解析了ICCV2023上提出的SRFormer模型中的ConvFFN模块，该模块通过创新的深度卷积设计有效解决了图像超分辨率中的高频细节丢失问题。实验表明，ConvFFN在PSNR指标提升0.46dB的同时，显著保留了决定视觉真实感的关键纹理细节，为超分辨率技术带来了新的突破。

RepLKNet代码解读（31大小的卷积核）

weixin_45193103的博客

06-09

2543

模型总览：模型主要包括三个模块，1.Stem。2.Stages。3.Transitions。stem指的是一开始的层，因为作者的目标是下游dense-prediction任务，所以作者说这是为了一开始能够获取更多的细节。在一开始的3*3 with 2*的下采样之后，安排了一个DW3*3的layer来capture low-level patterns,一个1*1的卷积以及另外的一个DW 3*3 的layer来进行下采样。首先一开始输入的x是（2，3，224，224）的维度的，借助观察x的维度变化来理解mod

卷积核越大性能越强？一文解读RepLKNet模型

PaddlePaddle

07-22

5099

在CVPR2022中，一篇专注于优化卷积核大小的分类网络论文吸引了大量的关注，这就是由清华和旷视提出的RepLKNet[1]。RepLKNet与目前流行的CNN模型背道而驰，其核心模块由31×31的大卷积核构成。在Vision Transformer (ViT) 流行的大背景下，RepLKNet以纯CNN的架构获得了超过Swin Transformer( Top-1 ac...

【亲测免费】 RepLKNet: 大核卷积网络的新探索

gitblog_00387的博客

08-15

1438

RepLKNet: 大核卷积网络的新探索 RepLKNet 是一款基于深度学习的卷积神经网络(CNN)，由Megvii Research开发并在CVPR 2022上发表。该网络重新审视了大型卷积核在CNN设计中的作用，利用重参数化技术和Depthwise卷积，实现了高性能、高精度和高速度的平衡。 1. 项目介绍 RepLKNet 突破了传统的CNN架构，提出了使用超大的Depthwise卷积来代替...

RepLKNet实战：如何用31×31超大卷积核提升你的CNN模型性能（附代码）

lake5的博客

03-01

886

本文实战解析了如何利用RepLKNet的31×31超大卷积核技术提升CNN模型性能。通过深度可分离卷积与结构重参数化等关键技术，在扩大有效感受野、增强模型形状偏置的同时，保持了计算高效性。文章提供了核心模块的PyTorch代码实现、集成现有模型的策略以及关键训练调优技巧，帮助开发者在图像分类与分割任务中实现性能突破。

CVPR 2022 | RepLKNet：采用31×31大kernel的CNN网络，性能超越Swin Transformer

u011447962的博客

03-15

6559

Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs paper:https://arxiv.org/pdf/2203.06717.pdf code:https://github.com/megvii-research/RepLKNet 该篇论文论述了卷积核的kernelsize可以选择多大。25x25就很好，31x31甚至更好。清华大学丁霄汉继RepVGG后提出了一种大量采用超大卷积核的模型...

为什么RepLKNet的31×31卷积核比传统小卷积核更有效？深度解析大卷积核设计原理

y2z3a4b5c的博客

02-28

1019

本文深度解析了RepLKNet采用31×31超大卷积核的设计原理，挑战了传统CNN依赖小卷积核深度堆叠的范式。通过结合深度可分离卷积与结构重参数化技术，RepLKNet在扩大有效感受野、增强长距离依赖建模能力的同时，保持了高效推理，并在图像分类、目标检测与语义分割任务中展现出卓越性能。

RepLKNet深度解析：如何用31×31超大卷积核重塑CNN性能边界

weixin_29102619的博客

03-01

273

本文深度解析了RepLKNet如何通过引入31×31超大卷积核重塑CNN性能边界。文章阐述了其五大核心设计准则，包括采用Depthwise卷积控制计算量、结合重参数化技术解决优化难题，并利用Identity Shortcut确保训练稳定。该模型在ImageNet分类、COCO目标检测及ADE20K语义分割等任务上表现卓越，证明了超大卷积核在提供全局感受野和强大长距离依赖建模能力方面的优势，为CNN架构创新提供了新思路。

RepLKNet-pytorch：大核卷积的终极突破，31×31超大核CNN设计完全指南

gitblog_00089的博客

01-07

790

RepLKNet-pytorch是一个革命性的计算机视觉模型，它重新定义了卷积神经网络中核大小的设计理念。这个CVPR 2022论文的开源实现将卷积核规模扩展到惊人的31×31，为图像分类、目标检测和语义分割任务带来了前所未有的性能提升。🚀 ## 🔥 为什么RepLKNet如此重要？传统CNN通常使用3×3或5×5的小卷积核，而RepLKNet大胆突破这一限制，证明了**大核卷积**在现

带有超令牌采样的视觉转换器

qq_43314576的博客

03-17

2542

本周主要阅读了CVPR文章，带有超令牌采样的视觉转换器。该论文提出了一个名为SViT的方法，这是一种基于Transformer的模型，SViT主要由以下几个关键组件构成：卷积位置嵌入（CPE）、卷积FFN（ConvFFN）及空间注意力（STA）模块，通过在Transformer中引入卷积层，使得模型能够更好地利用局部信息，同时保持了Transformer对全局信息的建模能力。除此之外，还学习学习了StokenAttention的注意力模块代码的学习。

RepLKNet（CVPR 2022, MEGVII）

00000cj的博客

07-16

1818

本文的出发点是探讨在现代CNN中引入大卷积核的设计，试图通过使用大卷积核来缩小CNN与ViT之间的性能差距。

探索深度学习新边界：RepLKNet（CVPR 2022）

gitblog_00009的博客

05-25

723

探索深度学习新边界：RepLKNet（CVPR 2022）在深度学习领域中，卷积神经网络的设计一直是核心议题。近年来，随着模型的不断演进，设计思路也在不断创新。RepLKNet，这个出自CVPR 2022的最新研究成果，为我们揭示了大核设计在CNN中的潜力，重新定义了我们对高效卷积的理解。项目介绍 RepLKNet，全称为Revisiting Large Kernel Design in CN...

保姆级使用PyTorch训练与评估自己的Replknet网络教程

啥都生的博客

03-10

1557

Replknet网络

大到31x31的超大卷积核，涨点又高效，一作解读RepLKNet

数据派THU

03-30

6152

来源：机器之心本文约4000字，建议阅读9分钟你有多久没调过 kernel size 了？虽然常常被人忽略，但只要将其简单加大，就能给人惊喜。当你在卷积网络（CNN）的深度、宽度、groups、输入分辨率上调参调得不可开交的时候，是否会在不经意间想起，有一个设计维度 kernel size，一直如此显而易见却又总是被忽视，总是被默认设为 3x3 或 5x5？当你在 T...

RepLKNet：揭秘31×31超大卷积核如何超越Swin Transformer的视觉霸主地位

fire9的博客

02-14

174

本文深入解析RepLKNet如何通过31×31超大卷积核设计超越Swin Transformer，成为计算机视觉领域的新标杆。文章详细介绍了RepLKNet的五大核心技术策略，包括深度卷积高效实现、残差连接优化、小核重参数化等，并对比了其与Swin Transformer在性能、架构设计和实际应用中的优势。RepLKNet凭借更大的感受野和硬件友好特性，在ImageNet分类等任务中展现出更高的准确率和更快的推理速度。

OverLoCK：先概览，再聚焦。CVPR2025全新主干网络

sherlockMa的博客

05-23

3064

作者提出了一种深度阶段分解策略（Deep-stage Decomposition Strategy, DDS），该策略受人类视觉系统“先概览后细看”（Overview-first-Look-Closely-next）机制的启发，将卷积网络（ConvNet）分解为三个协同工作的子网络：Base-Net（基础网络）、Overview-Net（概览网络）和Focus-Net（聚焦网络）。这种设计旨在通过动态的自上而下的语义引导来增强特征图和卷积核权重，从而提高模型性能。