23-02-10组会论文总结

最新推荐文章于 2026-05-03 07:58:57 发布
原创 最新推荐文章于 2026-05-03 07:58:57 发布 · 944 阅读 · 4 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#深度学习 #自然语言处理 #transformer
文章探讨了基于Transformer的方法在超高清低光图像增强中的应用，对比了Stripformer的工作机制，并提出了可能的优化方向。此外，介绍了用于图像超分辨率的ShuffleMixerConvNet，强调其在计算效率和多尺度融合方面的潜力。DEA-Net利用细节增强卷积进行单图像去雾，而DAE-Former则展示了在医疗图像分割中双注意力引导的高效Transformer设计。

目录

Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method

在这里插入图片描述

本文的轴注意力先计算H方向的注意力，再计算W上的注意力，跟stripformer工作中计算条带间注意力的工作非常相似。下图为stripformer计算条带间注意力的模型。
stripformer计算组件注意力
可以看到stripformer是并联的。串联是否会比并联更有效，串联好像融合了更多信息，这个点可以跑跑实验证明一下。
stripformer还进行了条带内的注意力计算。另外两个创新点（双门控FFN和Layer Attention）也可以尝试融入stripformer中。

ShuffleMixer: An Efficient ConvNet for Image Super-Resolution

在这里插入图片描述
超分的工作思路感觉可以用在多尺度特征的多尺度融合。比如下图中低尺度特征的上采样过程。
在这里插入图片描述
在低尺度上用计算量也不会太大。

A Close Look at Spatial Modeling: From Attention to Convolution

在这里插入图片描述
用卷积代替Transformer，核心问题就是怎么求注意力矩阵。

DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention

在这里插入图片描述
对这个卷积很感兴趣，这是受边缘先验启发设计的一个细节增强卷积(DEConv)层。
这个vanilla卷积用于获得强度水平信息，而差分卷积用于增强梯度水平信息。只需将学习到的特征相加，即可获得DEConv的输出。
作者相信，更复杂的像素差计算方法的设计可以进一步有利于图像恢复任务

DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image Segmentation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
先对Q K进行归一化，然后将K与V相乘，再与Q相乘。降低了计算复杂度。

keel1112
关注
Stripformer: Strip Transformer for Fast Image Deblurring论文阅读
yangqoor的博客
06-18 1253
论文旨在解决动态场景中因物体移动或相机抖动导致的**非均匀模糊（non-uniform blur）**问题。此类模糊具有方向性、区域性和多尺度特性（如短程与长程模糊），传统方法难以高效建模。Stripformer的目标是设计一种轻量化的Transformer架构，在低计算开销下实现高性能去模糊。（Strip Attention）建模模糊的方向性与多尺度特性。：同等参数量下PSNR提升0.42，FLOPs降至1/4，且无需额外数据预训练。，捕捉短程模糊方向性（图1a）。，捕捉长程模糊幅度（图1b）。
文献阅读：DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾
热门推荐
qq_43314576的博客
03-09 1万+
本周主要阅读了文章，DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾。该论文提出了提出了一种细节增强注意力块（DEAB），该模块由一个细节增强卷积（DEConv）和一个内容引导的注意力（CGA）机制组成，使得模型能够更好地保留图像的细节信息，同时又能关注图像中的重要信息，从而达到更好的去雾效果。除此之外，还学习学习了CGA模块的注意力代码模块的学习。本周主要阅读了文章，DEA-Net：基于细节增强卷积和内容引导注意的单图像去雾。
图像去雾新思路：手把手教你复现DEA-Net中的“细节增强卷积”与PyTorch实现
最新发布
weixin_30323631的博客
05-03 464
本文详细解析了DEA-Net中的'细节增强卷积'(DEConv)与PyTorch实现，通过多分支差分卷积和重参数化技术，显著提升单图像去雾效果。文章从数学原理到代码实现，手把手指导复现这一创新架构，帮助开发者在保持轻量化的同时实现41dB以上的PSNR指标，适用于自动驾驶、遥感监测等关键领域。
DEA-Net（2024 SCI 1区）
朴实无华的研究生活
02-05 1356
单图像去雾是一个具有挑战性的不适定问题，它从观测到的雾图像中估计潜在的无雾图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来提高模型性能。卷积神经网络（CNN）结构的学习能力仍然未被充分探索。在本文中，我们提出了一个由细节增强卷积（DEConv，detail-enhanced convolution）和内容引导注意力（CGA，content-guided attention）组成的细节增强注意力块（DEAB）以增强特征学习，提高去雾性能。具体来说，
DEA-Net: Single image dehazing based ondetail-enhanced convolution and content-guidedattention
mytzs123的博客
01-25 4999
摘要——单图像去雾是一个具有挑战性的不适定问题，它从观察到的模糊图像中估计潜在的无雾图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来提高模型性能。卷积神经网络（CNN）结构的学习能力仍然没有得到充分的探索。本文提出了一种由细节增强卷积（DEConv）和内容引导注意力（CGA）组成的细节增强注意力块（DEAB），以促进特征学习，提高去雾性能。具体而言，DEConv将先验信息集成到普通卷积层中，以增强表示和泛化能力。然后，通过使用重新参数化技术，将DEConv等效地转换为vanilla卷积，不
230210论文分享
creami11的博客
02-13 709
ViT在Q和K计算相似性时，对于输入为（C,H,W）的特征需要进行CHWxCHW的运算（像素维）。Restormer在Q和K计算相似性时，对于输入为（C,H,W）的特征需要进行CxC的运算（通道维）。然后shuffle。输入N组（C,H,W）的特征，做QKV的运算，得到NxN相似性矩阵。输入的N组特征里，强调重要的、抑制不重要的。CHW特征矩阵 和 池化后的小矩阵 相乘，得到相似性矩阵，而不是通过QK的计算得到。结构：中间层引入了“竞争”机制，6个节点分别连接到2个3节点层，然后选较大的节点。
网络安全学术顶刊——CCS '23 论文清单与摘要（上）
漏洞战争
12-02 9824
最近大家都来催更了，刚好上周把CCS '23的论文爬下来。之前都是用chatgpt翻译，这次打算用下国产货。一开始用腾讯翻译这种比较传统的翻译工具，在面对这种专业性比较强的领域时，那翻译质量真是一言难尽，果断弃用。大模型时代，传统的翻译手段都会被降维打击。对比文心一言、智谱、千问、讯飞之后，发现还是文心一言的翻译质量更好，但相比chatgpt仍有差距，主要原因是文心更停留于表面翻译，语句冗长且口语...
构建融合 SSD 存储的 GPU 统一大内存，助力 AI 发展！MICRO’23 论文 G10 解读与评论
pumawave的专栏
12-12 1498
如果能够借助外部SSD 存储来扩展 GPU 内存，那么就能打破内存容量墙，以低成本实现超大模型训练。然而，这带来一个关键问题：SSD 访问带宽和延迟比 GPU 内存慢 2-3 个数量级，慢速 SSD 访问将导致难以接受的计算性能，浪费宝贵的 GPU 时间。最新的 MICRO 2023 论文G10正是在这个方向上做出了一次有趣的探索，它构建了一个基于SSD 存储的GPU 统一内存架构，并着力于深度神经网络 DNN训练场景，解决慢速 SSD 内存带来的性能问题。
iMeta 2023年高被引论文10篇
刘永鑫的博客——宏基因组公众号
08-17 309
iMeta 2023年高被引论文10篇2023年高被引论文前10篇如下：2023年高被引文章01 使用fastp进行超快的FASTQ数据预处理、质量控制和去重Ultrafast one-pass FASTQ data preprocessing, quality control, and deduplication using fastp本研究表明fastp已经得到了许多生物信息学用户的认可，并且...
具身智能爆火的这一年里，最有影响力的10篇论文！
3D视觉工坊
02-19 1368
来源：深蓝具身智能添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！‍‍‍鸣谢！所有参与本次年度论文推荐的...
DEA-Net:Single Image Dehazing Based on Detail-Enhanced Convolution and Content-Guided Attention(TIP)
qq_54492880的博客
12-01 2045
具体内容请看原论文。此文只为本人观后总结。作者：Zixuan Chen , Zewei He , and Zhe-Ming Lu , Senior Member, IEEE。
论文阅读之 Ultra-High-Definition Low-Light Image Enhancement A Benchmark and Transformer-Based Method
qq_46401672的博客
08-27 625
论文阅读之 Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method
Ultra-High-Definition Low-Light Image Enhancement: A Benchmark andTransformer-Based Method
u013049912的博客
03-14 1820
随着光学传感器质量的提高，需要处理大规模图像。特别是，设备捕获超高清 (UHD) 图像和视频的能力对图像处理管道提出了新的要求。在本文中，我们考虑低光图像增强（LLIE）的任务，并引入由 4K 和 8K 分辨率图像组成的大规模数据库。我们进行系统的基准测试研究并提供当前 LLIE 算法的比较。作为第二个贡献，我们引入了 LLFormer，一种基于 Transformer 的低光增强方法。LLFormer的核心组件是基于轴的多头自注意力和跨层注意力融合块，显着降低了线性复杂度。
DEA-Net的创新点是？
weixin_42599558的博客
02-14 531
DEA-Net 的创新点在于它将图像超分辨率重建和图像去噪相结合，实现了同时获得高分辨率和高质量的图像。在传统的超分辨率方法中，往往忽略了噪声的影响，这导致了图像质量的下降。DEA-Net 通过使用去噪网络和重建网络相结合，在保证图像分辨率的同时减少了噪声的影响，从而提高了图像质量。 ...
【组会整理及心得】LLFormer、ShuffleMixer、FCViT、DEA-Net、DAE-Former
？？的博客
02-13 3354
0210 LLFormer、ShuffleMixer、FCViT、DEA-Net、DAE-Former
论文阅读之 Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method
qq_46401672的博客
08-18 634
提出一个新的数据集（大型数据库组成的图像分辨率4 k和8 k）我们进行系统的基准研究和提供一个当前LLIE算法的比较。作为第二贡献,比起我们介绍LLFormer的基于变压器光线增强方法。LLFormer的核心组件是基于axis的多头selfattention和跨层关注的融合,大大降低了线性复杂度。广泛的新的实验数据集和现有的公共数据集显示LLFormer优于最先进的方法。我们还表明,利用现有LLIE方法训练对我们的基准作为预处理步骤显著提高下游任务的性能,例如,在光线暗的条件下人脸检测。
【亲测免费】 推荐一款图像去雾领域的明星开源项目——DEA-Net
gitblog_00008的博客
06-14 886
推荐一款图像去雾领域的明星开源项目——DEA-Net 在图像处理领域，特别是图像去雾算法中，近期有一款名为DEA-Net的开源项目引起了广泛关注。DEA-Net不仅以其卓越的技术性能和详尽的文档说明脱颖而出，更因其在多个基准测试数据集上展现出的领先效果而备受青睐。 项目介绍 DEA-Net是由浙江大学团队研发的一款用于单幅图像去雾的深度学习模型，该模型基于细节增强卷积（DEConv）与内容引导注意...
Transformer再卷医学图像分割！DAE-Former：高效双重注意力引导的Transformer
阿木寺的博客
12-29 2119
转载自：CVHubTitle: DAE-Former: Dual Attention-guided Efficient Transformer for Medical Image SegmentationAuthor: Reza Azad et al. (亚琛工业大学)Paper: https://arxiv.org/abs/2212.13504Github: https://github.com...
特征融合篇 | 结合内容引导注意力 DEA-Net 思想 实现双主干特征融合新方法 | IEEE TIP 2024
Coding...
04-04 4519
自创双主干特征融合新方法
组会论文翻译：DAE-Former：用于医学图像分割的双注意引导高效transformer
qq_48588989的博客
09-26 836
Transformer能够对远程依赖关系进行建模而得到广泛关注。其核心部分的self-attention，通常会受到tokens数量的二次方计算复杂性的影响。提出了DAE-Former，重新制定了自注意机制，在保持计算效率的同时，捕获整个特征维度上的空间和通道关系。此外，重新设计skip connection路径，加入了cross attention模块，以确保特征的可重用性，增强定位能力。DAE-Former在多器官心脏和皮肤病变分割数据集上的性能优于最先进的方法，而不需要预训练权重。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值