一、Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method
三个创新点:1、Transformer block里面修改了 attention;2、Transformer block里修改了FFN;3、添加了 cross-layer attention 。
attention
ViT在Q和K计算相似性时,对于输入为(C,H,W)的特征需要进行CHWxCHW的运算(像素维)。 Restormer在Q和K计算相似性时,对于输入为(C,H,W)的特征需要进行CxC的运算(通道维)。本文分为两个步骤,第一步相似性计算的是HxH,叫做 height-axis attention。第二步相似性计算的是 WxW,叫做 width-axis attention。
DGFN


1820

被折叠的 条评论
为什么被折叠?



