CNN由于固定的几何结构,导致其对几何形变的建模受到限制。为了加强CNN对形变的建模能力,文献”deformable convolution network的”提出了deformable convolution 和 deformable RoI pooling两种网络结构单元。deformable convolution 和 deformable RoI pooling都是基于通过学习一个额外的偏移(offset),使卷积核对输入feature map的采样的产生偏移,集中于感兴趣的目标区域。可以将deformable convolution , deformable RoI pooling加入现有的CNN中,并可进行端到端训练。
deformable convolution
上图为3x3标准卷积和deformable卷积。图a为标准卷积,绿色点位卷积核权重值。图b,c,d为可变形卷积,箭头表示卷积核权重的偏移。图c为可变形卷积学到了平移尺度形变,图d为旋转形变。
可变形卷积网络结构如下:
通过一个卷积层,对输入feaure map学习偏移量offset,再通过双线性插值,得到输出feature map.
标准卷积:
以 3×3 卷积核为例,首先生成卷积核采样网格点:
对于输出feature map y中的每个点p0,计算公式为:
x为输入feature map。
可变形卷积:
对于可变形卷积,在采样网格点R的基础上,加上偏移量offsets :
式中,

这篇博客介绍了为解决CNN对几何形变建模能力有限的问题,提出的可变形卷积(Deformable Convolution)概念。通过学习偏移量,卷积核可以适应性地采样输入特征地图,增强对形变的建模。文中详细解析了可变形卷积的工作原理,包括如何通过双线性插值计算输出特征地图,并给出了在CNN中应用可变形卷积的代码示例及训练结果。

6944

被折叠的 条评论
为什么被折叠?



