CSRNet神经网络主要用于高密度人群图片的人数估计。
前端直接使用预先训练好的VGG16神经网络,
输出图像的大小为原始输入图像的1/8
后端使用空洞卷积神经网络
在保持分辨率的同时扩大感知域, 生成高质量的人群分布密度图。
空洞卷积
- 定义一个二维的空洞卷积如下

x(m,n)是长宽分别为M和N的输入图像信息,经过卷积核w(i,j)得到空洞卷积的输出y(m,n),其中参数r表示空洞率。
如果r=1则空洞卷积就是普通卷积。
实验证明,空洞卷积利用稀疏的卷积核,实现交替卷积和池化操作,在没有增加网络参数和计算规模的前提下增大了感知域,更适合人群密度估计任务。
而普通的卷积操作需要增加卷积层数才能获得更大的感知域,而且也增加了更多的数据操作。
空洞率为r 的空洞卷积操作,K x K的卷积核会被扩大为K+(K-1)(r-1)。
- 前端网络
采用剔除了全连接层的VGG-16网络,并且采用3×3的卷积核。
- 对于相同大小的感知域,卷积核越小,卷积层数越多的模型要优于那些有着更大卷积核且卷积层数较少的模型。
- 为了平衡准确性和资源开销,这里的VGG-16网络采用10层卷积层和3层池化层的组合。
- 后端网络采用六层空洞卷积层,空洞率相同。
- 最后采用一层1×1的普通卷积层输出结果。
- 网络结构如下:

本文介绍了CSRNet神经网络,它结合预训练的VGG16与空洞卷积,用于精确计数高密度人群。VGG16作为前端网络,采用10层卷积和3层池化,后端通过六层空洞卷积扩大感知域,最终通过1x1卷积输出结果。文章详细阐述了训练方法、密度图生成、损失函数以及MAE/MSE评价指标。

1万+

被折叠的 条评论
为什么被折叠?



