Deep Layer Aggregation笔记

论文地址：https://arxiv.org/pdf/1707.06484.pdf
github地址：https://github.com/ucbdrive/dla

摘要：
提出了对特征图的compounding和aggregation可以改善特征图中是什么(what)和在哪里(where)的推断。（读者理解：在CBAM中，作者通过注意力机制，也是对what和where的研究。）
所以如何最好地aggregate layers或者block，值得我们去研究。作者提出了的深度聚合(aggregate)结构,通过迭代(iteratively)方式和层次(hierarchically)结构合并特征层级结构，有更高的准确率和更少的参数。

Introduction
提高准确度的三个通常方面：more nonlinearity, greater capacity, larger receptive。矛盾点在于，这回提高优化和计算的难度。这也显示了更深的层横沟提取过呢更多的语义信息和全局特征，但这都不表示最终的层就是任何任务的最后表征。所以在深度一定的前提下，我们需要探索aggregation，通过聚合提高精度。

作者提出了两种结构：
iterative deep aggregation (IDA) ：专注于分辨率和范围，通过基础的层级结构来改善分辨率并逐步聚合（aggregate）范围（读者：感受野）。
hierarchical deep aggregation (HDA)：专注于融合模块和通道，通过汇聚自己的树状结构连接层次结构，通过交叉和融合不同的阶段来聚合不同水平（读者：不同感受野）的表征。

结果：
对resnet，resnext等基础模型在大规模数据的图像分类，finegrained识别，语义分割边缘检测等，我们的结果在性能，参数数量，内存使用上都有提升。

related work（值得一看，介绍了不同模型的特