Non-local Neural Networks

 Non-local Neural Networks受到经典非局部均值方法的启发，在计算机视觉中，以所有位置的特征加权和的形式计算出一个位置的响应。这个模块可以插入到许多计算机视觉框架中使用。

卷积和循环操作都在空间或时间上处理局部领域， 因此，只有在重复应用这些操作时，才能捕获大范围的依赖关系。 重复局部操作有一些限制。 首先，它在计算上效率低下。 其次优化难。

非局部神经网络：
根据非局部均值运算，将深度神经网络中的一般非局部运算定义为:

其中i是输出位置的索引，j是所有可能位置的索引，函数f计算i和j之间的关系矩阵， 函数g表示xj包含的信息，函数c进行标准化。公式中的非局部在操作中考虑了所有的位置，而不是卷积操作中的局部领域也不是循环操作中的在当前和最新时间步长上的重复操作。

非局部操作是一个灵活的模块，可以与卷积或者循环层一起使用。它可以被添加到深度神经网络的早期部分，而不像全连接层那样用在最后部分。它结合了非局部和局部信息。

论文中实验表明非局部模块对函数f和g的选择并不敏感。

为了简单起见，只考虑g的线性潜入，其中Wg是需要学习的权值矩阵，用空间1*1或者时空1*1*1卷积实现就可以。

函数f的选择有

接下来就可以将第一个公式封装到一个可以合并到许多现有框架中的非局部模块中。

yi就是公式1计算得到的。而+xi残差连接是允许将一个新的非局部模块插入到任何预训练好的模型中，而不会破坏它的初始维度。