LPIPS图像相似性度量标准：The Unreasonable Effectiveness of Deep Features as a Perceptual Metric

​​​​​​​目录

一、感知相似性

二、传统度量和深度学习法

三、原理

四、测试和代码

五、测试结果

六、参考文献

一、感知相似性

        人类可以快速评估两幅图像之间的感知相似性，但是底层过程非常复杂。
纹理图像包含了纹理颜色、纹理基元等丰富的图像信息。在计算机视觉研究领域中，人们使用感知        

        相似性来度量不同纹理之间的相似程度，研究人类对纹理图像的视觉感知。纹理相似性度量广泛应用于纹理识别和材质识别，是对象识别和场景理解的关键技术之一。研究人员通过计算特征之间的距离度量估计纹理感知相似性。
        近年来，对图像网络分类进行训练的VGG网络的特性作为图像合成的训练损失具有显著的作用。

二、传统度量和深度学习法

将左右的两个图像块和中间的图像块进行比较：

        如图表示，每一组有三张图片，由传统的评价标准如L2、SSIM、PSNR等评价结果和人体认为的大不相同，这是传统方法的弊端。如果图片平滑，那么传统的评价方式则大概率会失效。而目前GAN尤其是VAE等生成模型生成结果都过于平滑。

        而最后三行的评价为深度学习的方式，可以看到，通过神经网络（非监督、自监督、监督模型）提取特征的方式，并对特征差异进行计算能够有效进行评价，而且能够和人体评价相似。

三、原理

        如图所示，将两个输入送入神经网络F（可以为VGG、Alexnet、Squeezenet）中进行特征提取，对每个层的输出进行激活后归一化处理，记为