1. Wasserstein距离
1.1 方法简介
Wasserstein Distance也称为推土机距离(Earth Mover’s distance, EMD),Wasserstein Distance的定义是评估由P分布转换成Q分布所需要的最小代价(移动的平均距离的最小值)→和挖东墙补西墙类似(把一个形状转换成另一个形状所需要做的最小工),类似于把一块地方土挖出来,然后填平另一块地方,而W距离找的的是这一过程中挖每一方土最小需要消耗的能量,所以经常查到Wasserstein Distance称为推土机距离。

1.2 方法优势
虽然KL散度和JS散度应用更为广泛,Wessertein距离相比KL散度和JS散度的优势在于:即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。而JS散度在此情况下是常量,KL散度可能无意义。
K-L 散度和 JS 散度取值是突变的,要么最大要么最小,Wasserstein 距离却是平滑的。如果我们要用梯度下降法优化参数,前两者根本提供不了梯度,Wasserstein 距离却可以。
1.3 应用:wikipedia[1]中给出的应用场景是The Wasserstein metric is a natural way to compare the probabi

本文详细介绍了Wasserstein距离,包括其概念、优势、应用场景和Python实现。Wasserstein距离在分布差异度量中表现出色,即使分布支撑集不重叠也能有效比较。相比之下,KL散度和JS散度在某些情况下可能无意义或不具对称性。文章还讨论了KL散度和JS散度的基本原理及其在GAN网络等领域的应用,并给出了Python代码示例。
订阅专栏 解锁全文
以及其他几种常用的分布差异度量方法(mark)&spm=1001.2101.3001.5002&articleId=125915972&d=1&t=3&u=91d5f640dd33406290a231927fb2557c)
1285

被折叠的 条评论
为什么被折叠?



