《生成对抗网络》原理

1.符号表示
$$P_g$$
表示生成器的分布。
$$p_z(z)$$
表示输入噪声变量的先验。
$$G\left(z;{\theta }_g\right)$$
表示由噪声所生成的分布，其中 G 是由网络层和参数 θ表示的可导函数。
$$D\left(x;{\theta }_d\right)$$
是判别器，D(x) 表示 x 来自数据集而不是p_g的概率。

训练 D 的目标是最大化给训练集和生成数据分配正确标签的概率。同样情况下我们训练G来最小化
$$\log (1-D(G(z)))$$
此时的G和D在进行零和博弈，通过价值函数 V(G,D)表示为
$$\underset{G}{\min }\underset{D}{\max }V(D,G)={\mathbb{E}}_{\mathbf{x}\sim p_{\text{data }}(\mathbf{x})}[\log D(\mathbf{x})]+{\mathbb{E}}_{\mathbf{z}\sim p_{\mathbf{z}}(\mathbf{z})}[\log (1-D(G(\mathbf{z})))]$$

文中采用的方法是：在优化判别器D的k个步骤和优化生成器G的一个步骤之间交替进行。这样做的结果是：只要G改变的足够慢，D将被保持在最优值的附近。具体算法为：

事实上，这场minimax游戏的全局最优解是：$$p_g=p_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}$$下面阐述证明。

首先，我们考虑对于任意的生成器G，存在最优判别器D
命题一：固定G，最优判别器D是$$D_G^{\ast }(x)=\frac{p_{\text{data}}(x)}{p_{\text{data}}(x)+p_g(x)}$$
证明：
对于任意生成器G，最大化V(G,D)，此时令 g(z)=x$$\begin{array}{rl}V(G,D)& ={\int }_x{p}_{\text{data }}(x)\log (D(x))dx+{\int }_z{p}_z(z)\log (1-D(g(z)))dz\\ & ={\int }_x{p}_{\text{data }}(x)\log (D(x))+p_g(x)\log (1-D(x))dx\end{array}$$
对于任意(a,b)∈R² \{0,0},函数 $y\to a\log (y)+b\log (1-y)$ 在 $\frac{a}{a+b}$ 处取得最大值。所以，等式1可以改写成：
$$\begin{array}{rl}C(G)& =\underset{D}{\max }V(G,D)\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_{\text{data }}}\left[\log D_G^{\ast }(\mathbf{x})\right]+{\mathbb{E}}_{\mathbf{z}\sim p_{\mathbf{z}}}\left[\log \left(1-D_G^{\ast }(G(\mathbf{z}))\right)\right]\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_{\text{data }}}\left[\log D_G^{\ast }(\mathbf{x})\right]+{\mathbb{E}}_{\mathbf{x}\sim p_g}\left[\log \left(1-D_G^{\ast }(\mathbf{x})\right)\right]\\ & ={\mathbb{E}}_{\mathbf{x}\sim p_{\text{dita }}}\left[\log \frac{p_{\text{data }}(\mathbf{x})}{P_{\text{data }}(\mathbf{x})+p_g(\mathbf{x})}\right]+{\mathbb{E}}_{\mathbf{x}\sim p_g}\left[\log \frac{p_g(\mathbf{x})}{p_{\text{data }}(\mathbf{x})+p_g(\mathbf{x})}\right]\end{array}$$

上面式子用积分形式可以表示为：$$\int p_{\text{data }}(x)\log \frac{p_{\text{data }}(x)}{p_{\text{data }}(x)+p_{\epsilon }(x)}\mathrm{d}x+\int p_{\epsilon }(x)\log \frac{p_{\epsilon }(x)}{p_{\text{data }}(x)+p_{\epsilon }(x)}\mathrm{d}x$$

运用KL散度和JS散度的概念，将其改写为：
$$\begin{array}{rl}\underset{D}{\max }V(G,D)& =-\log (4)+\mathrm{K}\mathrm{L}\left(p_{\text{data }}\Vert \frac{p_{\text{data }}+p_g}{2}\right)+\mathrm{K}\mathrm{L}\left(p_{\epsilon }\Vert \frac{p_{\text{data }}+p_{\epsilon }}{2}\right)\\ & =-\log (4)+2\times \mathrm{J}\mathrm{S}\mathrm{D}\left(p_{\text{data }}\Vert p_g\right)\end{array}$$

所以，当 p_g=p_data 时，C(G)取得全局最小值 -log(4)，生成模型完美地重现数据分布。