GAN & 对抗样本

GAN的英文全称是Generative Adversarial Network，中文名是生成对抗网络。它由两个部分组成，生成器和鉴别器（又称判别器），生成网络（Generator）负责生成模拟数据；判别网络Discriminator）负责判断输入的数据是真实的还是生成的。生成网络要不断优化自己生成的数据让判别网络判断不出来，判别网络也要优化自己让自己判断得更准确。它们之间的关系可以用竞争或敌对关系来描述。​ 在GAN的原作中，作者将生成器比喻为印假钞票的犯罪分子，判别器则类比为警察。

©PaperWeekly 原创 ·作者｜孙裕道学校｜北京邮电大学博士生研究方向｜GAN图像生成、情绪对抗样本生成引言对抗样本的生成方式很多。一般情况下会分成三大类，第一种是基于梯度的生...

1. GAN 原始GAN论文[1]中指出，生成器GGG和判别器DDD在进行最小最大博弈。可以用下面的函数表示： min⁡Gmax⁡DV(G,D)=min⁡Gmax⁡DEx∼pdata[log⁡D(x)]+Ez∼pz[log⁡(1−D(G(z)))] \min_{G} \max_{D} V(G, D) = \min_{G} \max_{D} \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_{z}}[\log (1-D(G(z)))]

生成器网络从随机噪声中生成图像，我们通常使用转置卷积（反卷积）来进行上采样。

​ GAN受博弈论中的零和博弈启发，将生成问题视作判别器和生成器这两个网络的对抗和博弈：生成器从给定噪声中（一般是指均匀分布或者正态分布）产生合成数据，判别器分辨生成器的的输出和真实数据。由此，两个网络在对抗中进步，在进步后继续对抗，由生成网络得到的数据也就越来越完美，逼近真实数据，从而可以生成想要得到的数据（图片、序列、视频等）。​ 由于判别网络和生成网络得到的极值点可能并不是在同一个位置，那么便存在一个全局的平衡点，也就是纳什（Nash）均衡点。时，此时的真实样本数 据与生成数据的分布相同，

和传统的神经网络不同，Generator除了接受x的输入之外，还会接受一个简单的分布作为z进行输入，从而使得网络的输出也是一个复杂的分布为什么输出需要时一个分布呢？以视频预测为例，比如说在糖豆人游戏中，我们需要预测视频的接下来的10帧是怎么样的问题是传统的神经网络(NN)训练出来的结果，在拐角处，一个糖豆人会分裂为两个糖豆人，一个向左一个向右，这是因为在普通NN中，糖豆人向左和向右都有可能，是概率不同，因此他将这两个结果都显示了出来。

本文详细地介绍了原始GAN的原理，并从数学公式上给予了解释，最终引出一个原始GAN论文中存在的“奇怪的问题”。

文章目录1. 极大似然估计2. 相对熵，KL散度3. KL散度与交叉熵的关系4. JS散度5. GAN 框架判别器的损失函数生成器的损失函数 1. 极大似然估计 GAN用到了极大似然估计（MLE），因此我们对MLE作简单介绍。 MLE的目标是从样本数据中估计出真实的数据分布情况，所用的方法是最大化样本数据在估计出的模型上的出现概率，也即选定使得样本数据出现的概率最大的模型，作为真实的数据分布。 将...

用各种GAN生成MNIST数字 数据获取 MNIST数据集的获取可以参考这篇博客： https://blog.csdn.net/songbinxu/article/details/82992264 需要注意的是MNIST数据的值域范围，有的源是原本的[0,255][0,255][0,255]，有的归一化到了[0,1][0,1][0,1]。 生成器和判别器 实现了CNN和MLP两种版本。CNN结构...

生成对抗网络（GAN）是由Ian Goodfellow于2014年提出的革命性深度学习框架，通过生成器（Generator）与判别器（Discriminator）的对抗博弈实现无监督学习。​​生成器​​从随机噪声生成合成数据（如图像），​​判别器​​则区分真实数据与生成数据，二者通过极小极大博弈动态优化：判别器需最大化识别真伪的能力（max

阅读提醒：中英文混杂 1. Introduction to GAN 1.1 Motivation Generative models: explicit models: Likelihood-based models ( autoregressive and flows/VAE) implicit models: sample z → sample x, learning the deep neural network without explicit density estimation 1.

人工智能/机器学习基础知识——生成对抗网络系列（Generative Adversarial Networks，GAN）

文章目录一、GAN基本介绍二、数学分析1. 生成器G2. 判别器D(1) 求D-max(2) 求G-min三、训练过程 一、GAN基本介绍 GAN是一个生成网络，他有两个网络G和D Generator：生成图片的网络，他可以接受一个随机噪声，这里我们一般把噪声设为标准高斯分布（当然也可以是其他的噪声分布），z～N(0,  1)z～N(0, ~~1)z～N(0,  1)，让zzz通过生成网络得到G(z)G(z)G(z)，G(z)G(z)G(z)其实就是一幅图片 Dis

用GAN生成正态分布     毕设中有一部分与GAN（Generative Adversarial Networks）相关，但是一直不work，因此准备重新从最简单的GAN入手，实现一下试试看能不能发现什么问题。     本文会用GAN从标准正态噪声生成均值为3，标准差为0.5的正态分布 N(3,0.52)N(3, 0.5^2)N(3,0.52)。 整体结构     一个GAN由生成器Gener...

AGI (Artificial General Intelligence) 指通用人工智能，是强人工智能的一个重要分支，它可以理解、学习和应用任意 intelligence tasks 的一般知识和技能，而无需人类干预。AGI 的研究可以追溯到 1950 年代，但直到近几年，由于深度学习技术的飞速发展，AGI 才获得了实际应用的可能。更高效的训练方法：GAN 的训练需要大量的计算资源和时间。因此，开发更高效的训练方法是非常重要的。更好的鲁棒性。

import argparse from torchvision import datasets, transforms import torch import torch.nn as nn import os import numpy as np from torch.vision.utils import save_image class Generator(nn.Module): def __init__(self, latent_dim, img_size, channels): s

CW是一个基于优化的攻击，主要调节的参数是c和k,看你自己的需要了。它的优点在于，可以调节置信度，生成的扰动小，可以破解很多的防御方法，缺点是，很慢。

GAN最重要的就是找到D与G之间的纳什均衡，但是在实际中会发现GAN的训练不稳定，训练方法不佳很容易出现模式崩溃等问题，本篇将记录一些训练技巧，不一定适合你的模型，也可能有疏漏和错误，供学习参考，欢迎指正和补充。