Generative Adversarial Networks

[toc]

Abstract

Generative model：研究训练示例的集合，并且学习他们的概率分布。

Generative Adversarial Networks:从估计的概率分布中学习到更多的示例

GAN基于博弈论，其他生成建模的方法大多基于优化。

1.Introduction

有监督学习需要人工标注大量数据。

生成建模通过无监督学习减少人工监督和学习示例。

GAN为生成建模的一种，依赖博弈论。

2.Generative Modeling

生成建模的目标是从训练样本中学习数据的概率分布，这个分布要求尽可能接近输入的概率分布，输入的数据来自未知的概率分布。

传统方法基于显式概率密度函数的估计，比如最大似然估计。这种方法在传统统计数据上有效，但对复杂模型，计算将变得不可行。

隐式生成模型：避免设计易于模型处理的密度函数问题，只学习易于处理的样本的生成过程。

GAN：在单个生成步骤中从模型分布生成真实样本，而不需要增量生成过程或采样马尔可夫链的近似性质。

3.Generative Adversarial Networks

生成对抗网络基于两个机器学习模型之间的博弈（在博弈论意义上），通常使用神经网络实现。

• 组成：生成器（Generator）和判别器（Discriminator）

• 生成器（Generator）：通过噪声向量 z 生成样本 x=G(z)。

• 判别器（Discriminator）：输出样本为真实数据的概率 D(x)。

• 训练过程：生成器和判别器通过梯度下降法交替更新，生成器试图欺骗判别器，判别器则试图正确分类真实和假数据。

4.Convergence Of GANs

在理想情况下，GANs的训练可以找到一个纳什均衡（Nash Equilibrium），此时生成器生成的分布与真实数据分布一致。然而，实际训练中，GANs的收敛性面临挑战，因为其优化过程涉及非凸损失函数和高维参数空间。

5.Other GAN Topics

GAN难生成离散数据。

---

• ← Previous Post
• Next Post →

---

---