在变分自编码器(VAEs)的短短一年之后，一个开创性的生成家族模型出现了——生成对抗网络(GANs)，标志着一类新的生成模型的开始，其特征是两个神经网络的协作:一个生成器和一个鉴别器，涉及对抗性训练过程。生成器的目标是从随机噪声中生成真实的数据，例如图像，而鉴别器则努力区分真实数据和生成数据。在整个训练阶段，生成器和鉴别器通过竞争性学习过程不断完善自己的能力。生成器生成越来越有说服力的数据，从而比鉴别器更聪明，而鉴别器又提高了辨别真实样本和生成样本的能力。这种对抗性的相互作用在生成器生成高质量、逼真的数据时达到顶峰。在采样阶段，经过 GAN 训练后，生成器通过输入随机噪声产生新的样本。它将这些噪声转换为通常反映真实示例的数据。

深度学习GAN网络之CycleGAN - 知乎 (zhihu.com)

Conditional GANs

  1. Conventional GANs are not suitable for sensor data recovery since the generated data must accurately represent the activity being performed by the user.
  2. ArXiv: 2006.16477[31] Kaleb E Smith and Anthony O Smith. 2020. Conditional GAN for timeseries generation. ArXiv preprint arXiv: 2006.16477 (2020).

论文浅析-GAN在Style Transfer中的应用 - 知乎 (zhihu.com)
我个人觉得风格迁移这种带有主观特点的视觉应用，恰恰和黑匣子做 CG 这点不谋而合。既然大家都对纹理建模各说各有理，何不让黑夹子来决定这一切？反正规律只有上帝知道。
当然从理性的角度来看：

  1. NN的诞生直接将一些难以捉摸的建模给取代。
  2. 风格迁移本身的主观性也使得这类使用大放异彩。
  3. GAN 的训练思维和反卷积的算子引入也会带有一定的弊端，如何在上采样的过程中避免的 checkboard 这类规整又看似单板的效
  4. 果。

缺点

  • 如梯度消失，无法收敛，生成器和判别器之间的不平衡导致过拟合，以及对超参数选择的高度敏感性
  • 标准GANs的一个主要缺点是不能对生成器进行条件化以生成具有特定属性的数据。例如，我们不能将生成器设置为生成行走数据，然后再生成站立数据；相反，G只是简单地生成与它所训练的数据相似的数据，而没有进一步的控制可供实践者使用
  • GAN is difficult to train due to the large amount of data required and the constant competition between the generator and the discriminator, making training unstable and slow.
  • GAN is difficult to train due to the large amount of data required and the constant competition between the generator and the discriminator, making training unstable and slow.
  • . GANbased methods require a significant amount of labeled data for training, which is often difficult to obtain in sensor-based scenarios.
  • Suffer from mode collapse or lack of diversity
  • Li et al. [5] uses a convolutional GAN since Recurrent GANs do not converge consistently, to generate synthetic human activity physical data which were distinguishable by visualization techniques

变种

    1. SGAN
    2. Extends GAN to the semi-supervised context by forcing the discriminator network to output class labels
  2. CatGAN
    Modifies the objective function to take into account the mutual information between observed examples and their predicted class distributions.
  3. C-gans
    1. 条件生成对抗网络：生成模型根据输入噪声向量产生不同的输出。然而，这种噪声向量对合成数据的控制是非常粗略的，特别是在输出数据必须经过条件化才能生成模仿特定类的数据的情况下。例如，如果要使用 GAN 模型扩展一个包含 20 个不同活动对应的加速度数据序列的 HAR 数据集，就会出现这种情况。该发生器将能够产生对应于所有 20 个活动的合成加速度序列。然而，没有办法控制生成器创建与特定活动对应的序列。
    2. “cGANs allow the conditional generation of data to create samples from a given activity” (Lupión 等, 2024, p. 2353)因此，cGANs 作为对原始 GAN 架构的修改，在[ 27 ]中被提出，以提供对生成的合成数据类型的精细化控制。CGAN 的目标函数与前面 ( 1 )中定义的相同。然而，在这种情况下，与输入噪声一起，生成器接收到额外的信息 y，产生以额外信息 G ( z | y)为条件的合成数据。基于 HAR 的早期实例，在此背景下，y 表示用户旨在生成一系列加速度数据的特定活动。在这种情况下，β项导致 Ez⋅pz ( z ) [ log ( 1-D ( G ( z | y )) ) ) ]。同理，判别器必须判断：i )是否准备了合成数据由额外信息与具有相同额外信息的样本分布一致，ii )如果接收数据是真实的或合成的；因此，在这种情况下，α的表达式为 Ex 轛 pdata ( x ) [ log D ( x | y) ] .
    3. . In the above methods, the generator chooses simple factored continuous noise which is independent from the input data distribution, for generation. As a result, it is possible that the noise will be used by the generator in a highly entangled way, increasing the difficulty to control the distribution of the generated data. Conditional GAN [22] and InfoGAN [7] address this drawback by utilizing external information (e.g., categorical information) as a restriction, but they both pay attention to generation or supervised classification and have limited help in semi-supervised classification
  4. WGAN
    1. WGANs stand out due to stability in training and better convergence.
    2. Wasserstein 生成对抗网络：训练 GANs 是一项具有挑战性的任务。一个主要的问题涉及到训练过程的稳定性[ 28 ]；也就是说，为了在最小最大博弈中达到纳什均衡，生成器和判别器之间的权衡是内在需要的。无论是生成器还是判别器，都不能凌驾于对方之上；否则，损失值将非常高，在训练过程中产生爆炸梯度或不稳定问题。此外，GAN 生成器最终有可能对任何输入向量产生相同的输出，训练损失陷入局部最小值 (模型崩溃)。
    3. 一些新兴的技术旨在克服原始 GAN 的缺点。W GAN [ 28 ]是实现训练稳定、避免梯度爆炸和模型崩溃的最先进的解决方案。损失函数是与原始 GAN 的主要区别。在这种情况下，它使用沃瑟斯坦距离来计算真实分布和由生成器网络生成的分布之间的差异。沃瑟斯坦距离计算将一种配送转化为另一种配送的最小成本。在使用沃瑟斯坦损失函数时，定义分布的函数必须保持 Lipschitz 连续性。这是通过裁剪网络的权重来实现的。然而，权重裁剪会减慢训练过程，甚至在极端情况下会阻止收敛。
  5. Triplegan
    1. 然而，GAN 通常被认为难以训练，因为它交替训练 G 和 D，并且 G 和 D 可能不是同时最优的。此外，生成器无法控制生成数据的类别，这是由于两人的公式。为了解决这些问题，三套管蓄能换热器 GAN 被提出，它由三个参与者组成：生成器 G，判别器 D 和分类器 C。两个条件网络 (分类器和生成器)分别生成给定真实数据的伪标注和给定真实标签的伪数据。判别器用于区分一个数据-标签对是否来自真实的有标签数据集。判别器可以从分类器中获取未标记数据的标签信息，然后迫使生成器生成正确的数据-标签对
  6. CycleGAN
    1. Ensures the backward conversion of a translated image is as similar to the original as possible.
    2. CycleGAN is not very stable when a test sample looks unusual compared to the training samples.
  7. stargan
    1. 使用CycleGAN的图像翻译仅限于两个特定的类。Star GAN [ 18 ]随后被提出，通过将目标域标签以独热编码向量的形式与定义目标域的图片一起作为辅助输入，将图像从多个源域转换到任意目标域。
  8. AugCycleGAN
    1. Learns one-to-many/many-to-many translation mappings
    2. Prepare auxiliary variables separately from the input image to capture the variations independent from the content to be translated
  9. StyleGAN
    1. Pairwise style transformer network to support multiple input/output styles
  10. Bi-GAN
    1. consists of two GANs that are bound by a cyclic constraint, which enables more effective feature transfer than a classic, single GAN model.