当前位置: 首页 > news >正文

[GAN学习笔记] 基础GAN(三)——WGAN

本笔记基于 deeplearning.ai 的 Generative Adversarial Networks (GANs) 专项课程

1. 模式坍塌(Mode collapse)

模式(mode)是特征分布中的峰值。一般来说,现实世界中的分布中一般存在多种模式,如MINST数据集中的十种数字就是十种模式。模式坍塌(mode collapse)是指GAN产生的样本单一,其认为满足某一分布的结果为true,其他为False,导致以上结果。比方说利用MINST产生手写数字时,生成器陷入一种模式,只产生特定类型的数字而不产生其他数字的状态,即为模式坍塌。

2. BCE存在的问题

随着GAN的训练,会使生成器的分布向真实的分布逼近。但是鉴别器相比生成器来说更好训练,当鉴别器改善的过多时,BCE损失函数会到达一个相对平缓的地区,出现梯度消失问题(vanishing gradients),进而导致生成器的参数很难改善。

请添加图片描述请添加图片描述

3. EMD距离和W-Loss

EMD的全名叫做 Earth Mover’s Distance,可以解决BCE损失函数中的梯度消失问题。EMD距离的大小与距离和搬运的次数有关。之所以EMD能够解决梯度消失问题,是因为用它构件的损失函数的梯度不会为0。与之前鉴别器所给出的相似程度(概率,在0-1之间)不同,EMD给出的是对于真假之间相似性的评分,这也就是为什么这里的鉴别器叫做评分器(critic)的原因。
请添加图片描述
原生GAN中的训练鉴别器时的成本函数可以写为:

min ⁡ d max ⁡ g − [ E ( log ⁡ ( d ( x ) ) ) + E ( 1 − log ⁡ ( d ( g ( z ) ) ) ) ] \min\limits_{d} \max\limits_{g} -[E(\log (d(x))) + E(1-\log (d(g(z))))] dmingmax[E(log(d(x)))+E(1log(d(g(z))))]

W-Loss的形式与其类似,可以写为:

min ⁡ g max ⁡ c E ( c ( x ) ) − E ( c ( g ( z ) ) ) \min\limits_{g} \max\limits_{c} E(c(x)) - E(c(g(z))) gmincmaxE(c(x))E(c(g(z)))

在更新评论器时,要尽量使损失函数较大,也即真的越真,假的越假;在更新生成器时,要尽量使损失函数较小,也即让生成器的分布更加接近真实分布。如下图所示,之前鉴别器的输出是0-1之间的某个值,存在梯度消失问题,但是现在评论器的输出可以是任意值,不存在梯度消失问题。
请添加图片描述

4. 1-L连续

当应用W-Loss时,评论器需要满足1-L连续条件,这个条件保证W-Loss能够有效的近似EMD。1-L条件的数学表达式为 ∣ ∣ ∇ f ( x ) ∣ ∣ 2 ≤ 1 ||\nabla f(x)||_2\leq1 f(x)21。满足这种条件的方法是使用正则化技术进行梯度惩罚:在原来的损失函数后加一个正则项来保证梯度始终在1附近。完整的数学表达式如下。

min ⁡ g max ⁡ c E ( c ( x ) ) − E ( c ( g ( z ) ) ) + λ E ( ∣ ∣ ∇ c ( x ^ ) ∣ ∣ 2 − 1 ) 2 \min\limits_{g} \max\limits_{c} E(c(x)) - E(c(g(z)))+\lambda E(||\nabla c(\hat{x})||_2-1)^2 gmincmaxE(c(x))E(c(g(z)))+λE(c(x^)21)2

其中 x ^ \hat{x} x^为真实图像和假图像的加权和,表达式为 x ^ = ϵ x + ( 1 − ϵ ) g ( z ) \hat{x}=\epsilon x+(1-\epsilon)g(z) x^=ϵx+(1ϵ)g(z) ϵ \epsilon ϵ为对应的权值。

原文地址:https://blog.csdn.net/m0_55905751/article/details/123286340

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 809451989@qq.com 进行投诉反馈,一经查实,立即处理!

相关文章:

  • css防止高度塌陷,css之高度塌陷及其解决方法
  • 计算机图形学笔记十:Geometry3(网格处理)
  • 怎么样上台演讲(结合ppt)。。超级实用。。。
  • 商务流程
  • 业务范围(business area)
  • 国内外知名云服务公司介绍
  • 什么是企业管理咨询服务?
  • MiL.k x Bithumb x Yanolja宣布建立三方商务及市场营销合作关系
  • 移动商务,还是短信商务?
  • 什么样的人适合做外贸?能做好外贸?(非外贸零售)
  • 供应链服务平台方案:助供应链服务公司实现商品+决策+物流+售后协同办公
  • 公司的服务类型简介
  • 企业服务
  • 视频剪辑,就上这5个网站找素材,免费可商用。
  • 书单素材怎么找?教你寻找方法
  • 自媒体都在用的5个素材网站,视频、音效、图片全部免费下载~
  • 6个高清图片素材网站,找图片素材就靠他们了
  • 找高清视频素材,就上这6个网站。
  • 找高清图片素材,这8个网站就够了
  • 装甲板识别