第190章 从变分自编码到扩散模型（2 / 3）

《重生之AI教父》转载请注明来源：369小说网(369book.cc)

E的核心就是假设了p(Z)和每一个p(xi|Z)均为正态分布。他的学习是xi和Z的关系，而不是你的GAN里面，x与x'的关系。”

辛顿的分析非常老辣，直指最关键的地方。

“这一点确实比GAN简单了很多。”

孟繁岐不得不承认这一点，已经知道是正态分布的情况下，这种学习就是小学二年级知识内容了，学均值和方差就可以。

Z是我们自己假设的，xi是采样已知的，这种学习方式很容易就能学到这些已知的样本。

VAE通过专属与某个样本的Zi建立了x与x'之间原本很难学习对比的问题，属于相当聪明的做法。

不过这也导致VAE有时候生成的图像比较糊，不如GAN清晰。

前面说的这些部分属于是AE，自编码器，而V指得则是在自编码器基础上添加的正态分布的随机采样，也就是高斯噪声。

这种噪声的添加，使得希望获得的生成器对噪声和干扰比较鲁棒，生成器训练不好的时候，噪声会低一些，生成器逐渐效果很好的时候，噪声又会增加。

本质上和GAN非常类似。

而孟繁岐想要提出的扩散模型，则是VAE的一种升级版本，同样的，也是GAN的一种升级版本。

它集合了两家之长，取其精华去其糟粕。

“变分自编码器有一个核心的问题，就是这个变分后验p(x|Z)表达能力和计算代价鱼和熊掌不可兼得。变分方法如果简单，表达能力就不丰富；而复杂的变分计算，计算损耗又太大了。”

“我觉得，最大的问题还是在这个变分后验。在VAE中，我们先定义了生成器G，使得x=G(Z)，然后再学一个变分后验p(x|Z)来适配这个生成器。有没有可能把这个过程反一下，先定义一个变分后验p再学一个生成器G呢？”

“反过来？”

辛顿师徒听了之后，都楞了半晌。

“反过来的话，你是想用简单的变分后验将数据样本映射到标准高斯分布，然后学一个生成器，模仿这个映射？”

“emmm...这种方式的确搜索空间可以大不少，效率可能会很高。听起来还不错，但我不确定它是否好用。”

这种新的方式，里面涉及到的原理和数学推理论证，稍一估算就不少，说不定纯推理论证就能发出好几篇论文来。

“我想借助马尔科夫链的平稳性，让概率分布趋于某种平稳分布，逐渐逼近。”

孟繁岐解释道。

辛顿分析道：“这个逐渐逼近的过程，其实还是加噪声呗，还是随机在采样。一步步前向，一步步加入噪声。”

“对，噪声就像是在马尔科夫链演化的过程当中，逐渐溶解扩散，在这个体系中逐渐地分布均匀，我叫它扩散模型。”

噪声加入模型中，先是在局部比较浓郁，而后随着逐渐一步步迭代的过程均匀扩散开来。

就像是一滴滴墨水滴入清水当中，然后缓缓搅拌均匀，这便是扩散模型名字的由来。

假设清水是我们需要的东西，前向就是清水加墨的过程，而反向则是从墨水生成清水的过程，模型学到了如何过滤噪声。

通过大量的前向学习之后，扩散模型就有了从噪声图凭空优化直至一张优美图片的能力，也就可以去完成各种制图工作了。

“听起来很有潜力，不过为什么高斯分布的马尔科夫链

本章未完，请点击下一页继续阅读！