369小说网
  1. 369小说网
  2. 玄幻小说
  3. 重生之AI教父
  4. 第190章 从变分自编码到扩散模型
设置

第190章 从变分自编码到扩散模型(1 / 3)



《重生之AI教父》转载请注明来源:369小说网(369book.cc)

“你们有没有看过变分自编码器(VAE)的那篇论文?”

孟繁岐和阿里克斯,伊利亚三人一边做着餐前准备,一边闲聊道。

就在孟繁岐去年提出生成对抗模型GAN之后,同年年底有一个类似的生成式模型被提出,那就是变分自编码器。

VAE和孟繁岐提出的GAN都是深度生成式模型,两者均被视为无监督式学习领域最具研究价值的方法。

“当然看过,它的思路跟你的GAN挺像的,都是从隐藏变量去生成目标数据。”

变分自编码器的反响和热度比孟繁岐的GAN低了一些,一是因为先入为主,孟繁岐的GAN珠玉在前。

另一方面也是因为GAN两个网络对抗的思路和结构太过新奇,非常独特有创意,而且即便是领域外的人也容易理解。

相比之下,变分自编码器则显得更加朴实无华一点。

“其实原理都差不多,你们都假设隐藏变量服从某种概率分布,目的就是为了训练一个模型,可以将原本的概率分部映射到训练集的概率分布,是一种对这种分布的变换。”

伊利亚简单总结道。

伊利亚正是年轻力壮的时候,有天赋又努力。

完全是论文机器,看得多写得多,对领域内的新东西门儿清。

阿里克斯则已经稍微有点划水的兆头了,看论文不求甚解,主要读一个大概的意思和想法。

“呦,年轻人们真有活力啊,都这么努力好学?饭前这点时间也要头脑风暴一下?”

辛顿手里端着一杯果汁,溜达过来,发现自己的两个学生竟然在这个庆功宴上还忙着讨论学术,很是欣慰地调侃道。

“我们在谈论生成式模型的问题,孟似乎有一些新想法。”

“什么内容,说来听听。”

“VAE和GAN都是希望生成的数据分布和目标分布十分接近,这种接近听上去很棒,可实际上难以量化。”

孟繁岐解释道:“两个输出,比如图像,他们的分布到底是不是相等或者接近,缺乏足够好的量化标准与价值判断。”

“GAN其实就是大力出奇迹的意思了,我也不管到底怎么评判,干脆整个就把这种隐含的衡量方式给学过来,这就导致对计算量和数据的要求非常大,并且也不是那么容易控制。”

“而变分自编码器的方式其实优雅不少,很值得我借鉴。”

辛顿听完微微扬眉,学界不少年轻天才甚至老学究,都对自己的技术盲目自信和吹捧。

甚至不乏那种相互之间斗嘴皮子,争夺某某技术首发头衔的情况。

像孟繁岐这样,没几个月就开始反思自己技术不足之处的,还挺少见的。

毕竟目前学界对GAN的评价是相对更高的,后续跟进的研究也更多。

“我们首先理解一下生成模型的本质,其实就像是一百个样本里采样十个,我们称呼这十个为x,用这个十个样本学到它的分布p(x)。使用这个分布,就能够得到未被采样的数据。”

辛顿也加入了进来,他直接从最基础的部分开始分析。

“现在的问题就是,这个分布太难了,没法直接学到。因此我们退而求其次,使用一个满足特定分布的隐变量Z来生成这些样本x。计算p(x)=SUmz(p(x|Z)p(Z)),其中p(x|Z)为后验分布,p(Z)是先验分布。”

“VA

本章未完,请点击下一页继续阅读!


相关小说推荐

在古代做个小县官

在古代做个小县官

好酸的杨梅 / 文

关于在古代做个小县官:论在古代做个小县官是什么感受?架空/种田/基建/无CP孟长青穿越古代,为保家产,自幼女扮男装。又因殴打太子得罪后妃,被发配至最北地做个小官。皇帝因为不得不做的处罚,愧疚到难以入眠。孟长青却高兴到连夜收拾东西,天不亮就出了京。太好了,真是太好了!在京都当了十三年孙子,总算解放了!从今以后她孟长青自由了!她要到北山县做个土皇帝!但是在马车进到县城的那一刻,她傻了。什么情况?这里

玄幻 39万字 16小时前

草,我不想死啊!

草,我不想死啊!

璞玉存青 / 文

关于草,我不想死啊!:+++++我只是一个平凡的人,想过平凡的人生,无病无灾活到老死就是我的人生理想。可是......为什么会这样?!我只想好好活着,能别莫名其妙给我的人生加难度吗?!草,我不想死啊!!!末日!变成丧尸!以为这样就能击垮我吗?!我告诉你......不可能!哪怕卑微如尘埃,渺小如蝼蚁,只配阴暗的爬行,我也要活下去!长命百岁!!!(PS:本书较为慢热,但会给大家呈现一个不一样的末日故

游戏 57万字 5天前

我的妖物空间

我的妖物空间

紫泪凝裳 / 文

关于我的妖物空间:“红衣,借我点力量。”“嘎?!”正在看电影的小红衣不情愿地分出自己的力量。秦天穿越到一个充满灵异怪物的世界,因为一场意外觉醒了奇怪的空间,可以吸收各种妖物的能量为自己所用。秦天在各种危险之中努力突破,将这世界背后的真相慢慢还原出来。

其他 16万字 1天前

末世,和小姐姐们的惬意生活

末世,和小姐姐们的惬意生活

天子墓 / 文

关于末世,和小姐姐们的惬意生活:啥情况,末世了竟然人手一个系统?这不公平!什么?你们的就只能聊天和交换物资?那没事了,很公平!!!放开那些小姐姐,让我来!我物资多,我超勇的好不好

游戏 89万字 2天前

怒打渣妹后,医妃搬空侯府嫁战王

怒打渣妹后,医妃搬空侯府嫁战王

月色流光 / 文

关于怒打渣妹后,医妃搬空侯府嫁战王:星际第一女军医沈枝意穿成侯府父母双亡大小姐,在府中备受欺负。敢欺负她?极品叔婶渣堂妹算是踢到铁板上了!怒打极品,闹到渣堂妹被人退亲;剃秃偏心祖母,夺回娘亲嫁妆;搬空侯府库房,让叔婶一家哭都没地儿哭!正当沈枝意在侯府称王称霸,一纸婚约砸到自己头上。什么?和那晚的一夜情王爷楚北尧成亲?呃,看在他刻苦追妻表现那么好的份上,也不是不可以啦~正当两人新婚,楚北尧忽然中毒

玄幻 64万字 2天前

三少,复婚请排队

三少,复婚请排队

樟木子 / 文

关于三少,复婚请排队:在筹备已久的婚礼上,路与浓那个“死”了两年的丈夫……回来了。还摇身一变,成了名震里城的齐三少。婚礼被毁,被迫嫁入齐家,以为是深情作祟,路与浓犯了一回蠢,深陷其中,不可自拔。直到他带着一个陌生女人出现在她面前,冷漠地递给她一纸协议:“我们该离婚了。”彼时她才知道,她不过是他“心上人”的挡箭牌。丢尽颜面,挽回不能,她笑着接了巨额“补偿”,签下名字,而后带着还没来得及认祖归宗的儿

玄幻 50万字 1小时前

本页面更新于
回到顶部
设置