第209章 他怎么跑语音领域来了！（2 / 3）

《重生之AI教父》转载请注明来源：369小说网(369book.cc)

/p>

虽然同样是编码器解码器的结构，但t方法还是非常不同的，它的编码器逐渐衍生出了bERt方法，而解码器则拓展成为了Gpt结构，不过那是后话了。

开始阅读孟繁岐代码的同事们，很快就变成了问题达人，看到不大清楚的地方就马上发问。

“这里你为什么使用了这个新的层归一化，而不是去年你发布的批归一化呢？”

“我觉得语言这种数据比较特殊一些，图片我们经常统一整理成相同的分辨率，但是文本这种东西的话，有长有短，我知道一般大家会把后面加0以确保样本长度相同，方便处理。”

“但是这样做的话呢，在批次的这个维度上，归一化很有可能会产生大的波动，尤其是在小批次上。比如一长一短两个文本作为一个批次，你的均值和方差的计算就会非常不稳定。”

孟繁岐的解释通俗易懂，在场的同事基本上都瞬间理解到了重点，毕竟代码就在这里了。

“所以这个层归一化，其实只是针对样本自己的向量特征做了归一化，不管样本长短，大家的特征长度都是固定的。”

“理解了，理解了。”

“妙啊...没想到这么多东西在细节里面。”

有不少人只顾着看那些重大变动的部分，压根就没注意到这里做了什么不同的操作。

“也不只是训练，即便训练的时候没有遭遇问题，但在推理的时候，有人不讲武德，突然拿出一个超长的文本。这样一来，你的模型没有在长文本上算过均值和方差，突然面对比较突兀的输入，也很有可能出现很大的问题。”

“层归一化就不会，因为均值和方差都是在样本自己里面进行计算。”

阿里克斯则注意到了注意力机制的写法似乎和平常有些不大一样：“自注意力机制我们大概都能理解，这里为什么是多头自注意力机制呢？”

“我们希望算法模型基于注意力机制这种东西关注比较重要的内容，但同时，在模型规模较大的情况，模型如果整体关注的东西太过单一也不是什么好事。”

“拥有一定长度的文本，对比图像来说可能比较重点的内容有很多，将注意力拆分为多组，不仅能够让模型关注到输入的不同部分，同时也更方便去做并行加速。”

......

谷歌大脑十位左右的研究员聚在这里，越讨论越觉得这方法不一般。

不仅宏观层面上多了方便并行、结构简洁、长距离关联能力强等特点，模型内部孟繁岐的各种实现那都是深思熟虑，非常直击要害的。

给人的感觉，就是千锤百炼打磨过很久。

“好家伙，你不是做图像类任务的吗？怎么在序列类型的数据上也这么厉害？”

在场的诸人都了解孟繁岐这一路的学术成果，千分类、检测、生成、人脸甚至前几周刚做的医疗方面，乃至于阿尔法围棋也算是另一种性质的图像。

而现在，这可是直接跨行做到语音和语言这方面来了。

关键是你来就来吧，怎么一来就掀大家桌子？

谷歌大脑这边的人倒还好，至少自己也积极参与了进来。

一群人聚在一起，研究的声势是浩浩荡荡，很快隔壁专门的语音组就听到了风声。

“卧槽？这小子怎么跑我们的领域来了？真是饶了我们吧...”

“都说图像，语言和推荐是三大主流方向，他怎么就盯上我们语音这个小领域

本章未完，请点击下一页继续阅读！