第 10 节 从理论到实现（代码设计选读）（2 / 3）
《第 10 节 从理论到实现（代码设计选读）》转载请注明来源：369小说网(369book.cc)
`则负责把这些子模型像搭积木一样堆叠起来，前一层的输出作为后一层的输入。在我们的案例中，输入依次经过 Embedding Tables、Transformer Blocks、Layer Norm、Project Layer 以及 Cross Entropy Loss，得到最后的输出。每一行末尾用注释标出了输入输出的维度。
https://pica.zhimg.com/v2-f3312d6c12dcab63b3049a5ebcd36d1a.png?source=6a64a727
https://pica.zhimg.com/v2-a4af676d83431ebd71280f1c660bb527.png?source=6a64a727
需要特别说明的是，我们在前文中并没有提到 Position Embedding Table 和 Layer Norm，因为它们并非重点。Position Embedding Table 与前文所介绍的 Embedding Table 类似，Embedding Table 是把字转换为向量，而 Position Embedding Table 则是把该字所处的位置转变为一个向量。这是为了给输入文本增加位置信息。在之前介绍的注意力机制中，虽然我们知道哪些字位于当前字前面，但每个字的具体位置是未知的。增加位置信息可以让模型更好地体会语言的空间感，就像人们说话一样，字的前后顺序对理解语言帮助很大。
Layer Norm 则是对每一层的输入数据做归一化，把输入的分布转换到某个特定的均值和方差上。这有利于降低模型的学习难度，因为转换后数据变得更有规律，训练起来效率更高。
当然，这里面最关键的是`TransformerBlock`类，需要我们自己实现。
https://pic1.zhimg.com/v2-70932519d6c097db67aa50794e526747.png?source=6a64a727
在第 6 节中，我们明确了 Transformer 包含一个注意力机制和一个前馈神经网络，于是，`TransformerBlock`的框架可以非常简单：
https://picx.zhimg.com/v2-fa238a9527196431477b5f414af66522.png?source=6a64a727
可以看到，这里调用`MultiHeadAttention`类实现注意力机制，调用`FeedForward`类实现前馈神经网络。当然，这两个类也需要我们自己定义。
`MultiHeadAttention`是注意力机制的实用版本。前文所讲解的注意力机制叫做单头注意力（Single Head Attention），Query、Key、Value 矩阵各有一份。而实际上，我们完全可以将其扩展到多份，每一套 Query、Key、Value 矩阵称作一个头（Head），每个头独立处理相同的输入，输出不同结果。最后用一个线性变换把所有结合合并起来。具体实现如下：
https://picx.zhimg.com/v2-24f251e6cb8f2af138167e8806d78a1b.png?source=6a64a727
其中，`AttentionHead`类代表了单头注意力机制，下面会详细解读。`nn.Linear`则是一个线性变换，用来处理所有头的输出结果，以保证最终的输出维度与输入一致。
现在，来到最最核心的`AttentionHead`类，看看注意力机制究竟是如何实现的：
https://picx.zhimg.com/v2-cd8b
本章未完，请点击下一页继续阅读！
相关小说推荐
魔王在异界搞文娱
49万字 1天前
病弱的我拥有四个未婚夫
《病弱的我拥有四个未婚夫》 宋初雪是公认的病弱美人，出行甚至需要乘坐轮椅。 她漂亮但孱弱，美丽又温柔，眉间出现最多的便是那一抹牵动人心的哀绪。 由于npc空缺，她需要分别扮演四本漫画里的男主未婚妻，宋初雪要做的就是等女主上线就麻溜的解除婚约滚蛋。 黑暗复仇漫里，男主是刚刚回归大家族的私生子，他阴暗自私，精于算计，野心勃勃，讨厌不食人间烟火的漂亮废物。 宋初雪：太好了，我就是。 青春校园漫里，男主
其他 35万字 5天前
禁庭春夜
《禁庭春夜》 纵有倾国之色，甄华漪却并不受宠，她知晓，皇帝的心中唯有她姐姐一人。 但仍有许多深夜，他总似爱似恨，不知疲倦。 甄华漪以为，这大约是皇帝难以启齿的癖好。 直到某天夜里，她嗅到了另一个人的熏香气息。 ——权势赫赫的晋王殿下李重焌。 她暗自心惊之时，泛红的手指被一根一根分开抵入，李重焌的声音幽幽响起：“皇兄有我做得好吗？” * 晋王李重焌年少功高，是多少长安娘子的深闺梦里人。 偏偏他高傲
其他 31万字 5天前
画像师在八零[刑侦]
《画像师在八零[刑侦]》 钰佳佳前世缠绵病榻，娇养的像朵富贵花；睁眼到了70末年，成了一名公安新妇； 丈夫公差，路上被抢了包，钰佳佳到警局报警，有人认出是陆队媳妇，又想起溜街子，忙让人叫他！ 钰佳佳掏出张纸递上，纸上赫然是一比一还原的肖像“小黄毛”众人震惊，陆队赶到后，也看愣了。接着听她轻柔道：“能抓吗？” 陆俊华觉得他媳妇不太对劲，强的过分，美术老师都这么厉害？ 能摸骨画像、头骨复原、以子画母
其他 39万字 5天前
全校传我们不合
《全校传我们不合》 【哭包宠老婆攻×口嫌体直声控受】 高中毕业的暑假，江景舟在酒吧认识个帅哥。 影帝颜值，八块腹肌，声音好听的堪比顶流cv，江景舟可耻的心动了。 第二天一早，江景舟看向旁边，想起昨天边干活边哭的某人……嘴角一抽，跑路了。 直到暑假结束。 他在大学操场看见某个身穿军训服、高别人足足高一头的男生。 在对方转身的瞬间，江景舟猛地低头，心里骂了不下三百字的脏话。 - 全校都知道两位出了名
女生 16万字 5天前
主角攻很不对劲[快穿]
《主角攻很不对劲[快穿]》 主攻文，明澈是攻 【每个世界风味不同，很难说清，不算强攻也不算弱攻，只能说情感关系里占上风】 系统：看见那个主角攻了吗，去虐他去做他的踏脚石 明澈：好的 系统：等等，他们最后为什么都爱上你了！ 世界一【已完结】：富家少爷流落在外过穷苦日子 明澈接近他取得他的信任，然后狠狠翻脸逼迫他让他知道人心险恶，多年后再度重逢，主角攻找上了门。 主角攻：如果我说我愿意呢。 明澈：？
女生 28万字 5天前