第 10 节 从理论到实现（代码设计选读）（2 / 3）

《第 10 节 从理论到实现（代码设计选读）》转载请注明来源：369小说网(369book.cc)

nh - 免费尽在微信公众号：胡巴 士 `forward`则负责把这些子模型像搭积木一样堆叠起来，前一层的输出作为后一层的输入。在我们的案例中，输入依次经过 Embedding Tables、Transformer Blocks、Layer Norm、Project Layer 以及 Cross Entropy Loss，得到最后的输出。每一行末尾用注释标出了输入输出的维度。

https://pica.zhimg.com/v2-f3312d6c12dcab63b3049a5ebcd36d1a.png?source=6a64a727

https://pica.zhimg.com/v2-a4af676d83431ebd71280f1c660bb527.png?source=6a64a727

需要特别说明的是，我们在前文中并没有提到 Position Embedding Table 和 Layer Norm，因为它们并非重点。Position Embedding Table 与前文所介绍的 Embedding Table 类似，Embedding Table 是把字转换为向量，而 Position Embedding Table 则是把该字所处的位置转变为一个向量。这是为了给输入文本增加位置信息。在之前介绍的注意力机制中，虽然我们知道哪些字位于当前字前面，但每个字的具体位置是未知的。增加位置信息可以让模型更好地体会语言的空间感，就像人们说话一样，字的前后顺序对理解语言帮助很大。

Layer Norm 则是对每一层的输入数据做归一化，把输入的分布转换到某个特定的均值和方差上。这有利于降低模型的学习难度，因为转换后数据变得更有规律，训练起来效率更高。

当然，这里面最关键的是`TransformerBlock`类，需要我们自己实现。

https://pic1.zhimg.com/v2-70932519d6c097db67aa50794e526747.png?source=6a64a727

在第 6 节中，我们明确了 Transformer 包含一个注意力机制和一个前馈神经网络，于是，`TransformerBlock`的框架可以非常简单：

https://picx.zhimg.com/v2-fa238a9527196431477b5f414af66522.png?source=6a64a727

可以看到，这里调用`MultiHeadAttention`类实现注意力机制，调用`FeedForward`类实现前馈神经网络。当然，这两个类也需要我们自己定义。

`MultiHeadAttention`是注意力机制的实用版本。前文所讲解的注意力机制叫做单头注意力（Single Head Attention），Query、Key、Value 矩阵各有一份。而实际上，我们完全可以将其扩展到多份，每一套 Query、Key、Value 矩阵称作一个头（Head），每个头独立处理相同的输入，输出不同结果。最后用一个线性变换把所有结合合并起来。具体实现如下：

https://picx.zhimg.com/v2-24f251e6cb8f2af138167e8806d78a1b.png?source=6a64a727

其中，`AttentionHead`类代表了单头注意力机制，下面会详细解读。`nn.Linear`则是一个线性变换，用来处理所有头的输出结果，以保证最终的输出维度与输入一致。

现在，来到最最核心的`AttentionHead`类，看看注意力机制究竟是如何实现的：

本章未完，请点击下一页继续阅读！