第 7 节 从智障到天才（1 / 1）
《第 7 节 从智障到天才》转载请注明来源：369小说网(369book.cc)
https://picx.zhimg.com/v2-05be0bd525347ba2a9cf260f64fde1b8.png?source=6a64a727
从准备数据开始，到设计出模型的基本结构，本专栏的前六节可以说走过了漫长但扎实的一系列步骤。在真正将 Transformer 扩展为可训练的完整模型前，让我们回到最初的起点，纵览全局，看看我们是否仍朝着正确的方向前进。
在第 4 节的图 4-2 中，我们设计了一个大致的框架：输入 255 个 1024 维向量，经过中间层当时尚不清楚的处理方法，得到新的 255 个 1024 维向量，然后再将这 255 个向量通过另一种不清楚的方法合并为一个 1024 维向量。将最终的这个向量与预期的输出向量相比，优化它们之间的差距。
后来，我们逐渐摸索出注意力机制，于是中间层就可以用 Transformer 架构来实现。细心的你或许已经发现，Transformer 的输入与输出维度完全一致。这呼应了当时我们的设计，使多层 Transformer 叠加成为可能。
但我们始终没有谈到如何处理最后一层的输出，如何从 255 个 1024 维向量变成 1 个 1024 维向量？
如果坚持使用与字数无关的参数量，这个问题似乎又变得异常困难。我们或许应该换个角度看问题，重新审视一下 Transformer 输出的结果。
在注意力机制和因果性限制的前提下，每个字向量都融合了更靠前的其它字的信息。这不免让人怀疑，我们真的有必要用所有字向量来预测下一个字吗？既然最后一个字的向量融合了前面所有字的信息，直接用它预测不就好了。这样一来，直接取最后一个字的 1024 维向量作为结果，与期望的字向量求差并优化，不仅解决了参数量与字数相关的问题，甚至都不需要额外参数了。
的确，这是一个好方法，而且看起来更符合 Transformer 的设计哲学。不过你可能会想， 这样一来前面那些字向量还有用吗？答案是有用。只用最后一个字向量不代表前面的字向量会失去价值。相反，由于注意力机制需要在字之间寻求依赖关系，每个字向量都对最后一个字有所贡献，它们缺一不可。
不过，这仍然有种浪费的感觉。前面的字向量最后难道完全没用了吗？其实还真不是。
那些位于中间位置的字向量也可以用来预测下一个字，在因果性的限制下，它本身也是一句话的末尾，只不过这句话更短，而且是另一段话的子句。其实早在第 2 节，我们就谈及了这个问题，当时，我们把同一首诗按照输入长度的不同构建了多份数据。本质上，它们都是最长那份数据的子句，但为了让模型能学会从任意位置接话，这种由wx`胡^巴 士`提供全文至多样性还是很有必要。
此时，再看这种方案我们就会发现其中巨大的好处。每个字向量如果都用来预测下一个字，不是正好可以对应于一个长句的所有子句吗？既然预测最长的那句必须同时计算出所有中间字向量，那不如顺便同时预测所有字向量对应的下一个字。对于长度为 256 的一段句子，我们可以将其拆分成长度从 1~255 的子句，每个子句需要预测的正好是第 2~256 个字。拿「白日依山盡，黃河入海流」这段短句作为例子的话，原本第 2 节设计的输入输出是：
https://picx.zhimg.com/v2-c3fd86a3ee8b247db0032f41c0f3e13b.png?source=6a64a727
现在，我们将输出扩展成
相关小说推荐
魔王在异界搞文娱
49万字 1天前
病弱的我拥有四个未婚夫
《病弱的我拥有四个未婚夫》 宋初雪是公认的病弱美人，出行甚至需要乘坐轮椅。 她漂亮但孱弱，美丽又温柔，眉间出现最多的便是那一抹牵动人心的哀绪。 由于npc空缺，她需要分别扮演四本漫画里的男主未婚妻，宋初雪要做的就是等女主上线就麻溜的解除婚约滚蛋。 黑暗复仇漫里，男主是刚刚回归大家族的私生子，他阴暗自私，精于算计，野心勃勃，讨厌不食人间烟火的漂亮废物。 宋初雪：太好了，我就是。 青春校园漫里，男主
其他 35万字 5天前
禁庭春夜
《禁庭春夜》 纵有倾国之色，甄华漪却并不受宠，她知晓，皇帝的心中唯有她姐姐一人。 但仍有许多深夜，他总似爱似恨，不知疲倦。 甄华漪以为，这大约是皇帝难以启齿的癖好。 直到某天夜里，她嗅到了另一个人的熏香气息。 ——权势赫赫的晋王殿下李重焌。 她暗自心惊之时，泛红的手指被一根一根分开抵入，李重焌的声音幽幽响起：“皇兄有我做得好吗？” * 晋王李重焌年少功高，是多少长安娘子的深闺梦里人。 偏偏他高傲
其他 31万字 5天前
画像师在八零[刑侦]
《画像师在八零[刑侦]》 钰佳佳前世缠绵病榻，娇养的像朵富贵花；睁眼到了70末年，成了一名公安新妇； 丈夫公差，路上被抢了包，钰佳佳到警局报警，有人认出是陆队媳妇，又想起溜街子，忙让人叫他！ 钰佳佳掏出张纸递上，纸上赫然是一比一还原的肖像“小黄毛”众人震惊，陆队赶到后，也看愣了。接着听她轻柔道：“能抓吗？” 陆俊华觉得他媳妇不太对劲，强的过分，美术老师都这么厉害？ 能摸骨画像、头骨复原、以子画母
其他 39万字 5天前
全校传我们不合
《全校传我们不合》 【哭包宠老婆攻×口嫌体直声控受】 高中毕业的暑假，江景舟在酒吧认识个帅哥。 影帝颜值，八块腹肌，声音好听的堪比顶流cv，江景舟可耻的心动了。 第二天一早，江景舟看向旁边，想起昨天边干活边哭的某人……嘴角一抽，跑路了。 直到暑假结束。 他在大学操场看见某个身穿军训服、高别人足足高一头的男生。 在对方转身的瞬间，江景舟猛地低头，心里骂了不下三百字的脏话。 - 全校都知道两位出了名
女生 16万字 5天前
主角攻很不对劲[快穿]
《主角攻很不对劲[快穿]》 主攻文，明澈是攻 【每个世界风味不同，很难说清，不算强攻也不算弱攻，只能说情感关系里占上风】 系统：看见那个主角攻了吗，去虐他去做他的踏脚石 明澈：好的 系统：等等，他们最后为什么都爱上你了！ 世界一【已完结】：富家少爷流落在外过穷苦日子 明澈接近他取得他的信任，然后狠狠翻脸逼迫他让他知道人心险恶，多年后再度重逢，主角攻找上了门。 主角攻：如果我说我愿意呢。 明澈：？
女生 28万字 5天前