第 5 节 注意！抓住重点（1 / 1）
《第 5 节 注意！抓住重点》转载请注明来源：369小说网(369book.cc)
https://picx.zhimg.com/v2-6d752d6e16dc7a5b9f0edb4d4147bbd1.png?source=6a64a727
上一节末尾，我们给出了一个看似合理，但略显空洞的设计。不过，这是一个好的开始，让我们对着这个框架，结合人类经验，想想该如何完善细节。为了方便查看，我把图（同图 4-2）重新贴在下面：
https://picx.zhimg.com/v2-8c5bd57cac82755d00c68e7ab5850582.png?source=6a64a727
我们试试给图中的连线赋予更直观的解释。
由于每组向量对应一个字，我们可以认为它构建了字与字之间的连接关系。细心的你可能发现，虽然中间层每组向量的元素个数可以与输入层不同，但向量的组数却仍然是 255 个。从图中可以看到，每个输入向量都包含了一条水平箭头指向右侧的中间层向量，这里面其实别有深意。
理论上，中间层组数也可以任意设置，就像图 4-1 的连接一样，不用考虑中间层具体有多少个神经元。但让它和输入层数量一致有明显的好处。一方面，从语义上，我们更容易区分每个中间层向量到底与哪个字对应。另一方面，我们可以增加层数，在中间层和输出层之间再插入若干个中间层。这样的话，我们完全不需要考虑每一层神经元的数量，因为它们都一样。
当向量与字对应之后，我们就对整个神经网络在做的事情有了一个宏观的了解。比如，我们可以认为，图 5-1 中间层的第一组神经元尝试从输入的 255 个字中提取信息，以加深自己对第一个字的理解。换句话说，第一个字在 1024 维空间中的高维表示从输入向量变成了中间层的输出向量，而且综合了其它字的信息。可能你暂时想不明白这个变化意味着什么，让我们来看个例子：
假设输入的是这么一句话：「只要你向着阳光走，影子就会躲在后面」。这句话里面，「光」预示着光明的未来，是一种积极的意象。但如果换成这句：「我炒股把家底都输光了」。这里的「光」则表示空空如也，暗示着悲惨的结局。多义字在中文并不少见，这也是为什么第 4 节强调了我们要在高维空间表示字的含义。然而，虽然输入层的「光」需要包括它所蕴含的各种含义，中间层却不一定。对于中间层向量来说，它已然有了特定的上下文。在看过了整句话中的其它字后，作为人类，我们很容易明白，「光」在当前这句话中应取其积极含义。于是，中间层的「光」可以只保留有关的含义而丢弃无关的含义，向量在 1024 维空间中从原始位置移动到另一个更接近其真实用意的位置。这便是我们希望神经网络做的事情。
https://pic1.zhimg.com/v2-44524aa8089e1d3f126e0ab94b8892ca.png?source=6a64a727
如果进一步细化这件事，我们会发现里面包含了两个关键操作：
第一，是把其它字与当前字关联起来，从而缩窄当前字的含义范围。这一步往往要求我们注意某些真正重要的字，而不必在意其它无关紧要的字。比如，对于「只要你向着阳光走，影子就会躲在后面」这句话，对「光」的含义影响最大的字显然是「阳」和「影」。因为假设盖住「光」字把这句话变成一个完形填空，看到
相关小说推荐
魔王在异界搞文娱
49万字 1天前
病弱的我拥有四个未婚夫
《病弱的我拥有四个未婚夫》 宋初雪是公认的病弱美人，出行甚至需要乘坐轮椅。 她漂亮但孱弱，美丽又温柔，眉间出现最多的便是那一抹牵动人心的哀绪。 由于npc空缺，她需要分别扮演四本漫画里的男主未婚妻，宋初雪要做的就是等女主上线就麻溜的解除婚约滚蛋。 黑暗复仇漫里，男主是刚刚回归大家族的私生子，他阴暗自私，精于算计，野心勃勃，讨厌不食人间烟火的漂亮废物。 宋初雪：太好了，我就是。 青春校园漫里，男主
其他 35万字 5天前
禁庭春夜
《禁庭春夜》 纵有倾国之色，甄华漪却并不受宠，她知晓，皇帝的心中唯有她姐姐一人。 但仍有许多深夜，他总似爱似恨，不知疲倦。 甄华漪以为，这大约是皇帝难以启齿的癖好。 直到某天夜里，她嗅到了另一个人的熏香气息。 ——权势赫赫的晋王殿下李重焌。 她暗自心惊之时，泛红的手指被一根一根分开抵入，李重焌的声音幽幽响起：“皇兄有我做得好吗？” * 晋王李重焌年少功高，是多少长安娘子的深闺梦里人。 偏偏他高傲
其他 31万字 5天前
画像师在八零[刑侦]
《画像师在八零[刑侦]》 钰佳佳前世缠绵病榻，娇养的像朵富贵花；睁眼到了70末年，成了一名公安新妇； 丈夫公差，路上被抢了包，钰佳佳到警局报警，有人认出是陆队媳妇，又想起溜街子，忙让人叫他！ 钰佳佳掏出张纸递上，纸上赫然是一比一还原的肖像“小黄毛”众人震惊，陆队赶到后，也看愣了。接着听她轻柔道：“能抓吗？” 陆俊华觉得他媳妇不太对劲，强的过分，美术老师都这么厉害？ 能摸骨画像、头骨复原、以子画母
其他 39万字 5天前
全校传我们不合
《全校传我们不合》 【哭包宠老婆攻×口嫌体直声控受】 高中毕业的暑假，江景舟在酒吧认识个帅哥。 影帝颜值，八块腹肌，声音好听的堪比顶流cv，江景舟可耻的心动了。 第二天一早，江景舟看向旁边，想起昨天边干活边哭的某人……嘴角一抽，跑路了。 直到暑假结束。 他在大学操场看见某个身穿军训服、高别人足足高一头的男生。 在对方转身的瞬间，江景舟猛地低头，心里骂了不下三百字的脏话。 - 全校都知道两位出了名
女生 16万字 5天前
主角攻很不对劲[快穿]
《主角攻很不对劲[快穿]》 主攻文，明澈是攻 【每个世界风味不同，很难说清，不算强攻也不算弱攻，只能说情感关系里占上风】 系统：看见那个主角攻了吗，去虐他去做他的踏脚石 明澈：好的 系统：等等，他们最后为什么都爱上你了！ 世界一【已完结】：富家少爷流落在外过穷苦日子 明澈接近他取得他的信任，然后狠狠翻脸逼迫他让他知道人心险恶，多年后再度重逢，主角攻找上了门。 主角攻：如果我说我愿意呢。 明澈：？
女生 28万字 5天前