第 5 节 注意！抓住重点（1 / 1）

《第 5 节 注意！抓住重点》转载请注明来源：369小说网(369book.cc)

https://picx.zhimg.com/v2-6d752d6e16dc7a5b9f0edb4d4147bbd1.png?source=6a64a727

上一节末尾，我们给出了一个看似合理，但略显空洞的设计。不过，这是一个好的开始，让我们对着这个框架，结合人类经验，想想该如何完善细节。为了方便查看，我把图（同图 4-2）重新贴在下面：

https://picx.zhimg.com/v2-8c5bd57cac82755d00c68e7ab5850582.png?source=6a64a727

我们试试给图中的连线赋予更直观的解释。

由于每组向量对应一个字，我们可以认为它构建了字与字之间的连接关系。细心的你可能发现，虽然中间层每组向量的元素个数可以与输入层不同，但向量的组数却仍然是 255 个。从图中可以看到，每个输入向量都包含了一条水平箭头指向右侧的中间层向量，这里面其实别有深意。

理论上，中间层组数也可以任意设置，就像图 4-1 的连接一样，不用考虑中间层具体有多少个神经元。但让它和输入层数量一致有明显的好处。一方面，从语义上，我们更容易区分每个中间层向量到底与哪个字对应。另一方面，我们可以增加层数，在中间层和输出层之间再插入若干个中间层。这样的话，我们完全不需要考虑每一层神经元的数量，因为它们都一样。

当向量与字对应之后，我们就对整个神经网络在做的事情有了一个宏观的了解。比如，我们可以认为，图 5-1 中间层的第一组神经元尝试从输入的 255 个字中提取信息，以加深自己对第一个字的理解。换句话说，第一个字在 1024 维空间中的高维表示从输入向量变成了中间层的输出向量，而且综合了其它字的信息。可能你暂时想不明白这个变化意味着什么，让我们来看个例子：

假设输入的是这么一句话：「只要你向着阳光走，影子就会躲在后面」。这句话里面，「光」预示着光明的未来，是一种积极的意象。但如果换成这句：「我炒股把家底都输光了」。这里的「光」则表示空空如也，暗示着悲惨的结局。多义字在中文并不少见，这也是为什么第 4 节强调了我们要在高维空间表示字的含义。然而，虽然输入层的「光」需要包括它所蕴含的各种含义，中间层却不一定。对于中间层向量来说，它已然有了特定的上下文。在看过了整句话中的其它字后，作为人类，我们很容易明白，「光」在当前这句话中应取其积极含义。于是，中间层的「光」可以只保留有关的含义而丢弃无关的含义，向量在 1024 维空间中从原始位置移动到另一个更接近其真实用意的位置。这便是我们希望神经网络做的事情。

https://pic1.zhimg.com/v2-44524aa8089e1d3f126e0ab94b8892ca.png?source=6a64a727

如果进一步细化这件事，我们会发现里面包含了两个关键操作：

第一，是把其它字与当前字关联起来，从而缩窄当前字的含义范围。这一步往往要求我们注意某些真正重要的字，而不必在意其它无关紧要的字。比如，对于「只要你向着阳光走，影子就会躲在后面」这句话，对「光」的含义影响最大的字显然是「阳」和「影」。因为假设盖住「光」字把这句话变成一个完形填空，看到