第 2 节 从一个实际案例入手（2 / 4）

《第 2 节 从一个实际案例入手》转载请注明来源：369小说网(369book.cc)

对象是一个数组，数组中的每个元素是一首诗。我把开头第一首诗的部分贴在下面。

可以看到，每首诗包含作者、段落、标题、ID 等字段。重新整理一下格式，就可以把这首诗写成我们日常所见的形式（本专栏后续的所有例子均不包含作者，因为生成的诗文不需要作者）：

https://picx.zhimg.com/v2-98e92a9c125dca2e8608463be3ef89aa.png?source=6a64a727

按照之前的计划，我们要把这类数据转换为合适的输入输出，输入是一段话，输出是这段话的下一个字。不过，真正开始实现，我们就会发现一个之前没有考虑到的问题。

输出是输入文本的下一个字，这很好理解。但输入文本到底取多长呢？如果默认把整首诗当作输入，只留最后一个字作为输出：

https://pic1.zhimg.com/v2-097740b5b0f0d5c58eae9d4ff84b85cb.png?source=6a64a727

是不是有点莫名其妙？输入一大堆，结果让模型预测最后的句号？这样的话模型肯定什么也学不会。

所以我们不能只让模型预测最后面的字，而是每个字它都要学会预测。但每个字所处的位置不同，我们只能用前面的文本预测后面的字，而不能用后面的文本预测前面的字，毕竟我们不可能倒着说话。

这就意味着，我们应该把一首诗拆分成多条数据。每条预测一个不同位置的字。比如，从这首诗拆分出的第一条数据为：

https://pica.zhimg.com/v2-9a395f61c8978a0c18ff4ea936999b6e.png?source=6a64a727

没错，输入只有一个字。因为我们希望预测第二个字「京」，而能够用来预测「京」的就只有「帝」这个字了。以此类推，拆分出的第二条数据为：

https://picx.zhimg.com/v2-a5dee18a0426f4f6130b85b4bc0018dc.png?source=6a64a727

有没有找到规律呢？假设这首诗总共 N 个字，按照这种拆分方法，我们最后会得到 N-1 条数据。除了不预测第一个字，其它所有字都要预测。

模型由此便可以学会从任何位置开始往后接话，而不是局限于补齐某个特定位置的字。因为我们最终的目标是让模型能够独立生成一首完整的诗，它必须有能力从开头开始输出。当它输出一个字后，这个字可以加入输入文本，继续生成下一个字，直到整首诗全部生成。

不过，此时，我们又会面临另一个问题。按照这样的输入输出规则，模型岂不是必须从头阅读一首诗？在我们生成的 N-1 条数据中，输入全部都从这首诗的标题开头，然后是正文。如果我想要直接给它输入一个上句，让它输出下句，估计它又会傻眼了。

为了解决这个问题，我们或许可以把起始点变一变。刚才，我们每次都从第 0 个字开头，现在，我们可以从 0 ~ N-1 里面任选一个位置开头。不过，这样处理起来会有些麻烦，因为不光开头要变，结尾也要跟着变，可选的组合会非常多。

一个更好的方案是，把所有诗从头到尾连起来组成一个超级长的文本。然后，随机取一个位置作为起始点，将输入的最大长度固定为 N。像刚才一样，分别取长度为 1, 2, ..., N-1 的文本作为输入，得到 N-1 条数据。这种方法生成的输入输出变化最多, 起始位置、长度都不确定, 模型因此可以学到更多样化的知识。

在我们的实现中，取 N=256, 随机选取起始位置后得到一个长度为 256 的文本, 比如下面这段：

https://pic1.zhimg.com/v2-2ea246acceaaa4e941cf1334a84

本章未完，请点击下一页继续阅读！