第 2 节 从一个实际案例入手（1 / 4）

《第 2 节 从一个实际案例入手》转载请注明来源：369小说网(369book.cc)

https://pica.zhimg.com/v2-350011147342e1b55a7719f0a3d7f298.png?source=6a64a727

从本节开始，我们将会考察一个实际案例，一步步设计并完善大模型的方案。这个案例是我精挑细选出来的，个中原因我写在下面，算作本专栏来龙去脉的一点补充。

学习一门知识或技术，纯靠理论讲解往往效果不佳。理论总是过于抽象，许多人会迷失在复杂概念和繁琐的公式里，以至失去兴趣，无法掌握得透彻。我深知个中滋味，大模型的经典论文不可不读，但我当时读过就如囫囵吞枣，难以消化，以致始终未能领悟真谛。

直到 2024 年夏天。彼时，我刚从微软离职，打算休养生息，做一些有趣的事情。大模型方兴未艾，我一直想要弄清其底层的基本原理。虽然并未打算投身大模型的研发工作，但了解原理总没有坏处。

可是，网络上介绍大模型原理的内容并不多。人们更乐意讲解如何使用大模型开发奇思妙想的应用，这些当然是最有用的东西，但不符合我的胃口。虽然有一些人在努力向大家介绍大模型的底层原理，但就像当初看论文一样，一上来就是公式和注意力机制，看得头晕眼花。

功底深厚的人自然乐于阅读精炼学术范的文章，但更多像我一样的普通人还是希望通俗易懂、循序渐进，花最小的努力把一件事情学会。

当时，我观看了 Andrej Karpathy 的「Let's build GPT: from scratch, in code, spelled out. 」视频。他在视频中现场演示了如何从零编程实现一个 GPT 模型。在两个小时的时间内，他如同变魔法一样，赤手空拳，一步步从处理数据、构建模型、训练模型，最终得到了一个可以像莎士比亚一样说话的 AI。

他的视频给了我很大启发，这正是我所期待的可以帮助更多人理解大模型原理的教程。不过，他的内容仍然有不小的门槛，我在看的时候需要反复拖动进度条，否则完全跟不上他的语速。从那时起，我开始有了本书的构想。我要为中国读者写一份更简单明了的教程。读者花的时间可以多些，但一定要容易理解，避免半途而废。

借鉴 Andrej 的做法，我也要提供一套可执行的代码，但其中的案例我希望更适合中国人。

事实上，之所以网上的资料只介绍大模型的理论基础，不提供实践环节，是因为我们不可能在自己电脑上训练大模型。一个 GPT4 级别的大模型，可能需要上万块 GPU 和大量电力消耗，总成本可能在上亿美金。想要自己在家训练一个大模型可谓是痴人说梦，就连开源的小尺寸大模型也不行。

为了解决这个问题，Andrej 选择用一个小模型，让它学习以莎士比亚的语气说话。可以想象，小模型肯定不如大模型讲话那么流畅，但由于是莎士比亚风格，人们其实看不太出来语言效果的好坏，只觉得有趣。

这启发我选择实现一个写中文诗的 AI。一方面，读者对诗的好坏应该不会过于敏感；另一方面，我可以方便地在这个小模型上讲解大模型训练的全流程，包括预训练、微调和与人类偏好对齐。每个训练阶段都属于主线任务写诗的一部分，读者可以很容易理解其中的道理。

虽然实际的大模型会更复杂，涉及更多技巧。但最底层的原理与本文案例别无二致，这些核心的部分，作为初学者应当首先掌握。

前情提要讲完，我们开始步入正题，看看写诗 AI 到底该怎么实现。

在第 1 节中曾经提到过，我们通过规定输入输出的映射来规定 AI 的行为。因此，如何收集数据，如何设计合理的输入输出就是第一件要考虑的事情。

在配套代码仓库中，我已经事先准备好了中国的所有古诗，放在 GitHub 的 data.json 文件里，以 JSON 格式保存。整个 JSON

本章未完，请点击下一页继续阅读！