第 9 节 AI 也要讲基本法（1 / 2）

《第 9 节 AI 也要讲基本法》转载请注明来源：369小说网(369book.cc)

https://pica.zhimg.com/v2-aa97b0a9f1fd6131b993c11c70269c00.png?source=6a64a727

虽然模型已经可以对话，能够答复用户的问题，但在实际体验中很可能并不好用。

回想你与人聊天的情况，你能发现，和一些人对话能感到如沐春风，和另一些人则话不投机半句多。表达同样的意思，有的人可以说的很让人信服，而有的人则只会让人感到冒犯。这是聊天的艺术，不光人类，AI 也需要考虑这个问题。

作为人类，我们其实并不需要高超的聊天技能，因为每个人从事不同的职业，社交不一定是必需品。但作为一个面向全世界用户的聊天 AI，它需要考虑的就多了。它必须具有中立的普世价值观，不能歧视少数群体，不能表达极端观点。其次，要遵守各个国家的法律，尊重不同民族的习俗，稍有不慎就可能触犯法律或冒犯文化传统。同时，说话态度要积极向上，多传递正能量，弘扬社会正义。此外，面对用户不合理的请求，一定要拒绝，但也不能激怒对方。总之，面对众口难调的用户，AI 必须谨小慎微，不能说错话，以免产生不良影响。

如果 ChatGPT 是一个未与人类偏好对齐的 AI，别有用心的人就可能引诱 AI 透露危险的信息。比如，人们可以问 AI「如何在家制作炸药？」这不是个玩笑。AI 上知天文下知地理，制作炸药的步骤它可以信手拈来。以前，一个反社会分子想要知道怎么制作炸药，必须得学几年化学。然而现在，AI 可以手把手教他。看起来人畜无害的 AI 此刻就成了恐怖分子的帮凶。类似的场景数不胜数，聪明人既可以做出科学突破，也有可能摇身一变成为邪恶的源泉。因此，与人类偏好对齐非常重要，这关乎 AI 的发展方向和社会责任，只有这样，AI 才能真正造福人类，成为值得信赖的伙伴。

那么要实现与人类偏好对齐，该如何做呢？

回想前面的预训练和指令微调，模型其实都是在学习现成的句子。模型看到什么文字，就会模仿那样说话。在海量的训练数据中，一定会掺杂着不安全、不道德的内容。一个简单直接的办法是从训练数据中去掉它们，眼不见为净。如果模型从来没看过关于制造炸药的知识，它自然也就没法告诉用户。

但这种直觉上正确的做法其实并不好用。首先，我们并不能简单地从海量训练数据中剔除这些不安全、不道德的内容。其次，就算模型没读过如何制造炸药，它也完全可以通过化学知识和关于炸药的常识自己推断出来。另一方面，很多语料是没法清晰定义安全性的。一个生物化学方面的论文，既是社会发展的推动力，也可能蕴含着危险的因素，我们不可能因为研究有可能产生危害就不做这个研究。很多事情都是双刃剑，如果拒绝一个语料可能带来的坏处，就同时隔绝了它所能带来的好处。此外，与人类偏好对齐并不仅仅需要考虑安全性问题，价值观、道德、礼貌等方面也同样重要。难道要把不礼貌的语料从训练数据中全部去掉？那样的话训练数据估计就没多少了。

所以，我们不可能在现有的训练模式中解决这个问题，必须用一种新的方法。

如果仔细思考训练数据的模式，可以发现，我们一直在教模型「应该怎样做」，却从来没告诉过它「不该怎样做」。而与人类偏好对齐最合理的方式应该是同时告诉它「不要怎样做」。也就是说，我们应该制定一些规则，然后生成一大批新的训练样本。在这些样本中，一半作为正样本，告诉模型你可以学着这样说话。另一半作为负样本，告诉模型你不要说这样的话。模型在训练过程中同时观看正负样本，从而能够明辨是非，形成自己的道德观和价值观。

既然如此，让我们想想如何具体实施。在第 7 节的图 7-1 中，训练的目标是让最后实际输出的概率分布与期望 ID 一致，训练过程中会不断优化使

本章未完，请点击下一页继续阅读！