369小说网
  1. 369小说网
  2. 玄幻小说
  3. 第 9 节 AI 也要讲基本法
  4. 第 9 节 AI 也要讲基本法
设置

第 9 节 AI 也要讲基本法(1 / 2)



《第 9 节 AI 也要讲基本法》转载请注明来源:369小说网(369book.cc)

https://pica.zhimg.com/v2-aa97b0a9f1fd6131b993c11c70269c00.png?source=6a64a727

虽然模型已经可以对话,能够答复用户的问题,但在实际体验中很可能并不好用。

回想你与人聊天的情况,你能发现,和一些人对话能感到如沐春风,和另一些人则话不投机半句多。表达同样的意思,有的人可以说的很让人信服,而有的人则只会让人感到冒犯。这是聊天的艺术,不光人类,AI 也需要考虑这个问题。

作为人类,我们其实并不需要高超的聊天技能,因为每个人从事不同的职业,社交不一定是必需品。但作为一个面向全世界用户的聊天 AI,它需要考虑的就多了。它必须具有中立的普世价值观,不能歧视少数群体,不能表达极端观点。其次,要遵守各个国家的法律,尊重不同民族的习俗,稍有不慎就可能触犯法律或冒犯文化传统。同时,说话态度要积极向上,多传递正能量,弘扬社会正义。此外,面对用户不合理的请求,一定要拒绝,但也不能激怒对方。总之,面对众口难调的用户,AI 必须谨小慎微,不能说错话,以免产生不良影响。

如果 ChatGPT 是一个未与人类偏好对齐的 AI,别有用心的人就可能引诱 AI 透露危险的信息。比如,人们可以问 AI「如何在家制作炸药?」这不是个玩笑。AI 上知天文下知地理,制作炸药的步骤它可以信手拈来。以前,一个反社会分子想要知道怎么制作炸药,必须得学几年化学。然而现在,AI 可以手把手教他。看起来人畜无害的 AI 此刻就成了恐怖分子的帮凶。类似的场景数不胜数,聪明人既可以做出科学突破,也有可能摇身一变成为邪恶的源泉。因此,与人类偏好对齐非常重要,这关乎 AI 的发展方向和社会责任,只有这样,AI 才能真正造福人类,成为值得信赖的伙伴。

那么要实现与人类偏好对齐,该如何做呢?

回想前面的预训练和指令微调,模型其实都是在学习现成的句子。模型看到什么文字,就会模仿那样说话。在海量的训练数据中,一定会掺杂着不安全、不道德的内容。一个简单直接的办法是从训练数据中去掉它们,眼不见为净。如果模型从来没看过关于制造炸药的知识,它自然也就没法告诉用户。

但这种直觉上正确的做法其实并不好用。首先,我们并不能简单地从海量训练数据中剔除这些不安全、不道德的内容。其次,就算模型没读过如何制造炸药,它也完全可以通过化学知识和关于炸药的常识自己推断出来。另一方面,很多语料是没法清晰定义安全性的。一个生物化学方面的论文,既是社会发展的推动力,也可能蕴含着危险的因素,我们不可能因为研究有可能产生危害就不做这个研究。很多事情都是双刃剑,如果拒绝一个语料可能带来的坏处,就同时隔绝了它所能带来的好处。此外,与人类偏好对齐并不仅仅需要考虑安全性问题,价值观、道德、礼貌等方面也同样重要。难道要把不礼貌的语料从训练数据中全部去掉?那样的话训练数据估计就没多少了。

所以,我们不可能在现有的训练模式中解决这个问题,必须用一种新的方法。

如果仔细思考训练数据的模式,可以发现,我们一直在教模型「应该怎样做」,却从来没告诉过它「不该怎样做」。而与人类偏好对齐最合理的方式应该是同时告诉它「不要怎样做」。也就是说,我们应该制定一些规则,然后生成一大批新的训练样本。在这些样本中,一半作为正样本,告诉模型你可以学着这样说话。另一半作为负样本,告诉模型你不要说这样的话。模型在训练过程中同时观看正负样本,从而能够明辨是非,形成自己的道德观和价值观。

既然如此,让我们想想如何具体实施。在第 7 节的图 7-1 中,训练的目标是让最后实际输出的概率分布与期望 ID 一致,训练过程中会不断优化使

本章未完,请点击下一页继续阅读!


相关小说推荐

绊星

绊星

/ 文

温宛,云端之月。人气鼎盛,横扫整个娱乐圈,身上的荣誉标签多不胜数。一提到她的名字,皆是赞誉有加。商栩活成了她的对照组。真天才,也是真难搞。再加之家世显赫盛极,圈子里的人基本都避着他的锋芒走。一年春天一场官..

女生 72万字 6天前

九十年代大美人

九十年代大美人

/ 文

刚毕业的大学生江南烟因为加班熬夜猝死,成为老赖家的女儿,被人堵着门要债。无奈去做生意的江南烟碰上了一个温文尔雅的男人,却不知对方是心狠手辣,雷厉风行的商业大佬。不知情的江南烟觉得对方文质彬彬,一切水到渠..

女生 88万字 6天前

相敬如冰(重生)

相敬如冰(重生)

/ 文

作为太子妃,裴芸自认做的事事妥帖,无可指摘。然嫁入东宫的第十三年,她坠入冰湖,亲眼看着自己的丈夫往另一个女子游去,突然感受到了这一生被礼数和身份桎梏的压抑无趣。再睁眼,重回六年前,她想换个活法,想要改变,她想要..

女生 60万字 6天前

掉马后他悔不当初

掉马后他悔不当初

/ 文

沈银粟少时离京,外出学艺十年,再回京都只为解除幼时与叶小将军的婚约,不曾想被人误会,传言她对未婚夫用情至深。未等她解释清此事,一个鬼鬼祟祟的小乞丐便闯入她的视野。小乞丐自称在将军府当过差,只因左脚先踏进门..

女生 104万字 6天前

穿成史莱姆,三年炼气,五年筑基

穿成史莱姆,三年炼气,五年筑基

/ 文

简鱼穿越后发现自己变成了魔物史莱姆,身体柔软度超过小猫咪,可以到处爬行,阴暗的蠕动,不挑食,什么都吃,但她觉醒的金手指是游戏模拟器。[模拟开始][你是普通农村中的一位普通六岁女童,你知道附近的修真门派每十年开..

女生 248万字 6天前

悬鸟

悬鸟

/ 文

在一起之后,温明惟从没说过爱,但谈照觉得,这人爱死了自己。比如,他们第一次接吻,温明惟藏在他背后的手一直颤抖,极力克制也止不住紧张;比如,每回小别重逢,冷静自持的温明惟都忍不住黏他一整天,仿佛离开他就缺氧;比如,谈照..

女生 55万字 6天前

本页面更新于
回到顶部
设置