《重生之AI教父》转载请注明来源:369小说网(369book.cc)
做【微调】。预训练的模型学到的能力比较笼统,如果不专门针对某个任务去做【微调】的话,效果通常都会不大好。”伊利亚和阿里克斯等人都觉得这是常识。
不过如此做的话,显然就无法达到孟繁岐宣传的那种模式和效果了。
举一个很简单的例子,bERt和Gpt都在大量的文本上做了预训练,现在它们有任务了,任务就是判定社交平台上的用户们发言的时候有没有在开车。
那么bERt的模式是【微调】,我会收集一大堆开车搞颜色的文本,然后把它们一个个标注清楚,喂给bERt去训练。
“你小子看清楚了,这样的人就是在开车。”
bERt大量观看开车文本,然后微微调整自己的参数,进行了二次学习,针对性学习。
摇身一变,它就变成了文字交警,专门抓捕社交平台上那些在开车的文本和用户。
但是同时,由于做了针对性的训练,它在其他方面的能力会有所损失,受到一定的影响。
如果让它再做别的任务,就不大行。
而Gpt的模式,则是【指示】。
也就是说,模型不会做二次学习、针对性学习,它不改变自己的参数。
你要做的,是给它一个示范和引导。
“你看一下,帮我找找类似这样的句子。”
然后它就直接开展工作了。
下一次需要做别的任务的时候,bERt就很不方便,只能重新再做针对性学习。
Gpt则看一下新的指示和样例,又能直接再次工作。
这在目前的阶段来看,是非常不可思议的。
至少在场的诸位都觉得这么做是得不偿失,为了某种形式上的先进而损失了大量的性能,毫无必要。
“你这说的是不是太离谱了,你只是做一个示范,给模型一个提示,根本就没有修改过任何的模型参数,为什么它会有效果的提升?”听完孟繁岐对两种办法的形容之后,阿里克斯眉头紧皱:“结果如果真的是这样,那不是彻底成玄学了?”
孟繁岐心说可不么,这东西听起来是不可思议,但确实有效。
直到他重生前,这件事也没有一个特别靠谱的严肃解释。
而且这还不是最神奇的地方。
上面所说的那种,给Gpt一个例子,然后让他做这样的工作,叫做one Shot学习。
因为至少,你还让它看了一个例子,做了一次示范。
而在后来的chatGpt和Gpt-4的时候,更多的用户使用情况,是根本不会给模型任何例子的。
一般冲上来就直接布置工作了,比如“帮我翻译一下这个句子”又或者是“帮我以xx为题写一个xx”。
这种模式叫做Zero Shot学习,连例子都不用给,直接开干。
不管是分类文本,学习情感,写作文案还是翻译句子,不多废话直接安排,它自己就能看懂要做什么。
这才真的符合孟繁岐在人机大战的时候展现的那个概念视频,多种功能合而为一。
同时,它也是Gpt与bERt最为不同的地方,这种独特的使用方式使得chatGpt效果一旦达标之后,直接就成为了现象级的产品。
毕竟谁能拒绝这种十几合一的多面手智能小助手呢?实在太酷了。
“你规划中的bE
本章未完,请点击下一页继续阅读!
关于从行星总督开始:帝国的疆域囊括了无尽的繁星,在这黑暗恐怖的遥远未来,只有无尽的战争。……当上行星总督的顾航,成为一颗废土行星的主人。他之前的三任总督都因为无法按时缴纳帝国税而被处决。变异怪物和废能风暴肆虐、幸存者势力勾心斗角内讧不断、科技落后、生产力低下、邪神复苏、绿皮生根发芽……“先别慌,让我看下面板。”【兵牌】、【英雄】、【科技】、【事件】……从行星总督开始,打造纵横星海的军团与舰队,镇
游戏 133万字 6天前
关于穿越成反派炮灰,我被迫征战沙场:从末世穿越而来的叶娇,成为了宋国武将叶家的团宠小娇娇。有着大将军父亲,武将一家的大哥,二哥,温柔且飒爽的军师母亲,青梅竹马的小侯爷。母亲是当朝皇帝的妹妹,皇帝舅舅全部生的都是儿子,所以对叶娇娇特别喜爱。温馨且美好的生活本以为是上天给自己重活一生的补偿,却没想到是穿越到一本书里。长到三岁的叶娇娇才知道,原来自己穿越到一本书里。自己一家子都是反派,还是反派炮灰的那
其他 38万字 16小时前
关于在古代做个小县官:论在古代做个小县官是什么感受?架空/种田/基建/无CP孟长青穿越古代,为保家产,自幼女扮男装。又因殴打太子得罪后妃,被发配至最北地做个小官。皇帝因为不得不做的处罚,愧疚到难以入眠。孟长青却高兴到连夜收拾东西,天不亮就出了京。太好了,真是太好了!在京都当了十三年孙子,总算解放了!从今以后她孟长青自由了!她要到北山县做个土皇帝!但是在马车进到县城的那一刻,她傻了。什么情况?这里
玄幻 43万字 3天前
关于草,我不想死啊!:+++++我只是一个平凡的人,想过平凡的人生,无病无灾活到老死就是我的人生理想。可是......为什么会这样?!我只想好好活着,能别莫名其妙给我的人生加难度吗?!草,我不想死啊!!!末日!变成丧尸!以为这样就能击垮我吗?!我告诉你......不可能!哪怕卑微如尘埃,渺小如蝼蚁,只配阴暗的爬行,我也要活下去!长命百岁!!!(PS:本书较为慢热,但会给大家呈现一个不一样的末日故
游戏 70万字 23小时前
关于网游:我道尊,伤害高亿点怎么啦:++++道士下山!开服!张安世以身入局,在游戏世界里胜天半子!现实中,张安世只是道家俗门弟子。游戏里,张安世觉醒先天道胎天赋。当别人还在释放火球术打新手村兔子时,张安世已经能够引得天雷滚滚除妖杀魔!当别人还在为了驯服坐骑到处骑驴找马时,张安世已经能驾驭神剑遨游九天!张安世悟性逆天,领悟创造无数道法仙术!当不详弥漫苍穹大陆。张安世口诵无量天尊,斩妖卫道!当战争席
科幻 69万字 10分钟前
关于天宇奇幻:(末世+升级+无系统+慢热+势力+主角不犯花痴)人类的大脑为何无法完全开发?危机时刻爆发出的潜能平时又在哪里?灵魂究竟是什么?到底灵魂是我,还是肉体是我?随着人类赖以生存的星球步入宇宙中一片高强度的能量带,一切都变了。残酷的环境铸就真正的强者,人类即将复苏,往日的荣光即将重现……
游戏 30万字 1天前