当前位置: 首页 >> 综合
环球今热点:大语言模型中的涌现现象是不是伪科学?
来源:程序员客栈     时间:2023-06-17 21:39:44

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士

今天晚上,花了一点儿时间看了两篇文章:


(资料图)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

标签:
热门推荐
热门推荐

环球今热点:大语言模型中的涌现现象是不是伪科学?

Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了

连夺四个大满贯,斯瓦泰克一纪录追平大坂直美! 环球关注

尽管2023年法网在上周末已经尘埃落定,但是其中的一些关键性比赛依旧值

崂山区气象台发布大雾黄色预警【III级/较重】【2023-06-17】 每日快报

崂山区气象台2023年06月17日18时40分发布大雾黄色预警信号:预计今天傍

神马鲁鲁午夜剧场在线观看(神马鲁鲁午夜剧场)-天天观察

今天小红来为大家带来的是神马鲁鲁午夜剧场在线观看,神马鲁鲁午夜剧场

天天消息!ChatGPT 标注指南来了!数据是关键

Datawhale干货作者:太子长琴,算法工程师,Datawhale成员前言ChatGPT

天天观察:别克E4 GS官图发布,要做年轻人的首款SUV?

别克E5发布后,大家最关心的莫过于E4了。之前该车的大致信息就已经曝光

哈尔滨​消防设施操作员_全球速讯

哈尔滨消防设施操作员是什么?哈尔滨市南岗区、道里区、道外区、香坊区

小学一年级期末考试语文试卷人教版(一年级期末考试语文试卷人教版)

今天小红来为大家带来的是小学一年级期末考试语文试卷人教版,一年级期

产融赋能 创享未来|定了!6月20日,这场创投盛会在常德柳叶湖畔举办

湖南日报·新湖南客户端6月17日讯(记者刘蓉鲁融冰通讯员王木子)今天

矿企排水污染下游朱鹮栖息地,跨区划办案难题如何破解?|环球即时看

一辆警车沿着弯曲的九里坡下行,民居簇新、河水清澈。“看,朱鹮。”车

更多》 探索

全球消息!奥林巴斯是哪个国家品牌?什么是单反相机?

最近这段时间总有小伙伴问小编奥林巴斯是哪个国家品牌_奥林巴斯是哪个国家的品牌是什么,小编为此在网上...

观天下!军舰的排水量是什么意思?排水量怎么计算?

提起军舰的排水量是什么意思_排水量是什么意思大家在熟悉不过了,被越来越多的人所熟知,那你知道军舰的...

环球报道:联想v370笔记本综合测评?联想v370笔记本最新报价是多少?

提起联想z370cpu_lenovov370大家在熟悉不过了,被越来越多的人所熟知,那你知道联想z370cpu_lenovov370...

天天新消息丨微信新功能官方提醒怎么设置?如何使用微信的提醒功能?

(资料图片仅供参考)最近这段时间总有小伙伴问小编微信新功能官方提醒怎么设置_微信新功能官方提醒怎么玩...

当前报道:华为荣耀X1有哪些配置参数?华为荣耀x1标配是什么?

(资料图片)在生活中,很多人都不知道华为荣耀x10max_华为荣耀x1是什么意思,其实他的意思是非常简单的,...

全球今日讯!怎么选择适合自己的笔记本?实惠笔记本有哪些推荐?

最近小编看到大家都在讨论电脑啥牌子的好价格又实惠笔记本_实惠笔记本相关的事情,对此呢小编也是非常的...

焦点简讯:胸部怎么按摩健康(胸部怎么变大)

您好,现在渔夫来为大家解答以上的问题。胸部怎么按摩健康,胸部怎么变大相信很多小伙伴还不知道,现在让...

天天快看点丨挑战不可能第四季免费观看(挑战不可能第四季最新)

(相关资料图)您好,现在渔夫来为大家解答以上的问题。挑战不可能第四季免费观看,挑战不可能第四季最新相...

全球观焦点:爱亲者不敢恶于人敬亲者不敢慢于人(爱亲者不敢恶于人敬亲者不敢慢于人)

【资料图】您好,现在渔夫来为大家解答以上的问题。爱亲者不敢恶于人敬亲者不敢慢于人,爱亲者不敢恶于人...

消息!美年体检报告查询(美年体检报告查询)

(相关资料图)您好,现在渔夫来为大家解答以上的问题。美年体检报告查询,美年体检报告查询相信很多小伙伴...