Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
(资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf上一篇:连夺四个大满贯,斯瓦泰克一纪录追平大坂直美! 环球关注
下一篇:最后一页
-
环球今热点:大语言模型中的涌现现象是不是伪科学?
2023-06-17
Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了
-
【世界聚看点】79年男羊是什么命婚配,79年属羊男人婚姻感情
2023-06-17
木狗给人的感觉是诚实可靠的,与人交往的态度也是规规矩矩的,对别人照
-
派克斯研究院:“基金陪伴”会在AI技术加持下走向“千人千面”
2023-06-17
派克斯研究院近日在接受证券时报记者采访时表示,基金公司的“市场陪伴
-
阿尔巴尼亚签证政策_焦点热议
2023-06-17
一、阿尔巴尼亚签证政策一、马耳他申请人具备50万欧元的资产(包含房产
-
重庆周边自驾经常去的景区-当前头条
2023-06-17
重庆周边自驾经常去的景区重庆的有车一族,日常自驾最喜欢去的地方都有
-
深圳东湖公园地铁站 天天聚看点
2023-06-17
一、深圳东湖公园地铁站4号线→5号线→376路 308路 23路二、深圳东湖公
-
天水火车售票点电话-世界信息
2023-06-17
一、天水火车售票点电话人在外省的话,就必须在12345前面加上甘肃天水
-
三明九龙潭多高?
2023-06-17
一、三明九龙潭多高?18米深。九龙潭景区原名叫黄龙岗,因有九条蜿蜒如
-
一条新建道路即将通车! 天天关注
2023-06-17
记者从区交通委获悉,位于新虹街道的兴虹西路(小涞港—华翔路)即将正
-
连夺四个大满贯,斯瓦泰克一纪录追平大坂直美! 环球关注
2023-06-17
尽管2023年法网在上周末已经尘埃落定,但是其中的一些关键性比赛依旧值
-
全球观天下!北京发布端午出行提示:郊区临水景点和部分城区公园出游热度高
2023-06-17
据央视新闻消息,北京交警提示,端午节假期为6月22日至24日,共放假3天
-
学校开学典礼开场主持词大全
2023-06-17
学校开学典礼开场主持词大全(精选29篇)学校开学典礼开场主持词大全篇
-
恐怖游戏《玩具熊的五夜后宫》改编电影新海报公布,10 月 27 日北美上映
2023-06-17
感谢亚汇网网友亚汇网从游戏信息获取到,《玩具熊的五夜后宫》由cottCa
-
崂山区气象台发布大雾黄色预警【III级/较重】【2023-06-17】 每日快报
2023-06-17
崂山区气象台2023年06月17日18时40分发布大雾黄色预警信号:预计今天傍
-
春之歌简谱教唱视频(春之歌简谱)_当前快看
2023-06-17
1、老版中国考级书第一本四级的。2、你说是春之声圆舞曲吗。3、某只只
-
今亮点!死或生
2023-06-17
1、死或生。2、生于靠近利物浦的一个港口。3、是利物浦乐队成员。
-
深圳老街附近有什么景点_最资讯
2023-06-17
一、深圳老街附近有什么景点布吉老街布吉老街地处布吉街道老城区,原名
-
世界热议:西安自助游攻略5天
2023-06-17
一、西安自助游攻略5天摘自青驿网:第1天兵马俑和华清池。在火车站广场
-
世界快看:烟台住宿攻略,麻烦了解的人介绍个
2023-06-17
烟台住宿攻略,麻烦了解的人介绍个你好,比如烟台(住好家)酒店式自助
-
大学生办理韩国旅游签证需要哪些材料?
2023-06-17
大学生办理韩国旅游签证需要哪些材料?四年制大学在读的大学生及毕业生
广告
X 关闭
全球消息!奥林巴斯是哪个国家品牌?什么是单反相机?
最近这段时间总有小伙伴问小编奥林巴斯是哪个国家品牌_奥林巴斯是哪个国家的品牌是什么,小编为此在网上...
观天下!军舰的排水量是什么意思?排水量怎么计算?
提起军舰的排水量是什么意思_排水量是什么意思大家在熟悉不过了,被越来越多的人所熟知,那你知道军舰的...
环球报道:联想v370笔记本综合测评?联想v370笔记本最新报价是多少?
提起联想z370cpu_lenovov370大家在熟悉不过了,被越来越多的人所熟知,那你知道联想z370cpu_lenovov370...
天天新消息丨微信新功能官方提醒怎么设置?如何使用微信的提醒功能?
(资料图片仅供参考)最近这段时间总有小伙伴问小编微信新功能官方提醒怎么设置_微信新功能官方提醒怎么玩...
当前报道:华为荣耀X1有哪些配置参数?华为荣耀x1标配是什么?
(资料图片)在生活中,很多人都不知道华为荣耀x10max_华为荣耀x1是什么意思,其实他的意思是非常简单的,...
全球今日讯!怎么选择适合自己的笔记本?实惠笔记本有哪些推荐?
最近小编看到大家都在讨论电脑啥牌子的好价格又实惠笔记本_实惠笔记本相关的事情,对此呢小编也是非常的...
焦点简讯:胸部怎么按摩健康(胸部怎么变大)
您好,现在渔夫来为大家解答以上的问题。胸部怎么按摩健康,胸部怎么变大相信很多小伙伴还不知道,现在让...
天天快看点丨挑战不可能第四季免费观看(挑战不可能第四季最新)
(相关资料图)您好,现在渔夫来为大家解答以上的问题。挑战不可能第四季免费观看,挑战不可能第四季最新相...
全球观焦点:爱亲者不敢恶于人敬亲者不敢慢于人(爱亲者不敢恶于人敬亲者不敢慢于人)
【资料图】您好,现在渔夫来为大家解答以上的问题。爱亲者不敢恶于人敬亲者不敢慢于人,爱亲者不敢恶于人...
消息!美年体检报告查询(美年体检报告查询)
(相关资料图)您好,现在渔夫来为大家解答以上的问题。美年体检报告查询,美年体检报告查询相信很多小伙伴...
广告
X 关闭
- 徐成城:百亿资金涌入A股ETF,为何再现“越跌越买”趋势 环球看点
- 上海——金港星海湾丨楼盘测评
- 上海——安高申宸院丨楼盘测评-今日视点
- 环球播报:1-5月房地产开发投资45701亿元,同比下降7.2%
- 天天信息:V观财报|华控赛格年报被问询:存净资产为负风险?
- 王青等:央行政策性降息落地,MLF利率或面临下调
- 【天天快播报】张奥平:7天期OMO降息将降低社会融资成本,促进预期转强
- 天天观察:智慧养老电视管家「比利信息」完成2.1亿元A轮融资
- 拿证速递| 东碧林湾二期于6月15日开启认购(附一房一价表) 世界要闻
- 当前热文:南财研选丨机床行业十年更新周期到来,业绩持续高增长,新能源带来增量景气度
倒计时!国内新能源汽车行业或将进入“无补贴时代”
一个月之后,国内新能源汽车行业有可能进入无补贴时代。根据工信部、财政部、科技部和发展改革委联合发...