写程序，咱们习惯了确定、可复现性，所以始终不能彻底理解这个“涌现”，总是说不清道不明的
大家理解啥叫“涌现”吗？这个“涌现”到底是怎么来的？
也看了些文章，始终没彻底理解
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
我理解的“涌现”就是我们人类没能发掘的文字上的统计学联系。导致从现象上，就像是 LLM“自我觉醒”一样，突破了统计学的历史过拟合。
比如阿尔法狗，是个纯的机器学习算法，从过去的机器学习理论中来讲，阿尔法狗的下法是一定不会突破他的学习资料的。 但实际与李世石的博弈中，阿尔法狗出各种怪招，李世石完全没法招架。 |
1 |
2
可能不准确，但是你可以想象一下当训练的数据量大到一定程度，训练使得模型内部自动形成一个包括大部分人类知识和习惯的结构，任何的问题对于模型来说都不是完全未知的，当你问问题，模型就像信手拈来一样能从他的结构里拿出来你想要的答案，这就是涌现。
|
 |
3
用小学生能理解的话来讲就是，训练的样本材料很多了，量变引起的质变
|
 |
4
水分子本身不“湿”，大量水分子成为“水”就涌现出“湿”
|
 |
znedyrk6h 41m ago
5
复杂的神经网络在宏观上表现出推理、语言理解、抽象等能力
|
 |
6
涌现最早定义的时候指的是大模型在 scaling 之后出现了在训练中从未训练过的处理某项任务的能力，所以才是“涌现”能力 / 智能
|
 |
7
不建议在 V2 讨论 AI 日常使用以外的 AI 话题。
你去问 gemini 都比问 V 友靠谱 |
 |
xiaojianghu6h 21m ago
9
量变引起质变
|
|
maolon6h 11m ago
10
|
 |
jacketma6h 4m ago via Android
11
人脑就是涌现的典型案例。按照还原论，人脑也是一对原子的聚合物，每个原子的性质无外乎原子核电子等，但是无数原子聚合在一起，显示出单一原子从来没有的性质“意识”。意识就是大脑这个原子聚合物的涌现出来的性质。
|
 |
XnEnokq9vkvVq46h 2m ago
12
|
 |
dko5h 48m ago
13
|
 |
14
@strobber16
你说的太对了。论坛确实只适合吹牛逼，大部分讨论起来都是漏洞百出。 涌现本来也没什么确切的根因，它只是一种现象。 AI 炼丹师在训练大模型的时候，发现参数小的时候，训练 loss 怎么都下不去，模型学不到东西。但是当参数大到一定程度的时候，突然就能学会了，loss 急剧下降。 具体什么原因都是一些猜测分析，比如彩票假说，当你模型参数量大到一定程度的时候，内部存在多种结构，就像多张彩票，总有一张是能中奖的，也就是 loss 沿着这个计算路径能够下降。这只是其中一种，但是也有很多反对的意见。 总的来说就是，直接带着问题问 AI 就行了，比在论坛瞎吹牛逼靠谱多了。 |
 |
zuokanyunqishi5h 5m ago
15
结构 + 算法 + 量变 -> 质变()
|
 |
weilongs5h 1m ago
16
生物、动物, 那么多细胞的结合、协作也是涌现吧.
|
 |
szdosar4h 55m ago
17
量变积累发生质变。
|
 |
cheap4h 52m ago
18
你天天看美剧 看外国博主旅游视频,突然有一天你发现没有字幕你能懂其中的内容了
|
 |
MagicalCarl4h 45m ago
19
：嗯，这只是简单的加法、乘法和求导，拟合一个函数，插值预测，一切都说得通
（改了一种架构） ：嗯，它居然会预测下一个出现的字的概率，只是简单的数学统计罢了 （增加了亿点参数） ：卧槽怎么这么聪明了，什么原理，一切都说不通了 “涌现” |
 |
realJamespond4h 37m ago
20
涌现概率就是按人的意愿出现的方向的概率
|
 |
molvqingtai4h 35m ago
21
就像蚂蚁蜜蜂一样，个体智能并不高，但是组成群体之后就涌现出了群体智能
|
 |
zackkk4h 34m ago
22
就像你生活了几十年，问你学大学了什么，去年经历了什么，你一下子说不出来。 但让你讲一个什么事情，你却能讲得头头是道。 你学过的东西，顺着你的思维流到嘴边，涌现出来，变成语言。
|
 |
jinsongzhaocn4h 26m ago
23
涌现也会进化。解决一个问题需要 5 个知识，掌握了 4 个就不能涌现。所以回到古代，小学生就能涌现，现代就需要大学生，未来得靠 AI 。
|
 |
crackhopper4h 21m ago
24
好古早的术语，哈哈。我个人理解：模型玩文字接龙的时候，越来越六（仅仅是模型变大，就变六了）。随后突然表现出了有“智能”的感觉（关键是没人可以严格定义什么是智能，看起来像是 因为可以接龙更长，捕获了文字的统计关系，进而建立了概念的链接；最最重要的是，随着可以连接的概念越来越多，chain 越来越长，表现开始接近人类）
|
 |
ijammy4h 13m ago
25
可以看一下凯文凯利的《失控》
|
 |
iApp4h 11m ago
26
人学知识开窍了,你觉得人从小到大学进脑子的到底是什么
|
 |
killva46244h 11m ago
27
这个词我最开始听的时候还是在游戏设计里,即“涌现式设计”：
创建几个简单的底层规则或系统相互交织、作用，在宏观层面上演化出开发者并未直接编写、却自然而然产生的新特性、新行为或新体验。 再通俗一点，就是要设计可能性与规则的框架，而不是做预设结局与体验。这样玩家就能创造出连开发者都惊叹的游戏体验。 举个例子：游戏里常见的“点燃”，一般的游戏会让怪物具备“点燃”特性来制造伤害，但赛尔达把“点燃”作为基本的物理规则，即可以通过火焰点燃所有物品，再进一步，不仅能点燃，还会产生“热量”，加上“风力”，就出现了“上升气流”等等....利用这个简单又合理的物理框架，能做出许多意想不到的动作。 |
 |
passion3366994h 10m ago
28
读书百遍其义自见的感觉吗...
|
 |
cenbiq4h 5m ago
29
“涌现”就是一堆微观原子的东西聚在一起，因为互相之间的关联而自然产生了某种原本不存在的宏观功能，背后可能透露着数学对微观和宏观的关系起到映射作用，个人理解
|
 |
ion1ze3h 41m ago
30
awake 悟了
|
 |
capCoco3h 14m ago
31
就像蜂群算法，每个蜜蜂自己的逻辑都很简单，但整个蜂群会表现出智能
|
 |
zthxxx3h 13m ago
32
https://arxiv.org/abs/2304.15004
“ 不少所谓的涌现现象，其实来自评估指标的选择问题 ... 模型的能力随着参数量一直在逐步提高，但如果用 Exact Match （完全答对才给分，否则一律 0 分）的方式评估，能力的渐进增长就会被隐藏，直到跨过某个门槛，看上去才像突然学会了某项技能 ... ” |
 |
lizongwu3h 11m ago
33
大力出奇迹
|
 |
archxm3h 4m ago
34
实际上吧，就是老中医话术，仅此而已。
狗屁涌现！ |
 |
QS0x012h 14m ago
36
训练集里没有包含的数据，但是在推理时表现得意外不错
|
 |
doudouisamomo2h 13m ago
37
@jacketma 解答完全错误
|
 |
awfe2h 6m ago
38
“顿悟”
|
 |
curiohuang1h 52m ago
39
游戏行业这个概念用得很广泛啊，暗黑 4 里三哥程序员写的屎山代码最能证明这个了，毫不相关的几个内容在某个 BUG 的穿针引线下成为了某个赛季的妙妙机制……
|
 |
CHTRCT1h 48m ago
40
涌现这个词是人类定义的，可以改变定义，可以语义漂移
|
 |
momocraft1h 30m ago
41
涌现是现象，不是理解
|
 |
paopjian1h 28m ago
42
GPT 1->2 不断叠加模型参数, 获得的也只是一个会完形填空的机器, 然而某一天, 训练到了 GPT3 规模, 模型突然会自己接着回答了,还具有了长对话能力, 这就是涌现
|
 |
Kaisar32 mins ago
43
也许你应该看看这个
|
Select Language