@silypie
我忘了是在哪里看到过了，llya 说 LeCun 说的，跟 OpenAI 在做的，其实没有什么大的区别。我理解的就是，大模型训练得到的能力，肯定是跟训练的输入有关的啊，你拿互联网的语料训练它，它肯定得不出世界运行的逻辑啊，但如果把现实世界的输入和反馈给到它一起训练呢？

@silypie #95
「正如 Meta AI 首席人工智能科学家 Yann LeCun 所指出的那样，一个从未摸过方向盘的青少年可以在大约 20 个小时内学会开车，而当今最好的自动驾驶系统也需要数百万甚至数十亿带标签的训练数据和数百万次虚拟环境中的强化学习试验。即便如此，它们驾驶汽车也还是不如人类可靠。」

感觉 LeCun 拿这个举例子，比外行还要外行。

这不就是预训练大模型在做的事情吗：大模型预训练的基础能力就是对这个世界的常识认知(比如物体识别、障碍物、动机预测)，开车仅仅需要微调训练即可？
就好比现在训练 ChatGPT 在每个句子中的每个字之间插入一个新的字，或者让 ChatGPT 统计段落的字数。唯一的区别是现在 ChatGPT 的预训练，只是通过自然语言和代码的语料来完成的(还有图像)。

农历年才是 deadline 。
2023 年 2 月 1 日是正月十一，2024 年 2 月 1 日是腊月二十二。相当于过了六分之一，也不少了。焦虑。