jony83

@sillydaddy 不要想当然，chrome 右上角有“问问 gemini”,不懂就去问，简单易操作。20 倍只是商业策略。清洗很重要，需要人工精细挑出来，尤其是意思、重点及错别字。另外，同一句话，如果其中语气重点不一样，意思也完全不一样，文字是无法描述的。

LLM 提供商，是否收集了人们为更好使用 LLM 而探索出来的经验与智慧，并以此训练 LLM 的下一个版本？

答案是否定的。
信息最不值钱，如果信息值钱的话，都去训练如何量化美股了，各种 K 线网上一抓一大把。
最难的是标签化，而且还必须是人工。分得太细，容易把某些信息归到这个类，又可以归到那个类。分得太粗，有可能漏掉某些信息。

重要的事情说三遍：信息最不值钱，信息最不值钱，信息最不值钱。
值钱的是清洗和标签，而且都很费时。 如果不懂的话，就去网上找狗的图片，把它们逐一标签化去简单训练。
再往上走，就是把每个图片里主体的动作标签化，然后训练。用于看图描述主体动作。（分得太细，就会某个图片模型会说这个动作，下次会说另一个动作）

@doudouisamomo 不要指望和尚穿上袈裟就成了佛，也不要指望坐上皇位就成圣人，人性是不变的，脱离了人性就不是人了。

没有边界的权利只会自发的向下剥削，最高效率的剥削就是从企业下手，企业为了生存只能向下传导，底层为了生存没有传导的空间只能是底层互害。

仔细想想银行柜员也是每天对着摄像头你心情也许会好点

@Need4more 那你要看哪个时期的，早期模型都是他家出的，openai 都还没开业。如果算站上巨人的肩上比高度，他现在确实不咋的。谁也无法用现在的眼光能看准以后，否则大家都梭哈买彩票或股票了。

跟训练和 transformer 模型有关。就像人脑只焦距眼球焦距的地方，其他次要的都是模糊的，在线模型设计多层 transformer 去解决强弱相关性问题，但是一次提问带的参数过多了还是无法满足，可以使用分层设计去解决参数过多的问题，但是因为 llm 是无状态的，有些是不能分层能解决的因为必须带有之前的全部或部分参数进去，分层不能解决就只能考虑换设计思路去解决自己需求。

稳定是一切的根本，没有 sla 保证，中断造成损失谁负责？

@laonger 2 个多月的感受。3.8 也一个样，只要传入的参数多或要求多，注意力机制能力就有可能忽略一些要求。
就像一条流水线上并行处理能力，可能你提了 10 条要求，一条流水线过去，他只处理了 8 条，使用 8 条的结果拼装，自然满足不了你的需求。