coefu

@NouveauNom qwen3.8 flash next Q3-S ，64G llama.cpp v0.7.0 200k context tg 稳定在 20 tok/s
非常奇特，如果是如果是 M5 pro 307GB 的带宽的话，估计会低一点，apple silicon 只认可 ultra ，M5 ultra 带宽有 1.2T 。我猜能到 30 tok/s 。

带宽是瓶颈，算子实现也是，不是或，是与。

qwen4 flash 我估计参数不会增加太多，更多是 结构上再精进一点，后训练搞得更针对一点，有利于本地部署。

最期待的是 dense 27B ，架构肯定是改了，3.8 27B 的老架构已经是极限了。

这次真正让人惊讶的是，我过去以为 思维逻辑的深度应该和模型的层深 强关联（即层越深，抽象能力越强，能关联思考的对象更多，即能面对多因素之间的复杂思考能力越强），但是 qwen3.8 flash next 的架构 层深度 不如 27B ，甚至都不如最近的 Ripple-65B-Preview ，但是 gpqa-d 的分数能上 90+。某种程度上来说，可能知识的宽度也能影响 思考的深度。

要测一下它性能提升的那点百分比 会不会被 long context(262k) kvcache 线性边际递减 给磨平。

apple Metal 亏就亏在 1 ，矩阵计算的性能本身就比不过 Nvidia/amd ； 2 ，推理引擎的针对性优化都排后； 3 ，unit memory 如果全给 Metal 尚可，如果和 CPU 混合竞争，带宽瞬间拉没了。

apple Metal 真正的优势在 MOE + Engram 表，也就是 qwen4 的架构。过去的混合注意力实际上也解决不了 dense 模型 long context kvcache decode 的 线性边际递减。这个 DSpine 是之前问题的 中高层果实罢了，没有重新种树。

@leglo 你没懂我意思，有人以为这波 生成式 AI 能提升经济，重回过去互联网和移动互联网时代的经济繁荣，但恰恰相反，生成式 AI 的这波浪潮 反而加速了 社会分工的变革，让过去一波经济活动里的中产小资（所谓的白领）直接失去了工作。其实经济活动里，这部分才是真正的 承上启下的传动轴，资本最顶层是不会直接对接经济活动最底层的部分的，他们也消化不了庞大的经济终端。再有钱的富豪，iPhone duo 也不会一个人买一千个轮换着用，tesla/byd 的最大产量车型也不是为那些富豪生产的。

最大的问题是 生成式 AI 目前都没看到 怎么撑起来一个过去互联网/移动互联网时代 的场景。还是那句话，本来就只是锦上添花的作用，强行拿去做定海神针肯定是撑不起的。

最操蛋的是这波 AI 不是经济恢复的雪中送炭，反而更像是 经济下行期的烈火烹油。

如果是想学习和研究与当前工业界路线的不同的技术路线，我觉得还是可以的，只是不那么好找工作了，大概率智能继续博士，博士后，继续蛰伏学术界，直到那条路线成为显学。

自己自学学不会，学不到，去学校读个硕士研究生的 3 年，被推着走，也不一定能入门学会点什么，或者是学到点什么。你认知里的所谓的你想学习到的“AI” 和 大部分大学当前学校里教的研究的“AI” 不是一条路线了 。除开 top 级别的，钱多，和企业合作，能有点搞头。大部分一本院校里的资金都撑不起实验室的设备成本。而且大部分学校里老师自己能不能跟上业界发展都是个问题，也不是看不来学术界，只是路线不同，要跟上也是和大家一样要付出很大力气，有些人不愿意动了，你去他们底下，和你自己自学，没什么区别。唯一能提供给你的，就是学历，学位，真实的学力 有没有竞争力还是很大的问题，不过从你当前表现出来的能力来看，估计也不会有什么竞争力。

当然，如果你财务自由了，完全可以去当成人生修行。

就这么点内容，还要 LLM 帮你搞。就这个能力，去凑热闹，也是个外围热闹看客。