waino

升级 m2 的内存稳定吗?

  •  
  •   waino · Jun 5, 2024 · 4989 views
    This topic created in 896 days ago, the information mentioned may be changed or developed.
    最近想本地折腾下 llama3:70b ,发现 32g 不够用。

    问问各位大佬:

    1. 升级内存,是不是能解决?

    2. 升级内存靠谱吗?比如找个维修店

    3. 能的话现在什么行情? 32=》 64=》 128
    25 replies  •  2024-06-06 10:52:36 +08:00
    icestraw
    icestraw
    Jun 5, 2024
    1
    是能解决

    不靠谱,升不了

    没有行情,也可以理解为比置换更贵

    只能卖了再买
    deplives
    deplives
    Jun 5, 2024
    2
    Apple silicon 怎么升级内存?连 cpu 一起换?
    InternetExplorer
    InternetExplorer
    Jun 5, 2024
    3
    内存不是和 CPU 长在一起的么,要升级只能换个主板吧
    imnpc
    imnpc
    Jun 5, 2024
    4
    运行内存换不了的
    waino
    waino
    OP
    Jun 5, 2024
    5
    @deplives
    @InternetExplorer 不知道呀,看有视频直接可以重焊内存颗粒上去
    lrigi
    lrigi
    Jun 5, 2024 via iPhone
    6
    不能跑不如买个 poe 之类的。等你真的能运行了 70b 可能会发现速度好慢,还不如运行 8b 的舒服
    rockddd
    rockddd
    Jun 5, 2024
    7
    那都是 inter 的老机型,才能换内存颗粒
    xcnick
    xcnick
    Jun 5, 2024❤️1
    8
    32G 内存本地可以跑 Qwen1.5-32B 模型,这个模型是 30B 规模下中文最优秀的模型之一
    xayoung
    xayoung
    Jun 5, 2024
    9
    m 系列升不了的。目前能升的唯一方法是 cpu 和内存一起换,这样成本就非常高了。退一万步来说,即使能单独升你也敢升?内存和 cpu 连在一起的,风险非常高。
    GeekGuru
    GeekGuru
    Jun 5, 2024
    10
    卖了再买最划算。。
    zhwq
    zhwq
    Jun 5, 2024
    11
    4bit 或 8bit 量化之后效果可能还不如 8G 的
    Phariel
    Phariel
    Jun 5, 2024
    12
    70B? 你想换多大的内存? 128G 也不够吧 你除非要跑很重的 quantized 版本 你本地能跑个 13B 已经可以了
    crokily
    crokily
    Jun 5, 2024
    13
    @xcnick 请问这个有什么测试的榜单吗,我一直很好奇 hugging face 上的中文化 llama3 和 qwen 哪个效果更好
    bzw875
    bzw875
    Jun 5, 2024
    14
    ![Apple M1 chip]( https://en.wikipedia.org/wiki/File:Mac_Mini_M1_chip.jpg)
    苹果 M2 芯片的内存是和 CPU 焊接在一起,个人理论上换不了,台积电有能力换
    xcnick
    xcnick
    Jun 5, 2024
    15
    @crokily 大模型的榜单仅作为参考,不能作为评判的唯一标准。对于中文任务来说,国产大模型比汉化 llama 有先天优势,训练数据集中中文的比重更大
    kuaner
    kuaner
    Jun 5, 2024
    16
    m2 max 无头骑士
    7lQM1uTy635LOmbu
    7lQM1uTy635LOmbu
    Jun 5, 2024
    17
    @waino #5 原理上可以换,有人成功过,但报废率太高,量产不了
    pelloz
    pelloz
    Jun 5, 2024
    18
    别折腾自己的小本子了,搞个服务器,或者工作站,甚至就简单配一个主机,内存随便你加,便宜得很
    waino
    waino
    OP
    Jun 5, 2024
    19
    @pelloz 攒个机大概多少预算,比如能运行 llama3:70b 这类大模型
    waino
    waino
    OP
    Jun 5, 2024
    20
    听劝不在现在机子上折腾了
    beginor
    beginor
    Jun 5, 2024 via Android
    21
    64G 的 M1 Max 也要将显存调整到 56G 才勉强跑的起来 70b 参数的模型, 一秒钟大概一个 token ,还是老老实实跑 32b 左右的模型吧, 一秒钟 2~3 个 token ,自己玩一下还可以。

    折腾 70b 以上的纯属虐待自己的 Mac 。
    jimrok
    jimrok
    Jun 5, 2024
    22
    M 芯片采用了统一内存,封装的方式是直接把内存芯片和处理器芯片在微孔上连接在一起,chiplet 方式,是不能升级的。
    dilidilid
    dilidilid
    Jun 6, 2024
    23
    卖了再买,别折腾了。大模型为啥不用现成的商业服务非要本地呢,又不搞大模型开发,搞不懂你们
    crokily
    crokily
    Jun 6, 2024
    24
    @xcnick 在文本编辑上试用了一下,确实在中文条件下 qwen 更好,汉化的 llama 在中英混杂的情况下,哪怕提示词是中文的,也很容易生成纯英的回答或者是纯中文的回答(例如要生成一句带中文解释的英文例句就不行)。而用 qwen 就能生成出正常的中英混杂文本,哪怕 prompt 是英文的也能正常生成中文回答。
    littlewing
    littlewing
    Jun 6, 2024
    25
    M 芯片不支持升级内存,集成在 SOC 里
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4741 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 82ms · UTC 06:21 · PVG 14:21 · LAX 22:21 · JFK 01:21
    ♥ Do have faith in what you're doing.