sjmcefc2
V2EX  ›  Local LLM

买 macbook pro 笔记本,跑本地模型,怎么配置性价比比较高?

  •  
  •   sjmcefc2 · Jun 12 · 5475 views
    This topic created in 161 days ago, the information mentioned may be changed or developed.

    macbook pro 跑本地模型,64g 内存够用吗? 64g 可以跑哪些模型呢? 等 9 月新品还是现在呢? 不懂 mac 的商品啊

    42 replies  •  2026-07-07 18:57:56 +08:00
    NASK
    NASK
    Jun 12
    1
    macbook Pro 跑本地模型没有意义,如果真想本地跑的话,可以用 mac mini 来跑.
    ssack9
    ssack9
    Jun 12
    2
    MacMini 需要什么样的配置来跑本地模型
    wuxilaoshiren
    3
    伪需求
    et5494
    et5494
    Jun 12
    4
    25 年购入了一台 MAC MINI M4 PRO 64G 版
    实际测试下来,跑模型的 token/S 很慢,GPU 全程 102°,完全等不及的那种(我忘记上的多大模型了,反正 64 是低不成高不就)
    这钱直接花在订阅上,这不香吗?
    sjmcefc2
    sjmcefc2
    OP
    Jun 12
    5
    @et5494 多大的配置才能比较顺利的跑呢?
    mbooyn
    mbooyn
    Jun 12
    6
    一般推荐显存几百 G 的才跑本地模型,否则一律走云端 api
    YanSeven
    YanSeven
    Jun 12 via Android
    7
    就算能顺利跑了,堆到顶级了。那个智力可能都不如现在有些厂商发善心给你免费用的 API ,都不必花钱。
    sjmcefc2
    sjmcefc2
    OP
    Jun 12
    8
    @YanSeven 那就剩下一个苹果开发了。对吧。只是想着顺带跑跑本地模型,有个高中生水平就可以简单执行任务了。
    ntedshen
    ntedshen
    Jun 12
    9
    9 月不涨价就不错了。。。618 的货还是年初的价
    ysn2233
    ysn2233
    Jun 12
    10
    伪需求,不跑最好
    foxio2
    foxio2
    Jun 12 via Android
    11
    这个好办。选内存带宽超过 800G/s 的。
    foxio2
    foxio2
    Jun 12 via Android
    12
    4 万以下根本不用看。4 万以上的那种。本地跑的,主要是是为了保护宝贵的私有数据。所以。这点钱也值得。
    i67c6NJ0r33nC667
    13
    你能跑的都是弱智模型
    Mandelo
    Mandelo
    Jun 12
    14
    本地模型要好用,卖 token plan 的早倒闭了
    onetown
    onetown
    Jun 12
    15
    我现在很多代码是用 m5 max + 128g 内存跑的 qwen3.6 35b 的模型跑的。65k 上下文, 模型本身支持 128k , 但是我为了可以并发, 限制到 65k 。
    sjmcefc2
    sjmcefc2
    OP
    Jun 13
    16
    @foxio2 能列一下配置吗
    sjmcefc2
    sjmcefc2
    OP
    Jun 13
    17
    @onetown 也就是 128g 就可以跑目前的新模型了?
    coefu
    coefu
    Jun 13
    18
    mac 系列只有 ultra 能用,别的都不用试了。
    sjmcefc2
    sjmcefc2
    OP
    Jun 13
    19
    @coefu 能具体说说吗?
    coefu
    coefu
    Jun 13❤️1
    20
    @sjmcefc2

    推理第一要素,gmem/umem 的带宽,越大越好。
    第二要素才是算力本身,prefill 阶段,context 太长,Nvidia 的 cuda 擅长的地方。

    mac 系列只有 ultra 的带宽>= 800GB/s ,这是第一个要素。 至于 apple metal gpu 的 core 数量,讲真,再多一倍也无济于事。算力对于 mac 系列来说,聊胜于无。
    felixcode
    felixcode
    PRO
    Jun 13
    21
    建议拔网线,关网卡,再也不联网,然后再跑本地模型。
    这样就能发挥本地模型保护隐私数据的优势了。
    wsbqdyhm
    wsbqdyhm
    Jun 13 via iPhone
    22
    目前 m1max64g ,能跑 qwen3.6-27b ,10 多 token/s 吧,仅供参考。架构 omlx 。没有什么实际意义。
    CakeJu
    CakeJu
    Jun 13
    23
    有什么本地模型的需求吗,不如把买笔记本的钱拿来订阅
    decemberpei
    24
    投入大几万,跑个垃圾模型,在 token 比自来水还便宜的时代,意义在哪里?
    RW233
    RW233
    Jun 13
    25
    本地 LLM 本身就不是一件有性价比的事情
    cnrting
    cnrting
    Jun 13 via iPhone
    26
    你直接问 ai 吧
    XieBoCai
    XieBoCai
    Jun 13 via Android
    27
    @onetown 大佬,您都是用在哪些场景?这个效果怎么用?
    sn0wdr1am
    sn0wdr1am
    Jun 13
    28
    我感觉,就目前来说,消费端本地部署大模型,毫无性价比。

    属于:

    花大价钱,部署弱智模型
    homonym
    homonym
    Jun 13
    29
    现在感觉本地跑一个不大的模型除了折腾的乐趣,没有太大的意义了
    kergee
    kergee
    Jun 13
    30
    看着多多每天降 100 来诱惑我,现在 64G+1T 的都 21000 多了
    onetown
    onetown
    Jun 13
    31
    @sjmcefc2 也不是, 但是 128g 内存可以在中小模型的选择上, 范围更广, 另外 agent 配合本地的模型, 可以并发同时跑。

    @XieBoCai 我不是大佬, 我主要是做 agent platform, 和业余游戏开发, 所以会用来跑类似 wan 2.2 这种生视频的模型。 我自己做了个 coding agent, plan 的时候用的 opus 或者 gpt-5.5, 其他都用本地的 qwen 3.6 35b 的模型, 比 haiku 好用
    EvanQu
    EvanQu
    Jun 13
    32
    买 m5 ultra 除了 ultra 基本其他的都不行。内存大没用带宽太小了
    m5 120GB/s |
    m5pro 翻倍 240 左右
    m5max 5-600 百左右
    m5ultra 翻倍 1000-1200 左右

    参考 5090 1970gb/s
    songco
    songco
    Jun 13 via Android
    33
    见过的都是 mbp 基础款加 mac studio
    XieBoCai
    XieBoCai
    Jun 13
    34
    @onetown 谦虚了,谢谢分享
    CoderLife
    CoderLife
    Jun 13
    35
    刚用 m5 pro 64G 在 comfyui 跑了一下, 卡到爆, 还报错
    walkon
    walkon
    Jun 14
    36
    m4max 64G 可以跑 qwen3.6 35b a3b 4bit 模型,做做日常批量任务没问题( 30k tokens )
    sjmcefc2
    sjmcefc2
    OP
    Jun 14
    37
    @walkon 足够了。
    diudiuu
    diudiuu
    Jun 15
    38
    @coefu #20 苹果比较诡异,只要 cpu 能加载完成,token 都要在 20token/s ,带宽算法搞不明白。 我这个是 m4 试验出来的结果
    sjmcefc2
    sjmcefc2
    OP
    Jun 15
    39
    @diudiuu 好事儿?坏事儿?
    diudiuu
    diudiuu
    Jun 15
    40
    @sjmcefc2 #39 有好有坏,好的就是能跑,坏的就是跑不快
    coefu
    coefu
    Jun 15
    41
    @diudiuu 没懂你在说什么,ultra 的机型下,我用 llama.cpp 都能把 模型全部层加载进 apple metal gpu ,cpu 都没有加载任何层。

    我彻底没用 omlx ,它限制了 context 长度,我用 llama.cpp 跑 263k context 能一直跑。只是 llama.cpp 对于 混合 attention 的支持目前有问题。不过大概率要几个月才能 fix 这个问题,或者根本无解,跑的满点罢了。
    micao
    micao
    Jul 7
    42
    32g 内存都不够,至少的 48g 。硬盘得 1T ,否则随便做个项目,docker 拉一堆镜像,大模型再下载几个试错,1T 很快就满了。想要能用的大模型,最差也要 35b 的模型。还得兼顾推理能力和速度。还是 amd ai max+ 395 64gb ,性价比最好了。最好 128g 内存。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2073 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 164ms · UTC 12:21 · PVG 20:21 · LAX 04:21 · JFK 07:21
    ♥ Do have faith in what you're doing.