跑本地大模型用，不想要二手
This topic created in 185 days ago, the information mentioned may be changed or developed.
 |
CNYokiMay 8
1
Apple 直营店可以买到官翻版
|
 |
hello365May 8
2
能跑到多大的模型多少 token/s ？
|
 |
sentinelKMay 8
3
@hello365 目前的话，qwen3.6-27B 4bit 量化的 mlx 版本模型，M5 MAX 128GB 的 macbookpro ，decode 输出可以跑到 30t/s ，prefill 输入可以跑到 700t/s
如果是 moe 模型，比如 qwen3.6-35B-A3B ，能到 100t/s 的输出。 |
 |
my3157May 8 via Android
4
实测 M2 Max 64G qwen3.6-35B-A3B nvfp4 ，ollama 大概能跑 70+t/s
|
 |
SteveRogersMay 8 via iPhone
5
@sentinelK 买 mac studio 96g 可以满血跑 qwen3.6 吗
|
|
sentinelKMay 8
6
@SteveRogers 要等 M5 Max 版本的 studio 出来才行。M4 MAX 的性能比这代低很多，另外，mac 的统一内存是够放满血版本（非量化）的 qwen3.6 27B 的，但是因为内存带宽，所以性能很差。
|
 |
AllenZ0May 9
9
这个各大都缺货，官翻也没有。我也在蹲。
|
 |
nachrMay 10
10
本地大模型真要达到好用程度小于 128 都不太够看吧
|
Select Language