有人试过么？
This topic created in 671 days ago, the information mentioned may be changed or developed.
 |
0x2CAJan 3, 2025
1
Ollama 还没有上 v3 ，最高 deepseek-v2.5 ，而且依照要求内存要求很高，只能运行入门款，效果也不好
|
 |
KcKXpykSg2777f5IJan 3, 2025
2
别说 M1 ，M4 也搞不定啊，那可是 671B ！激活参数 37B ，算力应该是够了，内存远远远远不够，拉倒顶配也不够
|
 |
neterosterJan 3, 2025 via Android
3
想多了，Q4 都要几百 G 内存
|
 |
4
...api 便宜直接调用 api
|
1 |
goodblueJan 3, 2025
5
你真的知道 V3 是啥吗?
|
 |
TimPeakeJan 3, 2025
6
好像需要 64GRAM/GPU A100 起步
|
 |
7
8 台 64G 的 mini 可以，老外已经实验过了 ：aHR0cHM6Ly9ibG9nLmV4b2xhYnMubmV0L2RheS0yLw==
|
 |
joequanJan 3, 2025
8
不太可能，671B ，内存就要将近 1t ，就算勉强运行，速度贼慢，也没有用处
|
 |
erxiaoJan 3, 2025
9
很难。而且本地模型效果和在线的差太远了。运行的机器都不一样，不管是 M 系列芯片还是 4090 ，都是民用级别，不是 A100 这种工业级别的
|
 |
otakustayJan 3, 2025
10
V3 要 20 块 80G 显存的 A100 才能部署，个人电脑就别想了
|
 |
12
确实没弄明白 deepseek v3 ，如果号称最省资源的都要这么多资源，那是没机会玩本地模型了
|
 |
spike0100Jan 3, 2025
13
2.5 都跑不起来。2 的 3b 模型效果一般。
|
 |
YooboHJan 3, 2025
14
@lifehz 他是训练省资源，但是这个模型本身就很大，而且只放出了 600 多 b 版本的，所以你本地部署的内存要求很高。你要想本地部署可以用那些 7b 、13b 版本的，但是效果大概不咋样
|
 |
mumblerJan 3, 2025
15
gpt4o-mini 只有 8B 参数，意味着以后本地能跑 gpt4o-mini 模型，能力足够了，10B 以上模型都是服务器集群用的
|
|
17
对了，为什么提这个问题，是因为机器之心 昨天发的文章
https://mp.weixin.qq.com/s/ac3E1roCv8uSVYVKZ84E1w 第二条是这么说的： 一些 GPT-4 级模型可以在笔记本电脑上运行 想了一下，似乎 “可以在笔记本电脑上运行” 和 “搭 deepseek v3” 不是一回事，但我的意思还是 “运行” gpt-4 级模型 尤其是 deepseek v3 出来大火后，更好奇想了解能不能在我的 mac air m1 上运行了 |
 |
ShadowPowerJan 4, 2025
19
@mumbler GPT-4 之后的模型 OpenAI 官方已经不公布参数量了，只是网友根据生成速度来推测的……
只能说激活的参数量是 8B ，但是每次输出时激活的是模型中不同部分的 8B 。 就像 DeepSeek V3 的激活参数量有 32B ，而整个模型有 671B 一样。 |
 |
flywsJan 6, 2025
20
Deepseek v2.5 或者 Qwen 这些目前本地更有戏，这些在排行榜上我记得都接近老的 GPT-4 ，不过即使 Q4 的话大概都需要 8 ～ 10G 内存，所以其实现在 Macbook 统一显存内存后，运行 LLM 最大的卡点还是到底有多少内存，想玩遍主流各种大模型的话，最好还是拉满 128G ，至少也得有个 16G ，不然大多数模型都跑不起来。
本地跑 LLM inference 还是很有意思的，比如高铁或者飞机上想写点代码但是网络不稳定，那本地有个 Deepseek 2.5 级别的编程助手已经是很提升效率了。 建议楼主可以下载个 LM Studio https://lmstudio.ai ，方便自己开始研究实操这些 |
 |
zz177060Jan 23, 2025
21
看来我的 m1 air ，还能硬一次。哈哈哈，虽然可能硬度不够
|
Select Language