硬件成本对比云 llm 已经没法比了，但是看了一眼二手市场 mac mini 依然高居不下
 |
1
qazwsxkevin 1 day ago
其实你应该反边界思考，云 LLM 做不到的需求，还是很大的。
|
 |
2
crocoBaby OP  1
@qazwsxkevin 除了 nsfw 没想到别的了
|
 |
3
xjoker 1 day ago via iPhone
隐私部署还是要的
比如人事部 财务部 资料不能外泄 |
 |
6
EdwardKot 1 day ago via iPhone
最近也确实有此疑问，但是我还是部署了 asr 、ocr 、35B-A3B ，有些小钱能省（但是主要是手头现有的内存还算大，如果是新买专门用于本地部署的肯定不会）
|
 |
7
xing7673 1 day ago
mac mini 价格高早就不是本地 llm 需求驱动了，2-3 月还是，但是 4 月后就绝对不是了。
|
 |
10
slowman 1 day ago
回到大型机时代了
|
 |
13
YaakovZiv 1 day ago
私有化部署，目前的接触比较多的是两份财务统计的场景。医院信息科的测试场景。
|
 |
16
magichan 1 day ago 1
数据安全性在很多公司具有一票否决权，
就像 5 楼说的，数据泄密是很难被证明的， 而且很多公司要求的不是泄密后有赔付，而是不泄密。 |
 |
17
lookenghua 1 day ago
云 llm 越来越便宜,但是很多破限的模型也不支持,其次云端有延迟,对于敏感的用户很烦的,本地又不是非要跑那么大的,比如语音输入就很小适合本地跑
|
 |
18
conge PRO |
 |
21
since2021 22h 21m ago
专用的 AI 一体机不是很贵嘛
|
 |
22
lujiaosama 22h 7m ago
@conge 你这医院不是国内的吧。
|
 |
23
ktyang 21h 42m ago
本地部署的需求永远都在，只是说你不是这方面的用户。
|
 |
25
faceRollingKB 20h 49m ago
对于有些公司业务来说，把模型部署在其他公司的服务器上本身就是不可接受的风险
|
 |
26
Cabana 20h 42m ago
现在大公司都在搞超节点，个人只能看个热闹了
|
 |
27
msg7086 20h 35m ago
「签保密协议」的保密等级有限。真正保密等级高的，要么自建开源模型，要么自建机房然后让对方进驻。
比如我司的云计算产品，别人要采购，他们可能是自己建一个保密机房，然后我们的人进去部署好整个云计算环境，然后他们用。我们这边要访问机房里的环境，必须要政审拿到权限才可以进。要 debug ，得他们的人连上服务器，然后和我们共享屏幕，我们指导对方怎么查日志找问题。 |
 |
28
kkwa56188 20h 34m ago
找 Kimi 改简历改出别人的真实简历， 这种事情发生一次就够说明问题了
|
 |
29
Topmax 20h 27m ago
mac 部署本来性价比也不高
|
 |
30
lscexpress 20h 25m ago
我的 mac 是 64g ，我都不考虑本地部署。
|
 |
31
MoonLin 20h 21m ago
@msg7086 私有化部署我经常见，无法访问机房环境的客户我也天天打交道，但是需要政审访问机房环境闻所未闻，你们甲方这么大权力随便发协调函查档案和无犯罪证明？并且组织部还乖乖配合审查？
|
 |
32
hafuhafu 20h 12m ago
本地部署小参数本来就是个人折腾着玩的。
公司数据敏感私有化也和 Mac mini 没啥关系。 这东西价格高可能还是因为很多人其实没接触过好奇加一些营销号宣传吧，加上虽然价格不低，但是还在一般人相对可接受范围内。 像 DGX Spark 对于大众就没啥讨论度了哈哈。 |
 |
34
fcten 19h 53m ago
32g 开个 codex 都不一定够用...这就没意义了？
|
 |
36
wcwcxiaobin 19h 16m ago
比如你想下载一个 电影，但是云 llm 肯定会拒绝帮你找资源，但是。。。
|
 |
37
cvooc 19h 12m ago
个人使用的自部署需求量很低了, 但是企业还是存在的, 当然此时都是起手百万搞私有化了, 跟 mac 没关系了.
|
 |
38
iugo 19h 7m ago
现在小模型智能不足, 微调不够普及. 今后的随身 AI 助理可能是:
1. 白天的信息全部储存在上下文. (推理/工作) 2. 晚上针对白天的信息进行微调. (微调/睡觉) 如果要切换新的 AI 助理, 就 "老带新" (类似蒸馏), 以确保知识迁移. |
 |
39
17681880207 19h 3m ago
你要从正经的角度来说，我也赞同你的观点。
因为类似 dgx spark 这种东西，说实话，部署一个 120b 左右的模型，说实话也就干点杂活，但凡是正经的做点事情，效果很差，而真正需要干活的例如医院，其实自己都有部署自己的算力集群，可以部署更大的模型，做到 100%离线。 在和 nvidia 线下交流会的时候，我冒犯的问了 nvidia 员工这个困扰我很久的问题，我很想知道 dgx spark 这种个人/边缘算力机器的东西到底是干什么的？你们的目标是谁？或者真正的 typical 场景是什么？ 他倒也坦诚的表示，这东西的定位其实就是很模糊和小众，其实本质上就是当年疫情的时候，在美国很多离线办公的人，公司买来配给员工的，现在其实也不是他们主要的销售产品。 现在这台 dgx spark 搞了个 frp ，已经被我拿来做物理云服务器了，挺不错。然后跑了个 qwen3.6-35b 的模型，用来整理一些文档，仅此而已。 |
 |
40
AmericanExpress 18h 48m ago
@msg7086
这种 gov/drcc region 出问题 debug 真的烦死人 而且大概率遇到一个啥都不懂的 operator |
 |
41
txydhr 18h 40m ago via iPhone
说隐私保护的有点跑题，隐私分为非核心商秘（比如大部分行业的客户隐私）和核心机密。大部分都属于前者，所以保密协议可行。
|
 |
42
MMnv8DuECn968UX9 17h 17m ago
https://github.com/drumih/turbo-fieldfare
Gemma 4 26B-A4B inference in ~2 GB of RAM on any M-series MacBook |
 |
43
cuixf 15h 50m ago
工作的话本地确实已经不如云了，但是要是玩的话，尤其是自己进行点微调训练，本地还是有优势的
|
|
44
cuixf 15h 48m ago
涨价了，一台至少涨了五百块，我还是买的贵点，估计得涨了有八百块左右
|
 |
45
autumncry 15h 41m ago
企业落地没有人愿意云算力的，哪怕本地贵很多。
这些私域数据是企业的命脉，一旦某些关键数据泄露，可能直接关系到企业存亡 这也是为什么开源一定是 llm/agent 落地推进生产的关键，闭源 api 是永远没法落进实际生产环境的 |
 |
46
liushuang 12h 19m ago
做工具这边的体感是，个人往本地跑的意愿确实在降，但主要不是模型差多少，而是现在 agent 、上下文管理这套工具链基本都按云端 API 优先设计的，本地模型再能打，配套生态跟不上用起来还是别扭。个人这块云是赢了，但企业私有化完全是另一套逻辑，动辄百万起，跟 mac 这种消费级硬件本来就不是一回事。
|
 |
47
CziL 10h 40m ago
本地 llm 需求只会越来越大，延迟、隐私、安全就是 云 llm 无法解决的
|
 |
48
BlueSkyXN 9h 35m ago via iPhone
脑子抽了用 Mac mini 跑 LLM 本体
正确用法肯定是最合适的执行环境啊，当年养龙虾也没叫你本地跑 llm 最适合跑 llm 的最便宜的设备是 dgxspark |
 |
49
woctordho 8h 32m ago via Android
每个人头上都有一个大脑，所以每个人手上都有一个智能达到大脑甚至超越大脑的设备是天经地义的
|
 |
50
terence4444 7h 46m ago
微信读书不要钱的时候，也有人说可其它电子书都没有意义了。
外卖大战的时候，已经有人说可以不用再去实体店了。 等这波大战过去，开始收割时，本地 LLM 还是会再次流行起来。 |
 |
51
techmale 7h 43m ago
Jesus Christ... Tunnel vision all the way!
|
 |
52
spark 7h 27m ago
楼上的各位别争了，Mac mini 就是被硬炒上去的，你真用过它跑模型做业务么？就算是 LLM wiki 我都嫌本地模型蠢。更别提那个吞吐量了。
|
 |
53
GeruzoniAnsasu 6h 59m ago
本地 LLM 确实是无意义的，但本地 AI 应用还亟待开发。我更期待手机上什么时候能上 32G 以上的内存
|
 |
54
alexluo1 PRO 我已经后悔把 m3 max 64g 换成 m5 max 128g 了，哎
|
 |
55
GyroZeppeli13 5h 54m ago
其实耐心就好，本地部署 LLM 总会有这个需求。有这个需求自然技术就会迭代，成本也会下来。比起云服务肯定会高，但最终会回归到一个合理的价格区间内。
|
 |
56
ryd994 4h 50m ago via Android
@MoonLin #31 说明你没见过政府用户。各大云都有政府云业务。还有欧洲区涉及 GDPR ，也需要分开运营。国外云厂商在中国必须由中国公司代理运营。这些都是不能直接访问的，必须通过代理公司和监管系统访问。
|
Select Language