公司有点规模，搞了几千万预算部署了一些国产开源大模型，然后流程上要求高敏业务的智能体必须使用本地化模型。
从技术的角度讨论下看，这个事还能继续走下去吗？
已知的问题： 1.不如云厂商提供的模型兼容性好 2.偶尔还有 bug ，比如 tool call bug 3.这个预算碰到 k3 这种模型根本部署不起
还会有什么问题？你怎么看？
 |
1
jacketma 18h 41m ago
部署哪家的大模型，可以找官方支持服务啊，人家包你调试的
|
 |
2
demonvinc 18h 35m ago
几千万 K3 还是够的
|
 |
3
wombat 18h 28m ago
从模型参数看，和 K3 相比，GLM5.2 私有化部署性价比更高，已经满足日常使用的需求。K3 ，看公开的使用体验，并没有高出很多。 tool call 的问题，GLM5.2 应该少了很多。问题不大。
|
 |
5
superkkk 18h 6m ago
H200*8 或者 B300*8 吧，买机器的钱够冲 token 用 10 多年估计没问题
|
 |
6
tolbkni 18h 5m ago
同楼上，这个预算能搞 B300 搞 B300 ，然后跑 GLM5.2 不比 K3 效果差多少，但对显存要求低了很多
|
 |
7
isbase PRO 这技术上当然没毛病 大公司基本上都有自己的私有化 AI 云
|
 |
8
Atma 17h 1m ago
自己部署一部分，然后购买厂商的一部分，分级使用
|
Select Language