组了 8 台 NVIDIA A100-PCIE-40GB ，用 Ollama 跑了 Deepseek 的 70B 版本，理论上性能是足够的，但是思考时间特别长，显存的占用率也不是很高，功率甚至连五分之一都没达到，不知道问题出在什么地方
This topic created in 636 days ago, the information mentioned may be changed or developed.
 |
1
1. 都用这些设备了不用 sglang 跑去用 ollama 这种干啥
2. 没多大并发占用当然不会高，bs=1 decode 是显存带宽瓶颈。 |
1 |
2
@neteroster 感谢！！小白刚上手，搜了下都是用 ollama 在部署，这就去看一下 sglang
|
 |
hertzryFeb 15, 2025 via iPhone
3
NVLink 需要专门的硬件交换机，你这 PCIe 版用不了。
|
 |
TimeNewRomeFeb 15, 2025
4
deepseek 对 IO 要求很高。楼主的 token 输出慢，多半是因为 IO 传输存在瓶颈。
所以最好的解决办法，应该是换成 NVLINK 而不是继续用 PCIE 。 PCIE 通道数有上限，会严重拖慢 IO 速度。 |
 |
liuyuncaiFeb 15, 2025
5
被多机互联的通信带宽限制了，而且你这个是 PCIE 的，GPU 通信也被限制了
|
 |
cpstarFeb 15, 2025
6
谁给的勇气判定“理论上性能是足够的”？
这 8 台，还不知道单台多少块 A100 ，就算是 8 块，总共 64 块。那么首先单台的八卡联合工作问题不大，总共可用显存 320G ，可以上 q8 甚至 fp16 量化，但是 671b 够不到。 然后就是 8 台机器协同，基本上 PCIE 的不要想了。如果是 8 卡的情况，还需要 8 条 PCIE 插槽给每个显卡配套一张 IB 卡，然后 IB 组网还需要至少 8 台交换机（也许更多，具体方案没有细算过）。反正是 PCIE 版的基本就放弃机间组网，玩一玩本机多卡协同就到头了。然后如果需要机器协同，请去查找 SXM 版的 A100 。 |
 |
scysFeb 15, 2025
8
看运行环境的占用情况和参考 Ollama 的 issue 讨论 8xA100 相关就明白。
|
 |
apuslilieFeb 15, 2025
9
好奇去了解了一下 NVlink ，感觉机器学习对 GPU 之间通信的要求还挺高的（不然 PCIe 应该就够了）。
个人理解这方面是不是在算法上还有继续挖掘的空间？如果对通信带宽的要求这么高，通信本身的开销就不小吧。 一般 CPU 为主的计算，通信的开销有，但是感觉要小得多，节点不多的时候用普通网线连接都可以。 |
 |
ioriluFeb 15, 2025
10
70b? 为什么要这么多卡
|
 |
11
|
 |
12
生产环境显存足够还用 ollama 这种套壳干嘛，暴殄天物。70B 用 Triton + TensorRT-LLM 理论性能是最好的
|
 |
secondwtqFeb 15, 2025
13
你把 PCIe P2P 搞起来就可以，应该是不需要 NVLink 的。
|
|
secondwtqFeb 15, 2025
14
70B 的话试试用四块跑，卡越多通信开销越大。
|
 |
kernelpanicFeb 15, 2025
15
deepseek 只有一个 671B 版本
|
 |
InvastFeb 15, 2025
16
我试过 pcie 和 nvlink 的 8 卡 a100 ，性能差的很少，10%都不到。另外如果是 fp16 权重我感觉 40gb x 8 是不够部署 70B 模型的，我怀疑可能发生了显存和内存的交换，出现了 IO 瓶颈。
|
 |
carmarkFeb 15, 2025
17
8 台还是 8 张，节点内可以走 nvlink 或者 pcie ，节点间如果要低延时可以走 IB 或者 RoCE 。一般而言推理并不需要高带宽，但是需要低延迟的产品。所以如果是 8 台机器最好上 IB 或者 RoCE ，这个比以太网好太多，如果是单机八卡那么其实上 nvlink 意义不大，重点还是要用正经的推理引擎，ollama 的目标是为了能兼容多种硬件。
|
 |
lkc3093Feb 16, 2025 via Android
18
sxm 版本的才能用 nvlink
|
 |
mengbanFeb 17, 2025
19
70B 是指蒸馏版本的 Qwen 吧？ 严格来说 这个和 dsk 相差甚远 真想部署所谓的满血 dsk 起步配置是 16 张 80G 的卡 你这配置估计体验不到 dsk 的能力
|
Select Language