我们用显卡只做大模型的推理，请教： 在这个场景下，以下常见的几个卡哪里可以看到统计对比，包括基本参数的对比，比如显存、架构等，然后比较下性能，最好是能排个序出来，比如 A100 ≈ A800 > A40 > A10 > > L20 > L40 > H800 > V100 > T4 ？（我乱排的，实际的性能顺序是怎样的呢）
This topic created in 859 days ago, the information mentioned may be changed or developed.
 |
sunmacarenasJun 26, 2024
1
这种不就是预算内选最贵的就可以了么
|
 |
dapang1221Jun 26, 2024
2
好像还真没见过计算卡的天梯，可以去 autodl 或者各种云上找一找各种机型的价格，按价格排序试试？
|
 |
paopjianJun 26, 2024
3
主要是还和显存 位宽 是否支持 nvlink 有关系, 推理就看看显存和 FP16/INT8 参数吧,
|
 |
zictosJun 26, 2024
4
刚回错帖了，具体回复在这个帖子的 3 楼：
https://www.v2ex.com/t/1052822 |
 |
ztfotJun 26, 2024 via iPhone
5
|
Select Language