在自己本地训练出一个 bert 预测模型，放在阿里云服务器上什么配置比较好？
尝试过只带 CPU 的服务器，用的 16 核 16g 计算型服务器，压测只有 4.1TPS，效果不好。是不是只能上阿里云 gpu 服务器？
但是在本地推理过程只用 CPU 压测能达到 60TPS，本地使用 6 核 32g 的 cpu 。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2200 days ago, the information mentioned may be changed or developed.
Supplement 1 · Oct 27, 2020
原因找到了，自己在本地也是用 gpu 运行，cpu 代码没有失效，没有用 cpu 推理，如果在阿里云部署 bert 跑出来的模型，还是建议用 gpu 的服务器，cpu 的压测最多也就几到十几 TPS 。
 |
1
12 层的感觉 M40 就可以。
|
1 |
2
@eternitym31 可以用 CPU 的机器吗？
|
 |
yzc27Oct 26, 2020 via iPhone
3
现在 Colab 试试？
|
 |
4
Mobilebert 试试
|
|
5
@skyfollow 看模型大小，12 层的模型不推荐用 CPU，除非是离线系统；以我以前上线的模型来看 3 层 768-hidden size 的模型至强单核只有 18qps，延迟接近 80ms ；如果能压缩 hidden size 可以大大减少推理时间（前提句子长度不要太长，一般小于 128 ）
|
 |
zbl430Oct 27, 2020
6
distilbert 或者 转 tensorRT engine
这些云服务带 GPU 的机器应该都很贵吧，按小时收费？ |
 |
shm7Oct 27, 2020
7
一般用公司的 gpu 机器部署。云服务的 GPU 机器我之前看过 azure 的，贵的睁不开眼。
PS: bert 用 cpu 跑基本跑不动的，楼上说的 tensorrt/openvino 等 c++库可以试试看看能不能提高 tqs |
 |
shikimoonOct 27, 2020
8
不做任何优化的话，2080ti 或者 t4 跑 bert 大概是每秒 15-20 条文本
|
 |
jimmyismagicOct 27, 2020
9
搞深度学习的学生太难了
|
Select Language