感觉能够理解一点儿东西了
4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.
4bit 模型内存占用也很香.
本来双卡不一定行,
现在单卡有富裕.
This topic created in 1344 days ago, the information mentioned may be changed or developed.
 |
tool2dMar 12, 2023 via Android
1
我也试了一下 4bit 量化模型，效果很差。
|
 |
ltkunMar 12, 2023 via Android
2
24g 的是什么卡
|
 |
kernelpanicMar 12, 2023
4
咋跑起来的，我用的 llama.cpp 好像不支持中文。。。
|
 |
OLDPANMar 13, 2023
5
测试了下 llama 能不能写代码： https://mp.weixin.qq.com/s/HGxEhDMQoVa1pkz76Qp6Yw
|
Select Language