Flide
V 站的朋友们大家好，我们开发了一个面向本地部署的决策模型的推理引擎，相比于 vLLM 和 SGLang 等 LLM 框架，在决策任务上可最高加速 9.5 倍。目前已经支持三十多款 Jev 模型，更多模型还在陆续接入中。
代码已经开源，可直接 pip 下载
pip install flide
文档：https://docs.flide.org
代码：https://github.com/OmniJev/flide
网站：https://flide.org
安装包：https://pypi.org/project/flide/
欢迎大家关注、试用和并提建议！
1
Select Language