V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  wwhc  ›  全部回复第 1 页 / 共 30 页
回复总数  600
1  2  3  4  5  6  7  8  9  10 ... 30  
❮ ❯
17 小时 30 分钟前
回复了 cjkcjkcjk 创建的主题 › 程序员 › 本地机器能跑 DeepSeek v4.1flash 或者 Qwen3.8 得多少钱?
三块/四块 3060 12gb 就够跑 Qwen3.8 27B Q5/Q6 200k+上下文了。但你需要能找到支持 3/4 个至少 pci-e x8 的主板
7 天前
回复了 linzhai 创建的主题 › 问与答 › 求推荐扫地机
追觅看起来真的不行了,石头的主攻对象已经对准科沃斯了,几个月前看到的类似推广帖还是追着追觅打的,可怜的科沃斯,难道真的没钱养网军?
大家可以再等等,过几个星期,等补丁全落地(MTP/ GPU LRU 缓存的补丁已经 merged),llama.cpp 的性能就追的差不多了,最重要的 llama.cpp 是全量化支持,输出质量远胜 Strata 。如果显存不是太紧缺(多于 16GB),现在 llama.cpp 的速度已经不比 Strata 差太多,而输出质量更好
9 天前
回复了 xgq89757 创建的主题 › 问与答 › 还有人折腾双路主机吗?
x79 开虚拟机还有点意义,DDR3 内存虽然也大涨,但仍然算是很便宜。x99 就别想了,前段时间 DDR4 内存比低峰期贵了近 10 倍
建议 llama.cpp 上 Qwen3.8 27B Q4 。建议暂时不要尝试 Strata ,这个东西似乎买了推广,作为一个开源推理系统,推广力度如此之大,原因不明,等情况明朗后再尝试,上 Qwen3.8 flash next 用 llama.cpp 也没有问题
很简单,装个室外天线就行了
8 月 31 日
回复了 Need4more 创建的主题 › Local LLM › mac 本地部署 llm 不是最佳选择
云 API 的一个致命问题是稳定性及可靠性无法保证,保不准什么时候就降智了,根据这个 API 之前智力水准订制的产品的产出将可能出现不可预知的变化;或者如果企业订购的某一个 API 因为厂商模型升级而废弃,企业根据这个 API 订制的产品将可能需要根据新 API 中的模型的不同特性而重构。本地部署完全没有这个问题
8 月 29 日
回复了 andie 创建的主题 › 程序员 › 想看看各位使用 Pi 的姿势
用 Pi 写个 web 终端很简单吧
Deepseek v4 flash 能用的起点是两块 RTX PRO 6000
建议自建本地 llama.cpp 服务器运行 Deepseek/Qwen ,绝对不会发生降智的情况
8 月 23 日
回复了 luckyjoe 创建的主题 › 问与答 › 扫拖机器人 哪款比较好?
看来还是石头老当益壮,追觅在营销上已经望风而逃。科沃斯是把钱都花在研发上,没钱请网军?
8 月 22 日
回复了 luckyjoe 创建的主题 › 问与答 › 扫拖机器人 哪款比较好?
科沃斯好像是老大?销量排第一,但原先石头的网军最多,追觅在营销方面是后起之秀,去年起超越石头了,可惜最近出了严重的负面新闻
@clemente 请看我的上条回复
基本上主流开源 agent 都适配 llama.cpp 了。pi+llama.cpp 很好用
单卡 24GB GPU + llama.cpp + Qwen3.8-27B-UD-Q4_K_XL.gguf 可以上到 100K 的上下文,推理质量优于同 4 位量化的 vLLM 配置
建议 Linux + 32GB VRAM GPU + Qwen3.8-27B-UD-Q5_K_XL.gguf + llama.cpp ,可以上到 200k 的上下文。不建议用 vllm ,只能上到 4 位量化,推理质量显著劣于 llama.cpp 的 Q5 量化
8 月 18 日
回复了 1258 创建的主题 › 程序员 › qwen3.8 27B 被低估了
在我这测试 Qwen3.8 27B 智商比 DeepSeek v4 flash 0731 高,DeepSeek v4 flash 0731 的智力水平在 Qwen3.8 27B 和 Qwen3.6 27B/35B 之间
8 月 14 日
回复了 majuzhang 创建的主题 › Local LLM › 公司本地部署开源模型
1 到 2 张 RTX 6000 + Qwen3.6/3.8 27B + llama.cpp 应该够你们公司用了,不建议用 vLLM ,推理速度可能快些,但输出质量不如 llama.cpp
1  2  3  4  5  6  7  8  9  10 ... 30  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   998 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 22:10 · PVG 06:10 · LAX 15:10 · JFK 18:10
♥ Do have faith in what you're doing.