osilinka
V2EX  ›  Local LLM

本地部署的大模型 Edge0

  •  
  •   osilinka · 1 day ago · 1110 views

    https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.

    感觉这个,加上一些订阅的模型 可以省很多成本啊

    6 replies  •  2026-11-20 17:33:03 +08:00
    hanguofu
    hanguofu
    18h 51m ago via Android
    1
    好消息!需要多大显卡?
    osilinka
    osilinka
    OP
    18h 19m ago
    2
    16 到 24 的都可以
    当然越高越好
    R1ta
    R1ta
    17h 52m ago
    3
    可以多并行吗?
    sentinelK
    sentinelK
    16h 53m ago
    4
    分和 QFN 基本一致,性能也基本一致,参数也差不了多少。

    这感觉好迷。不知道推理架构是否和 strata 一致?conversation-cache 怎么处理的?热缓存、温缓存和 strata 的处理有差异吗,我看作者没有仔细陈述。
    jinsongzhaocn
    jinsongzhaocn
    11h 10m ago
    5
    这就放弃 30,40 系列了
    jinsongzhaocn
    jinsongzhaocn
    9h 45m ago
    6
    @R1ta 本地部署共享缓存的并发,一样是平均分配大小,也会出现输出截断问题。每并发单独开缓存,按照 pi 默认 10 并发,strata 需要消耗 5GB 以上的显存或内存,llama.cpp 就别想了,需要的显存估计几个 GB 一个并发
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   964 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:18 · PVG 03:18 · LAX 11:18 · JFK 14:18
    ♥ Do have faith in what you're doing.