UMA 统一内存,GPU 直接访问共享内存池,硬件层面消除显式拷贝,不用软件层手动搬数据。
独立显卡 VRAM + 系统内存分层卸载,模型权重、KV Cache 按需在显存和内存之间动态搬运。未来只会留在发烧友、工作站、专业推理场景
UMA 统一内存,GPU 直接访问共享内存池,硬件层面消除显式拷贝,不用软件层手动搬数据。
独立显卡 VRAM + 系统内存分层卸载,模型权重、KV Cache 按需在显存和内存之间动态搬运。未来只会留在发烧友、工作站、专业推理场景
1
LittleYangYang 10h 11m ago 内存带宽实在是太低了
|
2
yh7gdiaYW 10h 5m ago
移动端很快就会变成这样,M 系列现在就是,但 PC 端搞成这样的话 DIY 就死透了
话又说回来,普通用户要本地大模型干啥? |
3
xtreme1 10h 3m ago
UMA 是错的, 快慢层才是对的
|
4
uni 9h 46m ago
等着吧,我们在搞近存计算,明年给你看看什么才叫真正的未来
|
8
jacketma 8h 58m ago
上次看到一个视频分析,主要是考虑到散热和成本问题,CPU 日常消费者 ddr5/ddr6 多通道就足够了
GPU 对内存的性能要求高很多,然后散热和成本全上来了,全都变成了 HBM 普通人买不起啦 |
9
strobber16 8h 50m ago via Android
感觉不如微内核
|
10
levn 8h 12m ago
Mac 如果能插 cuda 设备你不要吗?
|
11
tcchen PRO 买了 ai max 395 128G ,坐等升值
|
12
privater 7h 36m ago
用脑子想一下:
飞机很快,但是人人都出勤靠飞机,可能不。 你觉得 UMA 好,不过是 Apple 靠着手机养活的供应链和制造节点反哺自己的 PC 平台,又遇到了大模型硬控内存容量。金子一样贵的苹果内存比较涨价后的显卡,计算卡突然显示出来那么一丁点性价比。但是你不能用 M5 Ultra 这种 4 个芯粒的怪物去说 UMA 实现 1.2G 带宽容易,更传统的 GPU 才是并行内存控制器的高手。 容量和速度,永远是天平的两端,你能做的只是端水,然后等时代的红利。 端得好,人家称你架构是天才;端的不好的,卖厂卖专利,整个组端掉的 Optane 就是前车之鉴 |
14
sentinelK 6h 23m ago
楼主这是怕手里的统一内存设备被 strata 冲烂,出来唱多吗 XDD
|
15
ScforeverShawn 5h 42m ago
@privater 那作为个人来说,要不要储备一点算力和内存呢?
|
16
6AbK2rj2vLBD 5h 21m ago
统一内存发展前途有限
|
17
Sezxy 4h 50m ago
集显能力弱的话,统一内存就是多余的
|
18
noErr 4h 47m ago
不是统一内存的问题,是内存带宽的问题。
|