爱意满满的作品展示区。
JianyingHuang

开源一个 Agent 长期记忆系统:262k 多跳 48.3%,高于 CAR 论文报告的 41%

  •  
  •   JianyingHuang ·
    jing-ying-dev · 15 mins ago · 19 views

    项目地址:https://github.com/jing-ying-dev/whale-ying-memory

    大家好,我今年 21 岁,是一本中医学大三学生,没有计算机或 AI 专业背景。2026 年 10 月 14 日开始研究 API,10 月 22 日转向 Agent 长期记忆,11 月 18–19 日跑出了现在这组结果。

    项目叫 WhaleYing Memory,Apache-2.0 开源。Whale 一方面来自 DeepSeek 的鲸鱼形象,一方面是“深海记忆”的意象;Ying 是我的名字。

    我想解决的不是单纯“从文本块里搜相似内容”,而是三个更具体的问题:

    同一事实出现多个版本时,Agent 能不能知道哪个已经被取代;

    长上下文里,能不能避免检索到旧值;

    一个答案需要串联多个事实时,能不能逐跳找齐证据再回答。

    全部开发、抽取、检索和测评都在一台无独显轻薄本上完成:Windows 11、i5-13420H、16GB 内存。

    先放结果

    指标是 MemoryAgentBench · Conflict_Resolution 的 substring exact match,不是 LLM judge;这些 MemoryAgentBench 跑次的作答 temperature 为 0.7。

    单跳(FactConsolidation-SH)

    • 262k:93.2%(gpt-4o-mini,5 次均值)——论文基线 GPT-4o 60 · BM25 56 · gpt-4o-mini 45
    • 262k:93.0%(DeepSeek,关思考,单次)
    • 262k:92.0%(本地 Qwen2.5-Coder 7B,单次)
    • 6k:98%(DeepSeek,关思考,单次)

    多跳(FactConsolidation-MH)

    • 262k:48.3%(DeepSeek,关思考,3 次均值)——CAR 对照 BM25 3 · HippoRAG-v2 5 · Mem0 2 · MemGPT 3 · CAR(gpt-4o) 41
    • 262k:25.3%(gpt-4o-mini,3 次均值)——CAR(gpt-4o-mini) 27
    • 6k:66% substring / 65% exact(DeepSeek,关思考,单次)

    这里最值得注意的是:单跳换三个作答模型都在 92%–93%,但多跳换作答模型会从 25.3% 变成 48.3%。我的判断是,单跳的主要瓶颈在“记忆有没有找对”,多跳还额外依赖作答模型组合证据的能力。

    和直接读全文对照

    同为 262k:

    单跳:DeepSeek 直接读全文 64% → WhaleYing + gpt-4o-mini 93.2%,+29pp;

    多跳:DeepSeek 直接读全文 5.3% → WhaleYing + DeepSeek 48.3%,+43pp。

    这也是我认为记忆系统在长上下文里不只是省 token 的原因:它把版本关系和证据链显式整理出来了。

    系统怎么做

    整个流程是:抽取 → 冲突消解 → 检索 → 作答。

    1 . 抽取成四表

    LLM 将长文或对话转换为四类结构化记录:

    facts:断言,例如“X 是 Y”;

    cards:事件,即发生了什么;

    metrics:带数值和单位的指标;

    identities:实体身份。

    抽取后有确定性校验,引文必须是原文子串。给不出原文依据的记录不能直接混进最终数据。

    2 . 用 supersession 处理新旧版本

    同一主体出现多个版本时,系统按序号建立取代关系,旧值用 invalidated_at 标记;fold 时保留最新版本。

    普通 RAG 更像是“搜到哪些块就拼哪些块”,这里额外记录“谁取代了谁”。这是 Conflict_Resolution 分数的核心来源。

    3 . 混合检索

    检索组合多字段 BM25、all-MiniLM-L6-v2 向量和 RRF。整库向量只构建一次并缓存,在测得的缓存实验中,检索提速约 1,340×。

    4 . 多跳迭代

    多跳问题采用 Self-Ask 式流程:拆成单跳子问题,逐跳检索、拼出证据链,再生成最终答案。通过 WHALE_YING_ITERATIVE=1 开启,默认是单跳路径。

    LoCoMo:当前边界

    我也跑了 LoCoMo 官方 F1 字符串匹配,共 1,986 题,DeepSeek 作答,temperature=0、关思考:

    • 多跳(282 题):无折叠 19.9% / 完全配置 20.4%
    • 单跳(321 题):28.3% / 30.1%
    • 时间(96 题):13.9% / 15.3%
    • 开放域(841 题):43.9% / 38.9%
    • 对抗/弃权(446 题):53.4% / 50.4%
    • 总体 F1(1,986 题):38.6%(无折叠)/ 36.3%(完全配置)

    这个结果说明当前 fold 有很明确的任务边界:它为“现在是什么”保留最新值,但 LoCoMo 经常问“过去发生过什么”。把旧版本折掉,对这类时间型问题会反扣分,所以无折叠总体更高。

    时间类只有 13.9%–15.3%,相对时间解析是当前最弱的一环。下一步不是隐藏它,而是做“按问题选择当前状态或历史状态”,同时加强时间归一化。

    实际成本与速度

    一次 262k 完整测评中:

    抽取:1.1M 字符 → 67 块 → 870 片,DeepSeek-flash 8 并发约 11.5 分钟;

    作答:100 题单跳约 4 分钟;100 题多跳约 15–25 分钟;

    输入 token:抽取约 300 万;100 题作答约 70 万。

    从开始研究 API 到 2026 年 11 月 20 日,DeepSeek 开放平台累计支出 ¥2,130.69,共 130,562 次请求。这个数字包括大量开发和迭代,不是单次 benchmark 的价格。

    接下来想做什么

    历史状态检索:根据问题决定“取最新”还是“回看旧版本”;

    更强的时间解析:补上 LoCoMo 暴露出的相对时间短板;

    让本地小模型也能有高水平记忆:系统负责抽取、折叠和检索,小模型依据证据回答;

    高隐私部署:一台本地服务器负责抽取,多个低配置端负责检索和作答;

    更易复现和接入:继续整理独立 API、评测脚本和文档。

    我开源它不是因为已经做完,而是希望把已经投入的东西换成继续开发所需的算力、协作和反馈。

    如果你在做 Agent、RAG、长期记忆、冲突消解或多跳检索,欢迎直接看代码和原始结果,也欢迎指出设计问题。

    基线来源:

    MemoryAgentBench(单跳):https://arxiv.org/abs/2507.05257

    CAR(多跳):https://arxiv.org/abs/2606.01435

    LoCoMo:ACL 2024

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1138 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:14 · PVG 02:14 · LAX 10:14 · JFK 13:14
    ♥ Do have faith in what you're doing.