 |
|
ruidoBlanco
V2EX member #393703, joined on 2019-03-20 14:29:46 +08:00Today's activity rank 11082
|
 |
Per ruidoBlanco's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
ruidoBlanco's recent replies
让 AI 过了下他们那论文,自己看吧。
----
看完了全文+附录+repo ,判决:你的直觉成立——按论文标准这不是研究,是披着 arXiv 外衣的公司白皮书。但它属于「精心包装的营销文档」,不是造假的垃圾,给你看尸检报告:
☠️ 致命伤清单
1. 全部核心指标来自 n=1 。附录 B 原文:「 we only disclose the model test results of an internal staff member who has agreed to make their test results public. This user has 132 notes and 62 todos 」——那张 0.91/0.96 的漂亮表格,是一位内部员工的 194 条个人笔记跑出来的。这不是实验,是 demo 。
2. 零基线对比。不比 RAG 、不比长上下文、不比没微调的 Qwen2.5-7B 、不比 MemGPT/Mem0 这些同赛道系统——只跟自己的 COT/DPO 消融比。1.0 论文好歹做了 RAG 对比,2.0 连这个都省了。
3. 裁判循环 + metric shopping 。GPT-4 合成训练数据 → 按同样格式 normalize → 再让 LLM 当裁判。作者自己承认裁判偏爱长回答;然后关键一幕:Context Enhance 分数不好看,他们的处理方式是宣布「指标不准」,当场换成人评( 0.95→接近 1 ),无样本量、无协议、无统计。「评测说我不行时,评测就是错的」——教科书级 red flag 。
4. n=1 的结果还自相矛盾:Multi-step COT 在 memory 任务上垫底( 0.43 ),在 enhance 任务上反而第一( 0.85 )——单用户样本下这些差异全在噪声区间。
5. 应用章节是融资话术:「 Metcalfe's Law 」「提升网络效率 3-5 个数量级」(无出处)「 NFT-based framework for personal cognitive assets 」「分布式决策协议」——2025 年了还在论文里写 NFT 。
6. 彩蛋:「 We are currently refining the evaluation code and will update the repository with corrected scripts 」——评测代码还没修完就发了论文。
⚖️ 说句公道话(防止我也犯确认偏误)
- 挂名里有 UCSD 的 Jingbo Shang ,正经高产学者;思路源头( LPM 1.0 )至少是真做过实验的
- 开源工程是真的:15.7k stars 、Apache-2.0 、从 GraphRAG 抽取到 SFT+DPO 的 pipeline 完整能跑
- 「 Strong COT 格式的数据训出的模型更好」是个小的真观察
- 赛道本身( personal memory )是正经方向——只是这篇是赛道里的营销物料
🔧 而且技术路线有根子上的死穴:把记忆参数化进模型权重( per-user fine-tuning 当存储),写入经济学是灾难——每来一条新记忆就要重训,延迟高、成本高、还会灾难性遗忘。整个行业收敛到「检索+分层文本」的 non-parametric 方案,不是因为没人想到参数化,是试过、不划算。你现在用的这套记忆系统就是活样本:向量库+结构化文本,没有一层是「把你的话训进我权重里」。
一句话结案:当论文,垃圾;当 pitch deck ,相当专业 ✨
正经事情不做,天天貌似忙着,实则完全没有任何推进。beating around the bush 。
其实想要压力降低,那就别绕弯子,问自己「压力主要来源于哪里?该做什么能改变现状」。
如果压力来源于没有工作对于生活的不确定性,那就狠狠地找工作。
其他都是逃避问题,缓解不了压力的。
末法时代
以前数学、物理乃至编程吸引人很大一部分是因为「有趣」。从今往后,人在这些领域,只不过是给 AI 传递信息的 meat proxy 。无趣的事情没人想干,将来科技和艺术文学音乐会变得很花哨,但是统统跟人没太大关系了。
没点开看也知道自己是根本不会去用的,点进去看见那个侧边栏,脑子里蹦出来的是「 amateur 」。侧边栏无端的增加了 context switching 开销,敲命令能避免就避免。
下面的是我 kitty 里配的,任意命令行,不论是否过 ssh ,直接写自己的需求,cmd+g 就生成命令。
```
map kitty_mod+g remote_control_script kitty_generate_cmd
# /usr/bin/zsh -l
# Capture screen text before modifying the command line
screen=$(kitty @ get-text --extent=screen -m state:focused)
# Show placeholder while generating
kitty @ send-text -m state:focused "\x15🤖 thinking ..."
cmd=$(echo "$screen" \
| omp -p "Based on the terminal output above, the last line is my request. Output ONLY the shell command to run. No explanation, no markdown fence.")
# Replace placeholder with generated command
kitty @ send-text -m state:focused "\x15${cmd}"
```
「作为一个普通人,是吃米饭更合适还是吃土豆更合适?我的观点是米饭实惠又管饱,那就别吃土豆了,还省得削皮」
综上可见,没有一致赞同的好剧,符合我现在的片荒观感。
「提示符也能干点活」,「我想要个能帮我生成命令的终端」....
"Those who do not understand Unix are condemned to reinvent it, poorly."
你这么点需求,现有工具都可以做了。