AI永不遗忘的记忆术:三层架构
Claude Code + Karpathy's Obsidian = New Meta
本报告由 AI 深度分析生成,基于视频完整字幕。
导读
Jack Roberts 是一位连续创业者,曾创建并出售了一家拥有超过6万客户的科技公司,目前运营多家 AI 自动化企业。在这期视频中,他以 Andrej Karpathy(OpenAI 联合创始人)最近爆火的推文为起点——该推文获得了1800万次观看——深入拆解了如何用 Claude Code + Obsidian 构建一个"自我进化"的 AI 记忆系统。
但 Jack 做的不只是照搬 Karpathy 的方案。他指出了大多数人没有谈论的关键局限:当文件数量从100增长到10000时,这套系统会"吃掉你"。他的核心贡献是提出了一个三层记忆架构——CLAUDE.md(身份)+ Obsidian(推理)+ Pinecone(回忆)——让 AI 既能深度思考,又能精确回忆,还不会因为规模增长而崩溃。
阅读提示: 原视频约23分钟,本报告约4000字,阅读时间约10分钟。
一、问题的起点:AI 的"失忆症"
Karpathy 的推文之所以引爆全网,是因为它精准命中了每个 AI 用户的痛点——上下文丢失(Context Loss) 。
Claude 尽管能力出色,但它本质上是"失忆"的。Jack 给出了一组数据:我们预计 1% 到 10% 的时间里,AI 会"自信地犯错"(confidently incorrect) ——更棘手的是,你不知道它什么时候在自信地犯错,什么时候是真的对了。
对话越长,幻觉概率越高。每次新对话都从零开始,之前建立的所有上下文、偏好、项目细节全部清空。你在教它的东西,它转头就忘。
Karpathy 的解决方案是:让 AI 自己读写一个 Obsidian 笔记库,作为它的"外接大脑"。这个系统随着使用越来越聪明,相当于给 AI 加了"第四层记忆"。
二、Obsidian 记忆系统的核心机制
2.1 三个文件夹 = 整个系统
这套系统的优雅之处在于它的极简结构,没有数据库,一切都是 Markdown 文件:
- Raw(原始资料) :你喂给系统的文章、PDF、网页剪藏、视频字幕等
- Wiki(知识库) :Claude 自动整理、编写和维护的 Markdown 文件集合
- Schema(规则书) :告诉 Claude 如何组织和维护这个 Wiki 的规则文件
Jack 形容这就像"你的私人维基百科"(Personal Wikipedia) ——任何你想记住的东西,都可以通过这个索引让 Claude 按需检索。
2.2 复合增长效应
传统 RAG(检索增强生成)每次查询都是"从头来过"——找到相关片段、拼出答案、然后遗忘。明天问同样的问题,它会重复同样的过程。
但 Obsidian 记忆系统有一个关键差异:每加入一个新资料,它会同时更新 10-15 个相关的 Wiki 页面。这意味着:
- 知识是累积的,不是每次重新检索
- 新资料会自动交叉引用已有知识
- 系统会标记矛盾,自动修正过时的信息
- 一次输入,15个文件更新——一个源头,多处受益
Jack 用了一个很形象的比喻:"Traditional RAG is like asking the same question every time you start from scratch. With this system, it gets smarter with every source that you add."(传统 RAG 就像每次都从头问同一个问题。用这个系统,每加一个资料源它就变聪明一点。)
2.3 实操设置
具体操作非常简单:
- 下载 Obsidian(本质上就是一个 Markdown 文件可视化工具)
- 在你的 IDE(VS Code、Cursor 等)里打开项目文件夹
- 运行 Claude Code,把 Karpathy 的 GitHub 提示词粘贴进去
- Claude 会问你几个问题来了解你要建什么领域的 Wiki
- 开始喂资料——丢 URL、文章、文件进 Raw 文件夹
- Claude 自动消化、整理、建立知识图谱
一个实用小技巧:安装 Obsidian Web Clipper 浏览器插件,可以一键将网页内容剪藏到你的 Raw 文件夹,省去手动复制粘贴的步骤。
三、90% 的人忽略的五大局限
Jack 在视频中花了大量篇幅讲解这套系统的局限,他直言"90% of the coverage that I've seen on this I would describe realistically as node porn"(我看到的90%的报道,说实话就是'节点色情'——好看但没用)。
局限 1:索引膨胀
每个索引条目大约 75 个 token。10 个文件时是 750 token,微不足道。但到了 10,000 个文件,光是让 Claude 读一遍索引就要消耗 750,000 token——还没开始回答你的问题。
不仅消耗 token 配额,还直接吃掉你的 100 万 token 上下文窗口。
局限 2:没有语义搜索
Obsidian 的检索是基于文件名和主题匹配,而不是语义理解。它按"这个文件叫什么"去找,而不是"这段内容和我的问题有多相似"。这意味着,如果你的问题换了个说法,它可能就找不到相关文件。
局限 3:摘要会过时(Back Drift)
Wiki 页面里的摘要是某个时间点的快照。随着新资料不断进入,旧摘要可能已经不准确,但系统不一定能及时发现和修正。
局限 4:上下文窗口加速消耗
因为 Claude 每次查询都需要先读索引、再读相关页面、再做推理——文件越多,每次查询消耗的 token 就越多。Obsidian 的成本随文件数线性增长,而 Pinecone 的成本保持不变。
局限 5:不适合大规模数据集
Jack 的判断:100 个文件时感觉很神奇,10,000 个文件时就会把你"吃活了"。 这套系统是为小到中等规模的数据集设计的,不是用来存储你所有的历史邮件或视频字幕的。
四、三层记忆架构:终极解决方案
这是 Jack 在视频中最有价值的原创贡献。他提出了一个三层架构,让不同类型的记忆住在最适合它的"房间"里:
第一层:CLAUDE.md = 身份(Identity)
"CLAUDE.md is who I am."(CLAUDE.md 就是"我是谁"。)
这是 Claude 每次启动都会读取的文件,包含:
- 你的身份、角色、规则
- 不变的指令和偏好
- 小、稳定、永远优先读取
类比:你的工牌——姓名、职位、基本规则,每天进办公室第一件事刷卡确认身份。
第二层:Obsidian = 推理(Reasoning)
"Obsidian is how I think."(Obsidian 是"我如何思考"。)
适合存放:
- 活跃项目的决策日志
- 想法花园(Idea Gardens)
- 需要结构化推理的内容——笔记之间有链接关系,可以回答"因为客户5的反馈,我修改了哪个假设"这样的问题
类比:你的工作台——正在做的项目摆在上面,便签和参考资料用线连在一起,随时推理和调整。
第三层:Pinecone = 回忆(Recall)
"Pinecone remembers you."(Pinecone 帮你记住一切。)
适合存放:
- YouTube 视频字幕
- 研究存档、书籍内容
- 历史邮件、过去的对话记录
- 任何需要精确召回但不会再改变的内容
类比:你的仓库——所有大件物品、历史档案都在这里,需要的时候精确取出,但平时不会占用工作台空间。
为什么 Pinecone 更适合大规模数据?
Jack 解释了底层物理学的差异:
- Obsidian:Claude 必须亲自读完整个文件来理解它,输入和输出都消耗 token → 成本随规模线性增长
- Pinecone:用一个嵌入模型(Embedding Model)处理文本,成本约为 Claude 的 1/100;查询时用近似最近邻搜索(ANN),直接返回最相关的段落 → 成本基本恒定
关键洞察:Obsidian 是"推理"工具,不是"记忆"工具。大多数人搞混了这一点。
五、Notebook LM:第四块拼图
Jack 还提到了 Google 的 Notebook LM 作为补充——当你需要对某个新领域做深度研究时,可以让 Notebook LM 吃下 200 个资料源进行分析,然后把结果带回你的记忆系统。
四个系统的协作关系:
- CLAUDE.md → 身份(我是谁)
- Obsidian → 推理(我怎么想)
- Pinecone → 回忆(我说过什么/读过什么)
- Notebook LM → 研究(我需要学什么新东西)
六、Graph View 的真相
很多人被 Obsidian 的图谱视图(Graph View)炫目的节点网络所吸引。Jack 直接泼了一盆冷水:
"I haven't seen anyone make any informed decisions off it. I think it's just something that looks cool."(我没见过谁真的靠图谱视图做出过有效决策。它就是好看而已。)
他认为节点之间的关系确实重要,但视觉化展示的实际决策价值很低。真正重要的是底层的链接结构,而不是那个炫酷的图。
七、Linting:系统的自我维护
Karpathy 在原始方案中提到了一个被很多人忽略的概念——Linting(健康检查) 。
每隔几周,你应该让 Claude 对 Wiki 进行一次全面检查:
- 找出矛盾的信息
- 清理孤儿页面(没有任何链接指向的页面)
- 更新过时的声明
- 做人类"自然会忘记"的维护工作
这相当于给你的知识库做定期"体检",防止信息腐烂(Information Decay)。
金句收录
-
"Claude has amnesia for all its wonderful perks."(Claude 有失忆症,尽管它有一切出色的能力。)
-
"90% of the coverage I've seen on this I would describe realistically as node porn."(我看到的 90% 报道,说实话就是"节点色情"。)
-
"It can feel magical at 100 but eat you alive at 10,000."(100个文件时感觉像魔法,10000个文件时它会把你吃活了。)
-
"CLAUDE.md is who I am. Pinecone is what I've said. Obsidian is how I think."(CLAUDE.md 是我的身份。Pinecone 是我说过的话。Obsidian 是我的思考方式。)
-
"The magic word for Obsidian is reasoning, not memory."(Obsidian 的关键词是"推理",不是"记忆"。)
-
"One source in, 15 files updated in a single pass."(一个资料源进去,一次性更新15个文件。)
-
"Obsidian scales linearly. Pinecone stays flat."(Obsidian 的成本线性增长。Pinecone 保持不变。)
-
"Think of them as individual mini Wikipedia bases that you can call upon and question for different topics."(把它们想象成一个个迷你维基百科,你可以随时调用和提问。)
-
"Without a long-term memory system, we're leaving value on the table."(没有长期记忆系统,我们就是在白白浪费价值。)
-
"You have a search engine. His name is Claude."(你有一个搜索引擎,他的名字叫 Claude。)
时间线索引
- [00:00] 开篇:如果 Claude 能永远记住一切会怎样?
- [00:30] 自我介绍:Jack Roberts 的创业背景
- [00:43] Karpathy 的推文为何获得1800万次观看
- [01:32] 核心问题:AI 的上下文丢失和"自信地犯错"
- [02:48] Karpathy 方案拆解:LLM Wiki 的四五个要点
- [03:34] Obsidian 是什么:本质上就是 Markdown 文件可视化工具
- [05:00] 动手设置:下载 Obsidian + Claude Code 初始化
- [06:20] 传统 RAG vs LLM Wiki:每次从头 vs 知识累积
- [07:04] 复合增长效应:一个资料源更新15个页面
- [07:40] 三层架构:Raw + Wiki + Schema
- [08:37] 应用场景:书籍助手、深度研究、团队Wiki、个人生活Wiki
- [08:44] 四条实操规则:一个领域、前期投入、双屏运行、定期清理
- [10:01] 实战演示:构建"个人操作系统"Wiki
- [11:00] Obsidian Web Clipper:一键网页剪藏到 Raw 文件夹
- [13:00] 演示效果:自动抓取文章、保存图片、建立知识图谱
- [14:00] 直接用 Claude 当搜索引擎,不需要花式界面
- [15:07] 系统局限:五个大多数人没谈论的问题
- [15:36] 局限详解:索引膨胀、无语义搜索、摘要过时、窗口消耗、规模上限
- [17:00] Obsidian vs Pinecone 成本曲线对比
- [17:10] YouTube 字幕等大规模数据应放在 Pinecone
- [18:15] 两套系统的底层物理学差异
- [19:50] 三层记忆模型:身份 + 推理 + 回忆
- [20:00] CLAUDE.md = 身份、Obsidian = 推理、Pinecone = 回忆
- [21:00] Notebook LM 作为第四层:深度研究工具
- [22:00] 实际应用:社区搜索引擎、每日自动字幕抓取
- [23:00] 总结:理解每个系统的定位,才能发挥最大价值
评论
还没有评论,来第一个留言吧 ✨