为什么硅谷开始重新定义「AI 记忆」｜S10E20

概览

本期围绕“端侧 AI 助手为什么需要记忆”展开。主持人从英伟达 RTX Spark、苹果端侧 AI 加速等硬件变化切入，提出未来个人 AI 助手不仅要聪明，还要能记住用户是谁、过去做过什么、说过什么。

嘉宾康宏文 Henry 是 Clipto AI 创始人兼 CEO。他认为云端大模型更适合承载世界通识，而个人知识、隐私数据和长期经历需要一个独立的 memory layer，并且更适合在端侧构建。

讨论从产品形态延伸到技术架构、端云协同、现有 memory 方案的局限、创业公司与大厂的生态位差异。核心结论是：数据本身不等于记忆，只有被理解、结构化、可检索、可复用的数据，才可能成为 AI agent 真正可调用的个人记忆。

分段落总结

[00:00] 端侧 AI 助手的记忆问题

[事实] 主持人开场提到英伟达 RTX Spark 和苹果 M5 系列都在推动端侧 AI 算力提升，未来每个人拥有端侧 AI 助理正在成为共识。 [事实] 节目提出核心难题：AI 助理如何既记住用户是谁，又能记住用户最近三年甚至五年做过、说过什么。 [事实] 嘉宾康宏文 Henry 是 Clipto AI 创始人兼 CEO，正在做一个端侧运行的多模态 AI 产品，目标是读懂用户的音视频、图片和文档，并让 AI 助手拥有记忆。 [推测] 本期将“记忆”设定为个人 AI 从工具走向助手的关键基础设施。

[02:04] RTX Spark 的意义：AI 时代的 PC 化

[事实] Henry 将 RTX Spark 类比为 AI 时代的个人电脑化事件，认为它类似 PC 时代 Intel 出现带来的算力平权。 [事实] 他把当前云端大模型服务类比为大型机时代，用户需要远程访问集中式算力。 [事实] 他认为 RTX Spark 的关键突破在于算力和内存，能跑更大模型，也能容纳更多参数。 [推测] Henry 认为端侧 AI 硬件会让“个人 AI”从依赖云端服务转向更贴近个人设备和个人数据。

[04:03] 云端大模型与个人记忆的分工

[事实] Henry 认为 OpenAI 等大模型更适合存储世界知识、通识和共识，因为这些模型消耗了大量 GPU 资源训练出来。 [事实] 他用最大似然估计和“最大公约数”来形容大模型对世界公共知识的压缩。 [事实] 他认为大模型不适合用巨大的参数量去承载每个人的私人知识和个人记忆。 [推测] 这一判断把 AI 生态拆成了两类角色：云端提供通用智能，端侧或独立 memory layer 提供个人上下文。

[06:02] 为什么个人记忆不天然适合上云

[事实] Henry 观察到，用户往往把不重要的东西放到网上，而真正珍贵、私密、宝贵的内容更愿意放在个人可控的位置。 [事实] 主持人补充说，涉及隐私和安全风险的资料，用户确实不太会轻易全部上传。 [事实] Henry 还指出，上云存在网络、服务可访问性、存储成本、token 和算力成本等门槛。 [推测] 端侧处理的价值不只是隐私，也包括减少用户在上传、授权和付费上的决策负担。

[08:39] Clipto 的产品定位

[事实] Henry 介绍 Clipto 是运行在用户本地 PC 上的应用，可以 100% 本地运行。 [事实] 用户可以授权 Clipto 访问本地硬盘、外接硬盘，甚至网盘数据。 [事实] Clipto 底层包含音频、视频、CV、人脸、OCR 等多种模型，用来分析内容并转化为结构化知识单元。 [事实] Clipto 会在这些知识单元之上构建一个“时空对齐”的知识记忆系统。 [推测] Clipto 的核心不是单一搜索工具，而是把本地多模态资料转化为可被 AI 调用的个人记忆底座。

[11:02] 记忆的查找、生成与端云协同

[事实] Henry 说，用户可以在 Clipto 中查找和回溯记忆，例如几年后回看某次访谈中的观点。 [事实] 在查找之外，Clipto 还可以基于已有记忆做二次生成和加工，例如总结共识、提取预测，或把旧记忆作为 agent 对话上下文。 [事实] Clipto 除了 Mac 和 Windows 本地端，也有 web 端、云端和手机端，用于协同维护统一记忆。 [事实] 云端部分主要用于记忆协作、分享，以及在本地算力不足时提供端云混合算力。 [推测] 这个产品并不是完全排斥云，而是主张“本地优先、云端补充”。

[13:24] 端侧 memory 系统的工程难度

[事实] Henry 认为，构建 memory 系统不能简单理解为下载 Ollama 再放一个模型进去。 [事实] 云端开发通常可以假设服务器资源由模型独占，但端侧设备配置差异大，并且同时运行多个应用。 [事实] 端侧系统需要实时检测设备资源、当前前台应用、可调度算力，并智能安排模型和任务。 [事实] 他强调系统既要高效处理任务，又要尊重和保障用户体验。 [推测] 端侧 memory 的难点很大一部分在于资源调度和体验稳定性，而不是单纯模型能力。

[16:08] 多模态 NotebookLM 与本地素材库

[事实] 主持人体验后将 Clipto 类比为“多模态 NotebookLM”，因为它能用文本查询本地音视频素材。 [事实] 主持人举例说，询问马斯克或 SpaceX 相关内容时，系统可以从视频素材中抓取相关片段并总结。 [事实] Henry 认可这种类比，也提到对视频创作者而言，Clipto 可以像服务本地素材的 Google Photos。 [推测] 这说明 Clipto 的早期可理解场景是本地素材检索和内容理解，而不是抽象的“终身记忆”概念。

[17:53] 现有 AI 记忆方案的局限

[事实] 节目提到当前记忆方案包括 context window、RAG、LoRA，以及把用户数据训练进模型参数的方式。 [事实] Henry 认为，行业已经意识到单有模型智力是不够的，用户还需要个性化知识和记忆。 [事实] 他认为 context window 无法容纳 TB 级个人数据，LoRA 等方式也更像是让模型记住概率化偏好。 [事实] 他举例说，模型可能知道“Henry 是四川人、喜欢吃辣”，但难以精确定位三年前某次访谈中某个时间点说过什么。 [推测] Henry 对“记忆”的定义更偏向精确事实回溯，而不是模型风格或偏好的个性化。

[22:09] 数据不等于记忆

[事实] 主持人质疑普通人是否真的需要一生记忆，Henry 回应说已有用户希望把公司过去五年的音视频记录放进 Clipto 留存和复用。 [事实] Henry 提出“data rich but memory poor”，意思是用户拥有大量数据，却缺少可用的记忆。 [事实] 他认为，硬盘上的裸数据如果没有被结构化、没有被 memory 化，就很难二次复用。 [事实] Henry 明确说，只有可查找、可复用、可执行的内容才叫记忆。 [推测] 本期最重要的概念转折是：memory layer 的任务不是存储更多文件，而是让文件变成可调用的知识资产。

[24:31] 持续学习与参数化记忆

[事实] 主持人提到硅谷一些公司在做持续学习，把提炼出的信息重新训练进模型参数里，让模型获得新记忆。 [事实] Henry 认为这种方式仍没有跳出最大公约数和大模型 MLE 的技术路线。 [事实] 他认为这类方法本质上更多是让模型具备一定个性化，而不是完整生命周期的个人记忆。 [推测] Henry 更偏好外部、结构化、可精确检索的 memory layer，而不是把所有记忆压缩进模型参数。

[25:55] 为什么早期“第二大脑”没有成功

[事实] 主持人提到 Evernote 等笔记工具曾经也想打造第二大脑。 [事实] Henry 认为失败原因很多，但明显问题包括当时 AI 能力和算力不足，难以支撑多模态分析。 [事实] 他认为那些产品基本仍停留在文本形态，无法无门槛地接入用户全部数据。 [事实] 他还指出，如果要做个人记忆系统，天然需要在端上处理，而当时端侧算力几乎不够。 [推测] 在 Henry 的叙述中，第二大脑不是需求错了，而是当时缺少端侧 AI、多模态理解和足够算力。

[27:30] Mem0 与云端 memory layer

[事实] 主持人提到 Mem0 是 YC 公司，近期融资，并且也在做 memory layer。 [事实] Henry 认为 Mem0 更多是在云上给依赖大模型服务的公司提供 memory 能力。 [事实] 他认为 Mem0 印证了 memory 方向的重要性，但其工作范围主要是云端服务。 [事实] Henry 认为，云端 memory layer 与端侧 memory layer 的困难度完全不同，端侧要面对更多设备、架构和调度问题。 [推测] Henry 一方面把 Mem0 视为市场验证，另一方面强调 Clipto 的差异化在端侧和完整系统复杂度。

[29:40] 人类记忆启发与突破生物限制

[事实] 主持人提到人的记忆并不是什么都记得，例如可能记得父亲手机号，却忘记上周酒店门牌号。 [事实] Henry 回应说，系统设计上可以参考热记忆区和冷记忆区，让近期或高频记忆更快被调用。 [事实] 他同时认为，技术的目标之一是突破生物极限，例如记住酒店门牌号或耳机遗失地点。 [推测] Clipto 对人类记忆的参考不是完全模拟遗忘，而是在交互和存储层面借鉴冷热分层。

[31:14] Memory layer 的分层架构

[事实] Henry 将 memory layer 构想为多个层次：首先是几乎无感的数据导入。 [事实] 数据源不仅包括本地和云端数据，也可能包括智能设备、眼镜等持续产生数据的入口。 [事实] 数据进入后，需要被理解，并提炼为原子化信息，再在上层构建知识体系。 [事实] 再上层是 agent 层，用户通过 agent 与这些知识和记忆交互。 [事实] 记忆还可以通过 MCP、API 等方式与其他 agent、同事或生态系统连接。 [推测] 这套架构把 memory layer 定义成基础设施，而不是单个应用功能。

[32:52] 与 NotebookLM 的本质区别

[事实] Henry 认为 NotebookLM 是很好的对标，也做了数据导入。 [事实] 他认为 Clipto 与 NotebookLM 的差异包括多模态、本地端运行，以及把云端架构搬到端侧并构建本地知识架构。 [事实] Henry 判断 NotebookLM 更适合研究、调研和项目分析，而不是构建完整个人记忆系统。 [事实] 他认为 NotebookLM 天然在云上，如果要走向个人记忆，会遇到落到端侧的壁垒。 [推测] 在 Henry 的产品叙事中，NotebookLM 是项目级知识工具，Clipto 想做长期个人记忆系统。

[34:57] 个人 memory 的应用场景

[事实] Henry 认为有了个人 memory 后，第一件高频刚需是查找。 [事实] 在检索之上，还可以做合成和生成，例如不看两小时视频而直接获得总结摘要。 [事实] 他设想未来个人 memory 可以作为第三个 agent，参与用户与 ChatGPT、Claude 等 AI 的对话。 [事实] 主持人提到采访场景中经常隐约记得某人说过类似观点，但想不起来具体来源，Henry 将其称为记忆增强。 [推测] 这类场景的价值在于让 AI 不只是回答问题，而是主动补足用户自己的上下文和历史经验。

[36:50] 从云到端的垂直整合挑战

[事实] Henry 说 Clipto 的单模型迭代了 300 多版。 [事实] 他称自己是“不情愿的大模型玩家”，因为最初并不想做模型优化、后训练甚至预训练。 [事实] Clipto 早期曾希望沿用云上已有生态和端侧 API，包括尝试苹果 Siri 的 AI API，但发现云上思维在端侧不适用。 [事实] 他认为端侧 AI 生态还不成熟，团队被迫从芯片级算子优化、算力调度、模型优化一直做到 agent 搭建。 [推测] Clipto 的技术壁垒来自被迫垂直整合，而不是一开始主动选择做全栈。

[40:34] 芯片优化与 OS 厂商角色

[事实] 主持人提到端侧 AI 可能从芯片设计阶段就要考虑多任务、后台运行和并行任务。 [事实] Henry 说，很多模型原本为英伟达芯片推理设计，迁移到苹果并榨干算力需要深入到芯片级和算子级优化。 [事实] 他表示欢迎与芯片厂商更深度合作。 [事实] 对于苹果、微软等 OS 厂商是否更适合做垂直整合，Henry 认为未来基础设施会越来越成熟，但早期创业者必须自己铺路。 [推测] 端侧 memory 的成熟可能依赖创业公司、芯片厂商和 OS 平台共同推进。

[42:34] 大厂为什么未必适合做个人记忆

[事实] Henry 认为苹果等公司或多或少会做 memory，但未必适合做全球知识工作者的个人记忆系统。 [事实] 他认为苹果的基因是硬件设备公司，更适合搭建硬件生态和 macOS，再与第三方开发者合作。 [事实] 他认为真正做好 memory 需要懂硬件、芯片、算力、架构、模型开发，还要能作为独立产品运营和推广。 [事实] 他还指出，用户可能同时使用苹果、Windows 和安卓，单一平台厂商存在跨生态限制。 [事实] 对于 Google，Henry 认为它有数据和动机，但本质上仍是云公司，倾向于把用户带到云端。 [推测] 这些判断带有明显创业公司战略定位色彩，并非节目中经过第三方验证的结论。

[46:16] 创业公司的路径：从具体人群切入

[事实] Henry 认为 AI 终局中会有云端大模型代表智能，agent 代表行动力，而 memory layer 是缺失的一层。 [事实] 他承认创业公司第一天资源有限，需要从具体人群和具体功能抓手开始。 [事实] Clipto 首先面向视频创作者，因为他们有 TB 级本地音视频数据，并且每天需要查找和复用素材。 [事实] 他认为这只是起点，本质上 Clipto 面向所有知识工作者。 [推测] Clipto 的商业路径是先做刚需工具，再逐步上升到平台级 memory layer。

[49:06] 本地数据飞轮

[事实] Henry 认为即使用户数据不离开本地，也可以形成数据飞轮。 [事实] 他举例说，用户可以标注常合作的人、头像和声音并命名，之后搜索 Elon Musk 就能检索到相关画面和声音片段。 [事实] 主持人总结说，本地模型会越用越准，Henry 表示认同。 [推测] 本地数据飞轮的关键在于个人化标注和反馈，而不是集中收集所有用户数据。

[50:34] Memory layer 的平台野心

[事实] Henry 表示，希望 AI 时代有机会再做出一家 Google 或 Meta。 [事实] 他认为有机会打造一个面向全球 10 亿职场人士使用的 memory layer 平台。 [事实] 主持人问 memory layer 是否会成为 AI 五层蛋糕中的独立一层，Henry 认为它不应该只是某个模型的一层。 [推测] Henry 将 memory layer 看成可独立成公司的平台级机会，而不是大模型厂商的附属功能。

[51:44] 为什么提前押注端侧多模态

[事实] Henry 说，两年前苹果已经在端侧 AI 上布局很久，M 系列芯片也具备 AI 推理能力。 [事实] 他认为 AI 算力会类似摩尔定律一样指数级增长。 [事实] 他根据过往经验判断，第一个训练出来的模型通常最复杂、算力成本最高，后续一定有优化空间。 [事实] 他总结出两个必然趋势：算力会增加，模型会变小。 [推测] Clipto 提前押注端侧，是基于硬件提升和模型小型化会相遇的判断。

[53:45] 当前进展与未来突破

[事实] Henry 认为从终局看，memory layer 是值得用十年维度去做的事情。 [事实] 他估计当前可能只完成了十分之一的工作。 [事实] 他表示 Clipto 已经从芯片、算力、模型到上层 agent 搭建起完整记忆系统，可以构建 memory。 [事实] 他也承认每个组件仍有很大优化空间，尤其是模型层。 [事实] Clipto 的模型既有基于开源模型的部分，也有从零自研的小模型，未来也可能下场做预训练。 [推测] 产品已经具备系统雏形，但距离 Henry 描述的完整个人记忆平台仍处于早期阶段。

[55:48] 主持人的收束：端侧与结构化记忆

[事实] 主持人总结说，本期刷新了她对端侧必要性的理解，因为上传云端确实存在决策门槛。 [事实] 主持人认为，如果不需要主动上传，就能拥有一个了解偏好的 AI 助理，会更有吸引力。 [事实] 她还总结说，记忆不完全等于个人数据，数据需要被结构化，才能让 AI 理解用户。 [事实] 节目最后希望 AI 记忆从短时、中程到长程都能发展，让模型真正理解并更好服务用户。 [推测] 结尾把讨论从 Clipto 的产品叙事拉回到更广义的 AI 助手演进问题。

播客点评/总结

[推测] 本期的价值在于把“AI 记忆”从一个抽象产品词拆成了几个具体问题：数据在哪里、谁来理解数据、记忆如何被检索和复用、端侧与云端如何分工。对于关心 AI agent、个人知识管理和端侧 AI 的听众，这期提供了较完整的产业视角。

[推测] 节目的亮点是嘉宾不断区分“数据”和“记忆”，并明确指出 context window、RAG、LoRA、持续学习等方案各自不能完全解决长期个人记忆问题。这让讨论不只是停留在产品演示，而是进入了架构和生态位层面。

[推测] 局限在于，很多判断来自 Clipto 创始人的创业者视角，例如大厂不适合做个人 memory、Clipto 没有看到第二家同类等说法，节目中没有加入外部验证或竞品实测。听众可以把这些内容理解为一家公司对未来生态的判断，而不是已经被证明的行业结论。

[推测] 这期适合 AI 产品经理、创作者工具用户、知识工作者、端侧 AI 开发者和关注 AI 基础设施的人收听；如果只想了解某个产品的具体使用教程或性能测试，转录稿提供的信息还不够。