E242｜最快半年AI跑通自进化？与陈天桥首席科学家聊聊硅谷模型必争之地

概览

本期围绕 AI 自我进化展开，核心问题是：当模型已经能写大量代码、执行更长程任务，并开始参与训练下一代模型时，AI 是否正在走向递归式自我提升，也就是 RSI。

两位 Apodex 首席科学家 Simon 杜绍磊和李贝宾认为，Deep Research、Coding、Agentic RL 和自我进化背后共享一条主线：模型的长程推理、环境探索、工具使用和验证能力在持续增强。Coding 能力尤其关键，因为数据处理、训练配方、基础设施和模型迭代都高度依赖代码。

节目讨论的另一条主线是验证与品位。嘉宾反复强调，AI 要成为 Discovery Model，不只是生成答案，而是要提出新的科学假设，并能判断假设是否成立。难点不只在算力和模型能力，也在如何避免递归漂移、奖励黑客、拍马屁式迎合，以及如何从顶级科学家那里学习判断“什么问题值得做”。

分段落总结

[00:02] 从 Anthropic 代码生成到 RSI 话题

[事实] 主持人开场提到 Anthropic 承认大量代码已经由模型生成，并警告 AI 可能很快会自己设计和训练下一代 AI。 [事实] 节目将这个方向称为递归式自我提升 RSI，是硅谷今年围绕模型能力的热门议题之一。 [事实] 本期嘉宾来自 Apodex，这家公司由陈天桥出资创立并亲自主导，定位不是图像或视频生成，而是 Heavy Duty Solver。 [事实] Apodex 想做 Discovery Model，即提出人类未想到的假设，并尝试验证它们，解决尚未被解决的科学难题。 [推测] 这一开场把本期讨论从“模型更会回答问题”提升到“模型能否参与科学发现和自我改造”的层面。

[02:37] 两位嘉宾与问题设定

[事实] Simon 杜绍磊是华盛顿大学计算机系副教授，也是 Apodex 首席科学家，负责训练与推理方向。 [事实] 李贝宾是 Apodex 首席科学家，负责代码与自进化方向。 [事实] 主持人提出 Deep Research、Coding 和 Self-Evolving 是否是不同方向，还是由同一条模型发展主线驱动。 [推测] 嘉宾的分工显示 Apodex 将“训练推理”和“代码自进化”视为实现 Discovery Model 的两个核心支点。

[03:35] Deep Research、Coding 与自进化的共同内核

[事实] Simon 认为，从训练角度看，Deep Research、Coding 和自进化本质上都在提升推理能力、长程推理能力，以及在环境中探索、执行动作、获得信号再继续探索的能力。 [事实] 李贝宾指出，自我进化不是新概念，语言模型作为优化器、Agent Optimizer、Teachable Agent 等概念几年前就已出现。 [事实] 嘉宾认为今年这件事更热，是因为模型能力变强，可以自我优化的对象变多，包括合成数据、数据清理、训练算法代码和基础设施代码。 [事实] 李贝宾认为，一旦模型写代码能力增强，用它来帮助训练自己就是自然发生的事情。 [推测] 这一段把“代码能力”解释为自我进化的基础设施能力，而不只是软件开发场景里的单项能力。

[05:18] 李贝宾的研究背景与 Agentic RL

[事实] 李贝宾早期在微软研究院做多智能体合作，当时相关工作包括 agent optimizer 和 teachable agent。 [事实] 他后来在 Meta 和 xAI 工作，并关注通过强化学习增强智能体使用工具、写代码和调用 MCP 工具的能力。 [事实] 他提到大约一年前，他和 Simon 已经认为模型提升自己是可行的。 [事实] Andrew Karpathy 关于 auto research 的项目在今年年初让“自己做科研”的概念变得更火。 [推测] 这段说明 Apodex 的路线不是突然追热点，而是延续了智能体、多智能体协作和强化学习方向的积累。

[06:50] RSI 今年的新意：递归与长程任务

[事实] 李贝宾解释，RSI 中的 R 是 recursive，指模型自己找问题、出题、解答、训练自己，并以递归方式向上增长。 [事实] 嘉宾认为今年最大的变化是模型能力提升，能够完成更长程的任务，因此可以在一个任务中多次提升自己。 [事实] 主持人提到模型可完成任务的人类时间尺度从几分钟、到一两个小时、再到十几个小时快速增长。 [事实] 嘉宾提到业界较接受的判断是，模型能完成的人类工作时间大约每 7 个月翻一倍。 [推测] RSI 的关键不只是单次生成质量提高，而是模型能否在长期无人监督的流程里持续保持方向和质量。

[09:21] 长程任务的技术难点

[事实] 李贝宾将长程任务解释为包含多个步骤、多个环节、需要相互印证的一系列任务，而不是单步处理。 [事实] 他举例说，模型如果能在无人监督下完成音频剪切、检查、重剪、继续下一步等流程，就属于长程任务。 [事实] 他指出技术难点包括模型架构、长上下文训练数据、推理和训练基础设施，以及 GPU 和 kernel 层面的优化。 [事实] Simon 补充说，即使有百万级上下文，真正的长程任务仍可能超过上下文窗口，需要 agent 架构、检索和记忆机制处理超长上下文。 [推测] 这里的核心判断是，长程智能不是单靠扩大上下文窗口解决，还需要系统架构层面的协同。

[12:44] Coding 成为自进化底座

[事实] 主持人总结，训练模型本质涉及数据、基础架构和算法，而三者都高度依赖写代码。 [事实] 李贝宾基本同意 Coding 能力与自进化紧密相关，但认为不是所有模型都需要同等程度的写代码能力。 [事实] 他指出聊天型小模型可能不直接需要强 Coding，但背后的蒸馏大模型仍需要推理和自我进化能力。 [事实] 他认为写代码不仅是写代码本身，还包含归纳、演绎和逻辑推理能力，可泛化到其他领域。 [推测] Coding 在这期节目中被视为模型“改造世界”和“改造自身”的接口。

[14:29] 递归漂移与验证问题

[事实] 主持人提到递归漂移，即模型生成训练数据时，推理错误可能一代代累积，导致自我进化越来越偏。 [事实] 李贝宾表示 Apodex 很重视 verification，因为模型训练自己时验证环节若有偏差，会累积成坏结果。 [事实] 在代码和数学任务中，验证相对容易，可以通过测试代码、规则或形式化证明来判断结果。 [事实] 他也指出，即使代码有测试脚本，测试过宽或过窄仍可能导致错误代码通过，或惩罚正确代码。 [推测] 可验证任务是自进化的早期落脚点，但验证机制自身也会成为新的风险来源。

[16:22] Apodex 的 Agent Team 验证方法

[事实] Simon 说不同领域需要不同验证方法，代码可用单元测试，数学可用 Lean 等形式化验证。 [事实] 对于很多依赖人类判断、没有绝对对错的问题，Apodex 目前用 agent team 做验证。 [事实] 他们会把问题分解，让不同子 agent 分别负责解决和验证，并通过多个 agent 的冗余答案提高质量。 [事实] 系统还会训练 agent 判断不同信息源的可靠性，例如论坛信息通常不如教材信息可靠。 [事实] 李贝宾补充说，强化学习中的裁判也会一起学习，以减少奖励黑客等不良行为。 [推测] Apodex 的验证路线更像“组织化评审机制”，而不是依赖单个模型一次性给出答案。

[19:11] 如何判断一家公司的自进化能力

[事实] 嘉宾认为，自我进化既是技术问题，也是意愿问题。 [事实] Simon 区分了脚手架 harness、预训练配方、后训练数据和后训练配方等不同层面的自进化。 [事实] 他认为只在 harness 上自进化成本较低，开源社区和学术界也能做出不错结果。 [事实] 若涉及后训练和大模型级别的自我进化，则需要更多资源，也更能体现公司技术水平。 [推测] 判断 RSI 能力不能只看公开 benchmark，而要看它是否能从玩具任务扩展到产品级或大模型训练链路。

[21:51] Apodex 的三层自进化路径

[事实] 李贝宾说 Apodex 将自我进化分为预训练、后训练和 harness 等阶段。 [事实] 预训练阶段会在数据采集和清理上使用自我进化方法。 [事实] 后训练阶段包括诊断模型缺陷、基于诊断制造训练配方、用数据和配方训练自己，并验证每一步是否正确。 [事实] harness 与后训练会共同进化，模型变了，脚手架也需要随之进化。 [推测] 这套方法把自我进化设计成闭环工程，而不是单次模型微调。

[23:26] 搜索能力与 Deep Research 的基础地位

[事实] Simon 强调验证能力和搜索能力都很重要，尤其后训练需要针对模型缺陷制造任务和答案。 [事实] 制造任务需要搜索语料、代码和相关资料，因此搜索是提高模型能力的基础能力。 [事实] Apodex 先做 Deep Research，是因为它是一种很通用的能力，其中搜索是本质能力之一。 [事实] Deep Research 可以收集已有信息、制定计划、写代码提高模型，并再次循环。 [推测] Deep Research 在 Apodex 路线中不是终点产品，而是自我进化链条中的关键组件。

[25:23] Deep Research 的训练与榜单表现

[事实] Simon 说 Apodex 当前模型是在通义千问 3.5 基础上后训练得到的。 [事实] 后训练重点提高计划、搜索，以及与 agent team 结合解决问题的能力。 [事实] 他们提到模型在 BrowseComp、Deep Search QA、Frontier Science 等 deep research 榜单上取得第一。 [事实] Simon 说 BrowseComp 更关注刁钻搜索问题，Frontier Science 更关注科研问题中的计划制定。 [事实] Apodex 会检查搜索类 benchmark 是否被污染，并在需要时屏蔽可能直接搜到答案的网站。 [推测] 嘉宾对榜单的态度较谨慎，承认搜索类评测容易被公开答案污染。

[29:18] 多智能体团队为何可能强于单个聪明模型

[事实] Simon 认为基于 self-attention 的结构在超长上下文上存在本质限制，上下文越长，attention 效果越差。 [事实] 他认为近期内不太相信单个 agent 能解决特别长上下文的问题。 [事实] 多个 agent 加记忆机制可以让不同 agent 处理不同问题、保存信息并相互分享。 [事实] 他认为模型能力和 agent 工程是 1 加 1 大于 2 的关系。 [推测] 这给垂直领域 agent 创业提供了一个论点：工程系统和领域知识仍可能形成壁垒。

[31:17] Agent 创业与模型升级的关系

[事实] 主持人提出创业者担心基础模型升级会覆盖 agent 或垂直应用能力。 [事实] Simon 基本同意优秀 agent 系统有一定护城河，因为有效系统需要大量实验验证。 [事实] 他也提醒，agent 实验相对训练大模型资源需求较低，所以竞争会很激烈。 [事实] 李贝宾补充说，新模型发布很快，harness 需要随着新模型能力和行为变化而微调。 [推测] Agent 公司不应把工程架构视为一劳永逸，而要持续适配模型能力变化。

[34:18] Apodex 的 Heavy Duty Solver 愿景

[事实] Simon 介绍 Apodex 的长期愿景是 Heavy Duty Solver，强调解决很难的问题，而不是做聊天机器人。 [事实] Apodex 相信大模型最终能解决人类以前解决不了的问题。 [事实] Simon 认为通过大模型直接解决难题创造的价值，会远大于卖 token 的价值。 [事实] Apodex 关注的领域包括生物、材料科学等，并有 Heavy Duty Discovery 团队寻找最难的问题。 [事实] 嘉宾确认第一步会切入生物医疗，包括制药发现、老药新用和疾病诊断。 [推测] Apodex 的商业假设是，从“提供模型能力”转向“直接解决高价值问题”。

[36:21] Discovery Model 与 Generative Model 的差异

[事实] 李贝宾说，让模型提出一个假设并不特别难，难的是提出训练数据中难以找到、难以想到的 out-of-distribution 假设。 [事实] 更大的难点是如何验证这个假设是否成立。 [事实] Discovery 需要创新性，也需要判断假设是否成立的能力。 [事实] 可用方法包括 Deep Research 收集已有信息、写代码、自我验证，以及在计算机上跑模拟实验。 [事实] 他指出未知领域通常没有标准答案，也很难构造可信的 simulation environment。 [推测] Discovery Model 的真正门槛在“提出新问题”和“可信验证”同时成立。

[38:50] 从解题者到科学家：模型需要学会提问

[事实] 李贝宾认为，生成模型的训练方法和配方已经相对成熟，但让模型提出假设和进行 discovery 仍未完全调通。 [事实] 他将提问能力称为 meta 能力，涉及诊断模型回答、收集信息中的问题，并判断哪些 hypothesis 值得深入。 [事实] Simon 说训练模型成为好科学家，需要培养学术品味。 [事实] 他认为顶级科学家不看 paper 数量，而看最好的 paper 质量有多高。 [事实] Simon 说模型需要与顶级科学家对齐，让他们提供 insight 或数据，帮助模型形成更好的品味。 [推测] 这一段把 AI 科研能力的瓶颈从“知道多少”转向“判断什么重要”。

[41:20] 如何把顶级科学家的品味训练进模型

[事实] Simon 认为，顶级科学家追求的是顶点解法和最本质的问题，这种追求甚至要写进模型宪法。 [事实] 训练方法上可使用人类偏好、SFT、RL 等已有方法。 [事实] 他举例说，科学家通常能判断两个题目中哪个更像灌水题，模型也可以通过训练学习这种偏好。 [事实] 李贝宾认为未来半年到两三年内，AI 自我进化会成功，而人类仍需要在品味上发挥作用。 [事实] 他认为当前最好的模型品味仍低于普通 AI 科学家，这也是模型训练还不能完全自动化的原因之一。 [推测] 人类专家在未来自进化系统中的角色，可能从执行者转为品味、方向和质量的校准者。

[42:18] 拍马屁、对冲行为与模型人格

[事实] 李贝宾指出，许多模型存在拍马屁倾向，也常出现“这也对那也对”的对冲行为。 [事实] 他认为喜欢迎合用户的模型很难提出大胆假设。 [事实] Apodex 在训练 verifier、self-evolve 和 discovery 能力时，会训练模型提出假设的能力。 [事实] 他也指出另一个风险是模型变成“鸡蛋里挑骨头”，因此需要品味来平衡。 [事实] 李贝宾认为 Apodex 不做聊天模型、不使用大众用户偏好训练，可以部分避免拍马屁问题。 [推测] 模型人格不是表层语气问题，而会影响科学发现中是否敢于反驳、提出假设和严格验证。

[46:56] 宪法、真实性与顶级科学家反馈

[事实] Simon 说 Apodex 希望模型在用户不合理时能指出问题，而不是迎合用户。 [事实] 他们使用 constitution AI 的概念，为模型定义性格，并将其训练进模型权重。 [事实] 模型宪法强调真实性，例如用户说错时模型要纠正。 [事实] 对于什么是好问题，Simon 认为很难写成明确规则，更多依赖与顶级科学家的交流和偏好数据。 [事实] 他把这类训练类比为学校培养 PhD：导师会告诉学生什么题目值得做、什么题目不值得做。 [推测] 顶级科学家的反馈在这里承担了“审题标准”的作用，而不只是提供专业知识。

[49:04] 小样本专家数据与品味蒸馏

[事实] 主持人提出顶级科学家样本量很小，与大模型 scaling law 所需的大量数据形成反差。 [事实] Simon 回答说，预训练确实需要大量数据，但后训练的数据需求相对较少。 [事实] 他提到已有方向在尝试把个体的人格、能力、行为习惯总结出来，转化为大模型可利用的形式。 [事实] 主持人用音乐模型举例，讨论如果能使用顶级音乐人的作品训练，是否能学到更好品味。 [事实] Simon 同意这个类比，并认为人类科学家也是通过反馈逐渐形成顶级品味。 [推测] Apodex 对专家数据的信心建立在“后训练可用少量高质量偏好改变行为”的假设上。

[52:30] 面对 OpenAI、DeepMind、Anthropic 的竞争

[事实] 主持人提到多个顶级模型公司都在尝试让 AI 成为科学家或共同科学家。 [事实] Simon 认为这个战场竞争激烈，但科学问题足够广，不止一家公司可以成功。 [事实] 他认为 Apodex 的优势包括专注、不做 2C 聊天机器人、不取用户特殊偏好，以及小团队执行力强。 [事实] Simon 说陈天桥经常与团队和 AI 交流，从方向和其他方面提供指导。 [事实] 李贝宾认为，越来越多公司做 AI for Science 不是坏事，反而说明未来十年内出现有科研价值和现实意义成果的希望更大。 [推测] Apodex 的差异化不在单一算法，而在问题选择、组织专注度和与顶级科学家网络的结合。

[55:12] Heavy Duty Discovery 与问题选择

[事实] 李贝宾说，科学问题无限，但人的精力和全球 GPU 资源有限，因此要在有限资源里找到最有价值的问题。 [事实] Apodex 的 Heavy Duty Discovery 团队有全职员工与不同顶级科学家交流，从大量科研问题中筛选最值得做的问题。 [事实] 他强调 Apodex 不是单纯做 AI for Science，而是做 Heavy Duty Solver，只是二者有很大重叠。 [事实] Simon 解释，Heavy Duty Solver 更像通用模型，重点训练验证、分析、搜索、计划等原能力，而不是把大量数据堆到某个垂直领域。 [推测] 这意味着 Apodex 更重视跨领域解决难题的通用能力，而不是单一生物医药垂直模型。

[57:26] 最快半年跑通自我进化一环

[事实] 李贝宾解释，“最快半年”指可能在半年内跑通一轮闭环，难度最大的部分是 post-training。 [事实] 他举例说，模型可以在某个 domain 中发现自己代码能力的问题，构造训练环境和训练数据，再验证训练后是否提升。 [事实] 他认为半年到一年可能跑完一环，但 recursive 的多轮迭代还需要更长时间。 [事实] 他最担心的问题是如何确认模型自我进化时满足人类需求，没有在安全或目标上跑偏。 [事实] 他认为这些问题尚未解决，但对很快出现解决方法保持乐观。 [推测] 这里的“跑通”不是完全自治，而是初步闭环；真正递归迭代仍受验证和漂移问题限制。

[60:12] 人工监督、员工蒸馏与工作变化

[事实] 李贝宾说，他现在大量时间用于读模型输出和智能体每一步操作，确保它们在可理解、可控制范围内。 [事实] 当他发现模型有不合理行为时，会手动暂停、修改和调整。 [事实] 他认为未来可以用智能体代替他做部分手调工作，这类似“员工蒸馏”。 [事实] 他回忆 2021 年 GPT-3 进入 Copilot 时就担心自己被取代，但几年后他的工作变成在更高层面监控智能体写代码。 [事实] 他认为模型会取代自己今天做的事，但不一定能取代自己五年后做的事。 [推测] 嘉宾对失业风险并不否认，但把应对方式放在提升工作抽象层级上。

[63:00] SI 与 R 的区别：闭环和递归漂移

[事实] 主持人提出，如果有李贝宾式 AI agent 能替代人工监督和校验，是否意味着 RSI 闭环跑通。 [事实] 李贝宾回答说，SI 可能跑通，但 R 还需要一两年或更久。 [事实] 他解释 R 是 recursive，即把迭代持续跑起来。 [事实] 即使闭环跑通，每几次迭代后仍需要人工检查 recursive drift。 [事实] 他希望未来把漂移从 10% 降到 1%、0.1% 甚至 0.01%，从而降低人工监控频率。 [推测] 可控递归的核心指标不是是否能迭代，而是每轮误差能否被持续压低。

[64:28] 品位是谁的：研究员、创始人与 AI 自身

[事实] 李贝宾认为，当前模型品位主要来自 AI 研究员，但研究员品位会被创始人的品位间接影响。 [事实] 他认为品位没有绝对对错，更多是适合或不适合。 [事实] 他相信未来五年人类品位对 AI 模型的影响会越来越小。 [事实] 他用 AlphaZero 类比，认为 AI 未来可能通过自我回放和自我推理形成自己的品位。 [推测] 人类品位在这一阶段更像 warm start，而不是最终目标函数。

[66:18] 陈天桥在 Apodex 中的具体作用

[事实] 李贝宾说，陈天桥在战略方向上有很多把控，经常与团队开会，研究和对齐战略方向。 [事实] 当研究员因学术背景带来某些偏向、与公司大战略不完全一致时，陈天桥会指出偏离并纠正方向。 [事实] 他举例说，Heavy Duty Solver 应该先分解问题、再搜索、总结并回答，而不是一上来就搜索。 [事实] 因为训练中过度强调搜索能力，模型曾出现先搜索而不是先思考分解的行为。 [事实] 李贝宾说 Apodex 的模型宪法基本由陈天桥制定，并用于模型训练和调优。 [推测] 创始人的影响不仅体现在公司战略，也会进入模型行为规范和训练目标。

[68:22] 马斯克与陈天桥风格对比

[事实] 李贝宾认为马斯克和陈天桥性格比较类似，但看待问题的方法不同。 [事实] 他提到马斯克也说过类似 Heavy Duty Solver 的话，但实际非常关注聊天功能和 X 上的 AI 体验。 [事实] 李贝宾认为陈天桥说的和做的更一致，始终聚焦 Heavy Duty Solver。 [事实] 他表示陈天桥对聊天模型、视频生成和图片生成没有兴趣，认为这些方向与 Heavy Duty Solver 基本正交。 [推测] 这段强化了 Apodex 的自我定位：不追逐通用消费级功能，而聚焦高难度问题求解。

[69:52] 结尾：AI 品位与价值观问题

[事实] 主持人结尾回到“品位”问题，并引用 Simon 关于顶级科学家看最好 paper 质量的观点。 [事实] 主持人提出，如果 AI 品位从少数顶级科学家那里热启动，那么它本质上会被少数人塑造。 [事实] 主持人进一步提出，未来面向大众的 2C AI 到底应该代表谁的价值观，是这个时代需要讨论的问题。 [推测] 结尾把技术讨论延展到 AI 治理和价值观问题：当模型能自我进化，谁有权定义它的方向会变得更重要。

播客点评/总结

[推测] 这期的价值在于把 RSI 从一个流行词拆成了具体工程链条：长程任务、Coding、后训练闭环、agent team、verification、搜索、品位和递归漂移。它不是泛泛讨论 AGI，而是从一线训练和产品系统角度解释“AI 自己提升自己”到底可能先从哪里发生。

[推测] 节目的亮点是对“验证”和“品位”的反复追问。嘉宾没有把自进化说成单纯的能力跃迁，而是承认跑偏、奖励黑客、测试不完备、拍马屁和递归漂移都是核心风险，这让讨论比单纯乐观叙事更有信息量。

[推测] 局限是关于 Apodex 具体技术实现、数据规模、训练细节和 benchmark 复现方式仍然停留在高层描述，听众如果想判断其技术领先程度，还需要更多公开论文、实验细节或第三方验证。

[推测] 这期适合关注大模型训练、AI Agent、AI for Science、模型公司战略和 AI 安全的人收听；如果只想了解普通 AI 产品使用技巧，信息密度可能偏高。