于是转身向具身走去|对话王家伟:24 岁的具身智能首席科学家

Episode guide Published 十字路口Crossing 1 hr 9 min

概览

本期嘉宾是 24 岁的深普智能首席科学家嘉伟,节目从他的少年班经历、博士与实习路径讲起,再进入具身智能创业、数据采集、基础模型、Agentic OS 与行业评估,最后落到个人职业选择和三年后的家庭机器人愿景。

贯穿全场的关键判断是:具身智能不能只看一个通用大模型。上层需要具备推理、规划和世界理解能力的大脑,下层还需要可实时反应、稳定可控的 Action Policy,也就是类似“小脑”的能力。GPT-6 Astra 展示了通用智能向机器人外溢的可能,但其推理速度、动态环境适应和实时控制仍不足以替代完整的具身系统。

在方法上,他反复强调从“什么是具身智能”这一第一性原理出发,并把它拆成适应能力、可操控性和上下文理解能力。围绕这些能力,深普智能选择自建数据采集、预训练模型、Agentic OS 和产品链路,同时对触觉、世界模型、Benchmark 与行业宣传保持谨慎,认为最终仍要靠真实结果和产品说话。

分段落总结

[00:00] 快问快答、成长背景与公司定位

[事实] 嘉宾今年 24 周岁,下个月过 25 岁生日,曾就读中科大少年班,后来进入中科大与微软亚洲研究院的联合培养博士项目,并在节目录制时刚完成 PhD 毕业。

[事实] 他把深普智能定义为一家面向家庭的通用具身智能公司,英文名与 Simple AI 有关,slogan 是 Keep the world simple,希望让世界变得简单。

[事实] 他认为 AI 领域不应过度设计,GPT 这类更简单的路线反而击败了很多复杂结构;他还提到有团队在 DeepSeek R1 发布后删掉了约 90% 的代码。

[推测] 这种“保持简单、验证有效性”的观念,后来贯穿了他对数据、模型架构和公司策略的判断。

[03:45] GPT-6 Astra 驱动机械臂带来的启示

[事实] GPT-6 Astra 发布后,用通用模型直接驱动机械臂的视频让他感到意外,尤其是抓取等任务的成功率和空间、场景、任务规划、试错总结等综合能力。

[事实] 他提到机械臂用笔反复画金门大桥的例子:模型会读取视频流,保留上下文,经历多轮失败后逐步调整末端控制,最终完成更清晰的成品。

[事实] 但他强调视频中的执行速度往往被加速,模型单次推理耗时较长;在静态环境中可行,不代表能在真实动态环境中稳定完成拿咖啡杯这类任务,一旦杯子倾斜,模型未必能快速恢复。

[事实] 因此他认为具身系统除了上层大脑,还需要控制肌肉反应的小脑或 Action Policy,能够快速调整和实时反应。

[推测] 这意味着通用大模型公司即使拥有很强的认知能力,也未必能直接包揽具身智能的全部能力,底层控制与本体协同仍可能是独立价值。

[08:30] 少年班经历、科研训练与“聪明”的定义

[事实] 他所在少年班一届约 30 多人,选拔包括高考成绩达到一定线、当天上数学和物理课并立即考试,再由院长一对一交流;面试大约 100 人中选 30 至 40 人。

[事实] 少年班让他没有经历高三,并在大一先学习数学、物理、化学、计算机等通识基础,再选择专业;他后来选择计算机,也较早参与科研,用计算机模拟生物分子马达相关过程。

[事实] 他还长期担任少年班班长,做了较多学生工作,因此认为自己比较会沟通。

[事实] 他对聪明的理解不只包括思维敏捷和学习能力,更强调会提好问题、知道自己的不足并愿意直面不足;他认为自己的短板是硬件、焊板子和搭电路,因此会主动向硬件团队请教。

[推测] 少年班的通识训练、早科研和组织经历,共同塑造了他跨学科理解问题、主动补短板和管理团队的方式。

[13:23] 从大模型转向具身智能

[事实] 他解释自己作为应届毕业生从大模型转向具身,是因为大模型领域的工作方式已经比较稳定,新人更多是执行既定计划,很难自己定义感兴趣的方向;具身领域尚未收敛,有更多研究机会。

[事实] 他认为风险和机会并存,最大的风险是时间:如果方向错了,可能探索几年后才发现走错路。

[事实] 导师鼓励年轻人去闯,认为失败也无所谓,只要获得足够经验就可以开启下一段事业;他本人对风险的承受度较高。

[推测] 这不是单纯冒险,而是用职业自主权、问题定义权和潜在研究成果换取大厂稳定性与资源的主动选择。

[16:33] 如何定义具身智能:三项核心能力

[事实] 深普智能内部会讨论“具身智能的智能到底体现在哪里”,并特别关注三项能力:适应能力、可操控性和上下文理解能力。

[事实] 适应能力包括 zero-shot 能力,以及 few-shot 适应到完全 OOD 场景的能力;可操控性包括语言、图像和视频等不同形式的控制,例如让模型快速跟随一段视频。

[事实] 上下文理解能力指模型不仅要根据当前 observation 行动,还要理解世界 dynamics 和因果信息;他认为很多具身工作对上下文的关注不足。

[推测] 这三项能力实际上成为深普智能选择数据、模型结构和评估方式的内在标准,也是其区别于单纯 VLA 或模仿学习路线的核心框架。

[17:57] 博士阶段与 DeepSeek、Seed 实习

[事实] 他的博士研究前半段集中在文档智能,包括 OCR、版面分析和表单理解,相关算法被应用到微软的 API 和基础设施中;这让他不只做纯研究,也会思考研究能否落地并赋能下游应用。

[事实] 他在 DeepSeek V2 之后、R1 之前实习,参与多模态大模型、Agentic RL 和商业化相关工作;他印象最深的是 DeepSeek 工作强度不算大,但仍能做出很好的研究成果,项目规划清晰,个人能接触到底层代码和推理代码。

[事实] 他后来去 Seed 做 Agent 相关实习,原因是 DeepSeek 对多模态投入减少,资源更倾向语言模型和 R1;而 Seed 是一个庞大、精细运行的组织,每个人聚焦自己的点,很多数据和训练 Infra 已由别人准备好,但也更难接触范围之外的事情。

[事实] 他在 Seed 时曾想推动“自迭代”:通过 API 对外服务收集用户反馈并迭代模型,但大公司需要跨部门合作、前期 POC 和资源协商,探索性项目很难获得足够资源。

[推测] 这些实习经历让他更偏好小团队、高自主权和能自己定义事情的环境,也为后来加入创业公司埋下伏笔。

[24:35] 全链路公司、数据采集与开源数据集

[事实] 深普智能把自己定位为终端公司,而不是单纯的数据公司或模型公司;因为最终价值来自把数据、模型、部署和本体放进产品,所以选择做全链路,并认为全栈能力可以成为壁垒。

[事实] 他们开源了 2000 小时数据,内部数据已达几万小时量级;在 Hugging Face 和 ModelScope 上累计下载量已超过 50 万。

[事实] 他们自建了基于 UMI 思路的高精度手套采集设备,头部有双目相机、两个腕部各有上下相机,共六个视角;通过相机实现毫米级定位和微秒级时间同步,从而抛弃基站,并希望减少遮挡。

[事实] 他们通过小规模实验、真机评测和轨迹 replay 验证数据价值,发现 95% 以上的采集轨迹能在本体上复现,因此决定扩大采集规模。

[事实] 开源后收到海外和国内公司购买数据的询问,也收到 marker 太大、手套在真机上发热等反馈。

[事实] 他们还尝试用 GPT-6 Astra 做标注和清洗,发现效果比人更好、可 24 小时工作、成本与人接近,但效率仍偏低;因此正用少量数据训练自己的标注模型并持续迭代。

[推测] 数据采集被深普智能视为可形成差异化的底层能力,而开源既服务于社区研究,也可能带来商业线索和外部反馈。

[33:22] 预训练模型、Zero-shot 与 Scaling 趋势

[事实] 他们的模型计划年底发布,目前已经能 zero-shot 做不少任务,不需要后训练;这些任务并非都与训练集完全一致,而是通过一定泛化能力完成。

[事实] 他把这与需要看视频或 few-shot 的能力区分开来,认为自己的模型具备一定 zero-shot 能力,原因之一是数据质量较高。

[事实] 对于世界模型,他没有刻意往概念上靠,而是沿着定义出的核心能力反推最适合的模型,同时借用世界模型和 VLA 中最适合的部分,也会利用已有的预训练知识。

[事实] 他表示看到了数据多样性、计算量、数据量扩展带来的性能提升,存在 scaling 趋势,但刻意不宣称已经找到 scaling law,而更愿意说看到幂律现象,因为真正的 scaling law 需要严肃、充分的实验验证。

[推测] zero-shot 表现被他视为预训练质量的信号,但年底公开发布后,模型能力仍需要接受外部评测和真实场景检验。

[35:55] 上下文与记忆:从一秒内因果到长期任务

[事实] 他认为 Agent 中 context 是最重要的点之一,但具身领域很多工作更关注当前 observation,对原生上下文和因果信息关注不足。

[事实] 他把 context 分为短期、中期和长期:短期 context 可能只发生在一秒内,却包含“夹松了、杯子下滑、再夹紧”的因果关系;中期 context 类似记住多个相同杯子的尺寸并迁移;长期 context 则涉及物品放在哪个抽屉、人类伙伴之后如何找到等记忆。

[事实] 解决 context 既要从数据层面设计能激发上下文利用的数据,也要从模型层面高效建模 context;因为 token 变多会带来推理延迟,而机器人执行对实时性很敏感,所以他们做了一些特殊设计。

[推测] 对上下文和记忆的强调,可能是深普智能相对于只优化动作预测的具身模型的重要差异化方向。

[39:00] 触觉数据的取舍

[事实] 这批开源数据不带触觉,他认为二指甲爪在很多情况下可以通过视觉判断是否夹紧,尤其上下相机设计减少了遮挡。

[事实] 他提到可以从视频预测触觉,但预测精度对预训练可能有用,对后训练则可能完全不够。

[事实] 当前触觉传感器尚未收敛,不同传感器分辨率、位点不同;如果投入 100 套设备后发现效果不好,或者几个月后出现更好的传感器,之前的数据如何复用会成为问题。

[事实] 因此他们没有放弃触觉,仍在试验,但没有大规模铺开。

[推测] 这是一种避免过早锁定硬件和数据格式的谨慎策略,也反映出触觉在本体泛化、数据兼容和成本之间尚未形成共识。

[43:30] Agentic OS、System 1/System 2 与 Harness

[事实] 他认为具身机器人一定是一个 Agent 系统,需要与人交互、与环境交互,不是单点模型;公司很早就开始做 Agentic System。

[事实] 他们构建了包含语音识别、任务分解、任务拆分、工具调用和底层接口的系统,并分成 System 1 和 System 2:System 2 负责理解意图和规划,System 1 负责快速、精细执行。

[事实] System 2 之前使用字节 Seed 的模型,未来在尝试换成自己的模型;但创业公司算力珍贵,优先级可能放在 Action 的预训练上,因为上层基础模型仍在快速发展。

[事实] 他强调 Harness 很关键,包括上下文管理、大脑与小脑的交互、让大脑自然调度稳定可控的小脑模型;这些协同设计不只依赖模型能力。

[推测] 这种分层架构是在基础模型快速变化时控制风险的策略:上层可借用外部能力,下层积累自有的动作数据、控制模型和产品反馈。

[47:02] 具身评估与 Benchmark 困境

[事实] 他认为过去的具身 Benchmark 做得不够好,很多集中在仿真,且部分仿真 Benchmark 靠后训练就能刷出高分,参考价值有限。

[事实] 仿真与真实世界存在 gap,Benchmark 定义的能力也未必是团队真正关心的能力;真机 Benchmark 又很难保证完全复现,往往需要把模型交给第三方测试,公司很难接受。

[事实] 他认为具身评估评估的是整个链路的稳定性和成功率,所以公司更应该自己把评估做扎实;发布模型时会呈现真实结果,构建覆盖简单、中等、困难和各种场景、物体泛化的评估,并明确说明 zero-shot 或 few-shot 用了多少数据。

[事实] 与其他模型直接对比也很困难,因为不知道对方用了什么数据,对方模型也未在自己的本体上训练,直接拿来大概率不可用;模型开源仍需商讨。

[推测] 缺乏中立、可复现的第三方评测,会持续降低行业模型发布之间的可比性,短期内产品和用户反馈可能比 Benchmark 更能说明问题。

[49:34] System 1/System 2 是否会收敛,以及团队文化

[事实] 他认为不太可能“下面把上面吃掉”,但确实有可能“上面把 System 1 吃掉”,只是发生时间很难判断;他也提到理论上可以做一个统一的 10T 具身模型,但创业公司不能放弃中间阶段必须做的事情。

[事实] 他更倾向于先把 Agentic 能力和稳定的下层模型做好,再用 Harness 把具备规划能力的大脑和稳定的执行模型结合起来,尽早落地场景。

[事实] 深普智能目前约 70 多位同事,没有强制加班,规定工作时间是 9 点半到 6 点半,更多依靠自驱;公司对 AI 工具额度基本无限制,主要使用 Codex。

[事实] 团队会做事先规划,从 CEO 到技术负责人自上而下讨论具身智能定义、数据准备和算力需求,同时尽量保持组织扁平、信息共享和充分 context 交换。

[推测] 这种组织方式体现了他对研究型团队的理解:产出与工作强度不线性相关,更重要的是问题定义、上下文共享和工具杠杆。

[52:58] 前沿模型、In-context Learning 与行业噪音

[事实] 他认为 Astra 给行业最大的启示是通用智能真的可能外溢到各行各业,System 1 和 System 2 的边界可能越来越模糊;但 Astra 仍可能需要把 Action 能力融入进去,时间尚不可知。

[事实] 他表示特别认可把数据做到 20 万小时、50 万小时,并做综合评估、9000 种夹爪构型泛化和 in-context learning 实验的团队,认为这证明了预训练和泛化能力。

[事实] 他提到 π0.7 很重要的一点是 Steerability,并把这列为头部能力之一,因为它可以与上层大脑配合完成复杂任务。

[事实] 他认为部分 in-context learning 演示可能被高估,因为有些团队明确训练了成对数据,而不是自然涌现;如果没有深入的 context 理解和可操控能力,只靠专门训练和 demo 做出来,并不本质。

[推测] 他判断前沿进展的标准不是传播热度,而是所讲机制、demo 结果和第一性原理是否一致。

[58:13] 语言模型与具身智能的差异,以及 ego 数据的性价比

[事实] 他认为语言模型领域更开放、更透明、结果相对可复现,因为很多能力可通过 API 提供,也有 DeepSeek 等开源案例,研究者和学生较容易 follow 最新进展。

[事实] 具身领域则不同,很多模型发布后别人无法复现,因为没有对方的本体和数据;行业还有世界模型等概念被过度吹捧、真正落地很少、效果差异不清楚的问题,对研究者来说噪音很多。

[事实] 他筛选信号时会看对方讲的点与 demo 是否一致,以及是否符合自己的第一性原理;语言模型已有重要基础工作,必须沿着前行,而具身领域尚未收敛,可以从第一性原理出发选择路线。

[事实] 对于百万小时级 ego 数据,他认为原料成本可能不高,但后续标注和训练投入很贵,性价比和效果仍需验证;他们自采 UMI 数据成本可控、质量高,90% 以上可能可用,因此能更充分地做不同模型参数和数据配比下的 scaling 实验。

[推测] 这是一种有意控制变量、牺牲短期数据规模换取长期实验确定性的路线,也解释了为什么他们没有贸然引入百万小时 ego 数据。

[63:43] 十字路口、播客与投资,以及个人选择

[事实] 主持人认为做播客和做投资都像用两个小时向一个人提问、尽可能了解对方;播客中更愿意保持温和,投资中为了得到真实答案,会追问令对方不舒服的问题。

[事实] 嘉宾说最艰难的十字路口是选择继续做语言模型,还是转向具身;这意味着放弃原有薪资和资源,例如在 Seed 能使用很多算力,而创业公司资源有限。

[事实] 在创业公司,Infra、模型设计、团队搭建等很多事情都要从零到一亲自考虑,这也是与之前很不一样的体验。

[事实] 他的少年班同学大多去美国读书,后来进入 AI、量化、AI 加医疗、AI 加制药等方向,也有人去了 OpenAI;他基本没有了解到完全不做 AI、金融或具身而选择其他非共识路径的同学。

[推测] 他的核心考量不只是职级或薪资,而是能否拥有定义问题、搭建系统和承担不确定性的人生体验。

[67:08] 三年愿景:家庭机器人帮忙清理餐具

[事实] 他提到一位博导的需求:家里有洗碗机,但饭后仍要花约 20 分钟把盘子里剩的东西倒掉再放进洗碗机。

[事实] 如果三年后机器人已经能在家庭里完成类似帮忙清理餐具的事情,他会觉得非常 exciting;他估计三年内实现这一点的概率为 80%。

[事实] 主持人最后表示期待三年后家里帮忙洗碗的机器人来自深普智能。

[推测] 这个具体场景把具身智能从模型指标拉回到家庭劳动价值,也成为他对公司阶段目标的公开期待。

播客点评/总结

本期最有价值的地方,是把具身智能从“通用大模型能否驱动机器人”这一热门话题,拆解成数据采集、预训练、上下文、实时控制、Agentic OS 和评估体系等可操作问题。嘉宾既做过文档智能和语言模型,又在 DeepSeek、Seed 和创业公司之间转换视角,因此对大脑与小脑、开源与自采数据、Benchmark 与产品落地的讨论比较具体。

亮点是它没有停留在概念判断,而是给出了不少一手细节,例如 2000 小时开源数据、六相机 UMI 采集、抛弃基站、微秒级时间同步、95% 轨迹 replay、zero-shot 任务、用 GPT-6 Astra 做标注,以及对触觉和多模态上下文的理解。这些细节让听众能更清楚地看到一家具身创业公司如何组织研究和数据。

局限也很明显:作为公司首席科学家,他没有披露模型架构、训练成本、具体评测结果和商业化细节,部分判断来自公司内部视角,外部验证信息不足 [推测]。节目更适合关注具身智能创业、机器人数据、基础模型迁移和年轻研究者职业选择的听众;如果期待具体算法实现、论文级实验细节或中立 Benchmark 对比,本期信息还不够。