少有的同时做过 Agent、多模态和具身的人 | 对谈前混元多模态 RL Infra 负责人淏楠

概览

本期播客邀请一位先后参与 Agent、多模态生成与具身智能模型训练的从业者，回顾其职业选择与技术路径，并比较三条热门方向在能力、数据、算力、产品和个人发展上的差异。

讨论认为，Agent 的核心智能水平已较强，下一阶段重点是覆盖更多场景并改善 GUI、交互与易用性；视频生成仍处于“半山腰”，模型质量、可控性、上下文管理和创作工具都有明显提升空间，人类的审美选择仍会长期参与其中。

在具身智能方面，嘉宾认为大模型不必先完整模拟世界，便可以通过视觉理解与动作输出执行任务。更现实的架构是“大模型负责高层理解和疑难接管，小模型负责高频控制”，再利用失败恢复数据形成持续迭代闭环。

整期讨论最终落到一个共同结论：无论视频生成还是具身智能，真正的壁垒不仅是模型结构，更来自高质量数据、真实产品、硬件协同以及能够持续回流数据的落地场景。

分段落总结

[00:19] 嘉宾经历与本期讨论主线

[事实] 嘉宾曾参与 Language Agent 的中期训练和网页搜索数据构建，后来转向多模态生成、强化学习基础设施，目前主要负责具身智能基础模型的预训练。

[事实] 本期讨论以嘉宾的经历为线索，依次覆盖 Agent、多模态视频生成、实时互动、世界模型与具身智能。

[推测] 这种跨方向经历使本期更关注技术路线之间的迁移关系，而不是孤立评价单一模型或产品。

[01:29] Agent 与多模态两条应用路线

[事实] 主持人与嘉宾回顾，当时行业普遍将 Agent 和多模态视为两条主要应用落地路线。

[事实] 嘉宾较早参与 Language Agent，主要工作包括网页搜索、新闻检索、报告生成，以及相关训练数据的构造。

[事实] 嘉宾认为 Agent 工作中大量时间可能用于造数据、检查 trace 和编写筛选规则，这与其个人兴趣和长期积累目标不完全匹配，因此转向多模态。

[推测] 嘉宾的选择并非否定 Agent 的前景，而是更看重工作内容能否带来底层技术与基础设施方面的积累。

[05:10] 多模态强化学习基础设施与资源约束

[事实] 嘉宾进入多模态团队后，主要负责图像、视频生成方向的强化学习基础设施。

[事实] 他认为国内外在强化学习基础设施本身的工程差距未必很大，更明显的差距来自算力投入、实验数量、数据积累和持续训练时间。

[事实] 在短期提高模型分数的任务中，监督微调通常更直接；图像和视频强化学习则需要基础设施、算法与奖励模型共同形成闭环。

[事实] 团队曾设想以 Agent 为主线构建多模态创作工具，让系统提出多个视频方案，再由用户选择、拒绝或提出修改意见。

[07:48] Agent 与多模态的职业取舍

[事实] 嘉宾认为 Agent 已成为明确的人机交互主线，从业者即使更换公司，也较容易继续留在同一技术方向。

[事实] 多模态数据的内容更直观，处理视频可能比逐条阅读 Agent trace 更有趣，但相关岗位和转向空间相对有限。

[事实] 多模态理解和生成正在出现不同去向：理解能力与 GUI、电脑操作结合，生成方向的一部分从业者则转向世界模型和具身智能。

[推测] 从职业稳定性看，Agent 的通用性更强；从工作体验和技术兴趣看，多模态生成可能更具吸引力，但更依赖所在公司的战略投入。

[11:31] 为什么从多模态转向具身智能

[事实] 嘉宾认为，具身智能涉及硬件、供应链、数据采集和实际部署，产业链更接近汽车或手机行业，未必符合互联网大厂追求高利润软件业务的模式。

[事实] 大厂可以进行具身模型研究，但真正落地需要深入数据采集、遥操作和硬件环节，因此嘉宾更倾向加入具身智能公司。

[事实] 从技术上看，视频生成与动作生成都可使用扩散类模型；动作也可视为一种模态，因此多模态生成经验能够较顺畅地迁移到具身智能。

[事实] 嘉宾转向具身智能还出于长期价值判断：他希望从事更接近生产力、能把 AI 带入物理世界的方向，而不是只提供内容消费体验。

[13:54] 视频生成缺少“R1 时刻”

[事实] 团队曾尝试寻找视频生成后训练中的“R1 时刻”，希望通过强化学习获得高效、可持续的能力跃升，但半年探索后认为效果不理想。

[事实] 嘉宾判断，当前视频生成的主要能力增量仍来自预训练，而不是后训练阶段的强化学习扩展。

[事实] 视频模型竞争高度依赖数据质量与数据积累；训练基础设施较容易通过开源方案和有经验的团队补齐，但数据无法快速复制。

[事实] 他认为这一方向更依赖资本、大团队和拥有真实产品的数据回流，较难仅靠一小批优秀研究者迅速突破。

[16:30] 视频生成仍在半山腰

[事实] 主持人提到部分 AI 短剧已经呈现接近专业影视作品的观感，嘉宾则认为生成能力仍未到顶，未来可以进一步接近电影质感。

[事实] 嘉宾将当前领先视频生成系统大致评价为满分一百分中的六十分，问题包括操作繁琐、上下文管理不足、连续性和可编辑性不够。

[事实] 当前优质 AI 视频往往仍需要专业人员深度参与，但人的主要作用正在从繁重制作转向通过审美和偏好引导模型。

[推测] 视频模型能力提升后，创作者的核心价值可能更多体现在选题、镜头语言和审美判断，而非传统制作流程中的大量机械操作。

[19:20] “抽卡”将从质量筛选变为审美选择

[事实] 嘉宾认为视频生成中的“抽卡”不会消失，但其意义会发生变化。

[事实] 当前抽卡常用于排除形变、人物不一致等低质量结果；未来多个候选结果可能都达到合格质量，只是镜头语言和风格不同。

[事实] 相比要求用户输入极其详细的描述，更合理的交互是由模型结合前文提出多个方案，再由用户选择和调整。

[推测] 未来视频创作工具更像“AI 提案、用户导演”的协作系统，而不是一次提示词直接生成最终成片。

[21:13] 生成与理解一体化及创作平台机会

[事实] 嘉宾认为，换人、模仿热门视频等能力需要模型先准确理解人物、动作和画面细节，再完成生成，因此理解能力能够帮助生成。

[事实] 当前视频内容的消费者远多于创作者，创作仍有成本高、流程麻烦和工具不够成熟的问题。

[事实] 他预计未来半年到一年，模型成本和使用门槛会继续下降，并可能出现同时连接内容生产者与消费者的平台。

[推测] 当生成、编辑、发布和反馈进入同一产品闭环后，平台积累的用户行为与作品数据可能进一步构成模型竞争壁垒。

[22:23] 实时互动视频的两种路线

[事实] 讨论将实时互动分为两类：一类是生成速度快于播放速度的“伪实时”，另一类是能持续理解用户输入并立即改变画面的“真实时”。

[事实] 为提高生成速度，可以采用减少降噪步骤、跳层、缓存和蒸馏等方法，但这些方法容易损害人物、场景和长程一致性。

[事实] 嘉宾当前更看重生成质量而非实时性，并对短期实现真正实时互动持谨慎态度，因为更强的一致性往往需要更大的模型，也会带来更慢的推理。

[事实] 他实际使用过相关实时生成模型，认为其速度、效果和强化学习训练效率距离成熟应用仍有明显差距。

[27:06] 世界模型的路线争议

[事实] 一类世界模型尝试根据用户动作连续生成类似游戏环境的画面，但目前视频质量和实际用途仍不清晰。

[事实] 嘉宾认为，行业长期知道完整世界建模非常困难，近期的热度变化更多来自市场情绪，而非研究人员突然发现技术不可行。

[事实] 不同公司虽然都使用“世界模型”概念，实际路线可能完全不同，包括三维环境建模、视频世界模型和面向机器人动作的模型。

[事实] 嘉宾不认同“必须先完整理解和模拟整个世界，才能执行具体任务”的前提；机器人可以在当前观察下完成一步动作，再根据新状态继续决策。

[推测] 与追求通用世界仿真相比，围绕具体任务构建可闭环的感知—行动系统，可能更接近短期商业落地。

[31:06] 具身智能的模型架构变化

[事实] 嘉宾将具身模型描述为从一个或多个视频输入出发，最终输出具有明确物理意义的低维动作向量，例如机械臂各关节的运动参数。

[事实] 传统语言模型以文本形式逐个生成数字并不适合高频、精确的电机控制，因此早期大语言模型并未直接改变具身智能路线。

[事实] 新模型展示了更强的视觉理解、指令遵循和动作序列输出能力，并针对具身数据进行训练，因此引起行业重视。

[事实] 嘉宾认为未来可能形成双层系统：上层是语言、推理和视觉理解能力很强的大模型，下层是与具体机器人硬件绑定的控制模型。

[35:42] 视觉理解、动作数据与跨本体泛化

[事实] 嘉宾认为，模型要将画面理解转化为电机动作，一方面需要强大的多模态理解，另一方面必须接触具身数据。

[事实] 不同厂商的机器人本体、关节与控制参数不同，大模型直接操作非标准硬件仍存在困难。

[事实] 模型可以通过多轮交互观察某个动作引起的视觉变化，逐步理解输出变量与具体关节效果之间的关系。

[推测] 强视觉模型对新本体的快速适配能力，可能减少部分传统机器人学习流程，但仍无法完全取代针对具体硬件的数据训练。

[38:01] 真实数据与仿真数据的边界

[事实] 嘉宾认为仿真环境对训练大模型有价值，可以像游戏一样提供大量交互，但具身厂商最终关心的是机器人能否稳定操作真实设备。

[事实] 对复杂灵巧手而言，纯仿真可能学会“完成任务”却形成不符合实际需求的动作，例如用两个手指勉强夹起物体，而非稳定贴合地抓取。

[事实] 如果仿真环境足够精确，真实到仿真再回到真实的路线可能实现规模化；但当前摩擦系数、接触关系等细节仍很难准确模拟。

[推测] 短期内真实采集和遥操作数据仍不可替代，仿真更适合作为补充，而非具身数据的唯一来源。

[40:13] 大脑、小脑与具身公司的资源现实

[事实] 对话认为，部分具身公司强调同时研发“大脑”和“小脑”，有助于讲述估值故事，但其算力规模与大模型公司相比差距显著。

[事实] 嘉宾判断，具身公司的卡量可能比大模型厂商少两个数量级，而且行业内有大量公司争夺有限资源。

[事实] 他预计系统将由上层通用大模型与下层本体控制模型组合，而不是每家具身创业公司都从头训练完整的大脑模型。

[推测] 具身创业公司的竞争重点可能从“谁拥有最大的通用模型”转向硬件能力、数据闭环、控制模型和真实场景部署。

[43:21] 长期职业选择与 AI for Science

[事实] 嘉宾表示，如果以短期收益为主要目标，早先继续从事 Agent 可能更理想，但他选择具身智能是出于长期投入物理 AI 的意愿。

[事实] 对 AI for Science，他区分了用 AI 求解偏微分方程、流体等科学问题，以及让 AI 参与化学实验等两类方向。

[事实] 后一类方向需要实验工厂和真实执行能力，与具身智能对硬件、环境和数据采集系统的需求相似。

[推测] 具身能力的成熟可能成为部分自动化科学实验系统的基础设施，但当前相关应用仍处于较早阶段。

[45:25] Agent、多模态与具身智能的阶段性判断

[事实] 嘉宾认为 Agent 的智力水平已经较高，接下来的关键是改善 GUI 等交互方式，让更多普通用户能够使用，并覆盖游戏等尚未充分开发的场景。

[事实] 在多模态方向，他更看好视频而非图片，重点是提升视频可控性和创作工具体验；未来半年可能出现更好的 Studio 或交互式工具。

[事实] 视频预训练需要大量算力与数据，平台反爬能力也在增强，因此从零训练视频基础模型对小型创业公司并不现实。

[事实] 具身领域则是大厂与小厂采用不同玩法：大厂可提供上层通用模型，小厂需要依靠硬件、控制模型和场景落地形成壁垒。

[47:39] 具身智能的落地场景与软硬件协同

[事实] 嘉宾认为小型具身公司应将自有硬件与约 7B 至 16B 的控制模型共同设计，再接入外部大模型完成上层理解。

[事实] 他以酒店整理、叠被子为例，认为这类场景地面平整、可使用轮式机器人，同时兼具一定标准化与环境变化，适合作为落地切入口。

[事实] 在估值已经较高的情况下，具身公司若想继续增长，必须证明机器人能够进入具体场景并实际完成工作。

[推测] 半结构化场景可能比完全开放的家庭环境更早实现商业化，因为任务边界清晰，同时又足以体现模型的泛化价值。

[49:02] 大模型接管与数据飞轮

[事实] 嘉宾提出分层执行方案：本地小模型先完成大部分操作，在即将失败时由更强的大模型接管；如果大模型也无法处理，再由人工介入。

[事实] 大模型接管产生的失败恢复轨迹具有很高数据价值，可以回流训练本地小模型，将任务成功率从较低水平逐步提高。

[事实] 随着小模型成功率提高，大模型调用量和人工监督负担会下降，使机器人部署具备扩展可能。

[事实] 嘉宾认为让大模型直接承担全部机械控制成本高、速度慢，更合理的角色是审核、纠错和处理少数困难步骤。

[推测] 这种“小模型执行—大模型纠错—人工兜底”的结构，可能成为具身智能早期商业部署中的关键过渡方案。

[51:04] 具身领域的蒸馏与行业拐点

[事实] 嘉宾区分了两类蒸馏：让大模型完整生成大量具身轨迹的“硬蒸馏”成本过高，而只在失败步骤接管并保留恢复轨迹的“软蒸馏”更可行。

[事实] 软蒸馏更适合由具身厂商实施，因为它们能够部署真实设备、采集现场轨迹并控制数据闭环。

[事实] 嘉宾认为新一代大模型为具身智能解锁了大量可做的新任务，是让他第一次感到该领域真正能够落地的重要节点。

[推测] 这类模型未必直接替代具身公司的技术栈，反而可能把行业重新拉到围绕硬件、数据和部署能力竞争的新起跑线。

播客点评/总结

本期的突出价值在于，嘉宾不是从单一研究方向出发，而是把 Agent、多模态生成和具身智能放入同一条技术与职业路径中比较。讨论既涉及模型结构和训练方法，也覆盖算力、数据、组织分工、供应链和商业场景，较完整地呈现了技术路线落地时受到的现实约束。

另一亮点是对“数据闭环”的反复强调：视频生成需要产品回流高质量内容数据，具身智能则需要真实设备产生任务轨迹、失败案例和恢复数据。模型能力固然重要，但能否持续获得与业务相关的数据，可能才是长期壁垒。

局限在于，部分判断来自嘉宾个人经历与行业交流，涉及具体模型能力、公司资源和未来时间表时缺少可验证数据；转录中部分专有名词也存在识别不清。因此，对“半年内出现成熟工具”“模型处于六十分”等表述，更适合作为从业者的阶段性判断，而非确定预测。

[推测] 本期适合关注 AI 工程、视频生成、机器人基础模型、创业路线或职业转型的听众，尤其适合希望理解“模型突破之后，真正的产品和数据闭环如何建立”的从业者。