对谢赛宁的7小时马拉松访谈：世界模型、逃出硅谷、AMI Labs、两次拒绝Ilya、杨立昆、李飞飞和42

概览

本期是一场从个人成长、学术训练、AI 研究范式到创业选择的长访谈。谢赛宁把自己的路径描述为并非“天选之子”的线性胜利，而是一连串带有随机性、直觉和气质相投的选择：从交大 ACM 班、新加坡实习、UCSD 博士，到 FAIR、NYU，再到与杨立昆共同创业。

技术主线围绕“表征学习”展开。他反复强调，视觉、表征、自监督学习、多模态、DiT、REPA/RAE 和世界模型并不是孤立论文，而是一条围绕架构、数据、目标函数和真实世界理解逐步展开的研究线索。

访谈后半段集中讨论世界模型与 AMI Labs。谢赛宁认为语言模型很重要，但不应被看作通往 human-level intelligence 的唯一地基；世界模型更像一个面向物理世界、预测、规划、记忆、可控与安全的底层系统。创业的动机，也被他表述为在硅谷主流 LLM 叙事之外，为真实世界的问题、数据和合作网络建立另一条路径。

分段落总结

[00:12] 开场与访谈背景

[事实] 主持人在纽约开场，介绍本期嘉宾为华人青年科学家谢赛宁，并提到他刚刚与图灵奖得主杨立昆踏上创业旅程。 [事实] 开场称他们的 Neolab/AMI 刚完成第一笔超大规模融资，团队规模约 25 人。 [事实] 主持人预告了本期会谈到 Ilya、杨立昆、李飞飞、世界模型和创业等话题。

[01:23] 纽约、NYU 与第一次长播客

[事实] 谢赛宁说自己来纽约做学术，既因为喜欢纽约这座城市，也因为 NYU 的 AI 布局和杨立昆等人的存在。 [事实] 他提到 NYU 电影学院和纽约的文化气质，也解释了自己中英夹杂的表达状态。 [事实] 这是他第一次做播客和访谈；他过去更习惯做听众，也曾顾虑“不知道哪些话值得说”。

[06:21] 童年、家庭与互联网记忆

[事实] 谢赛宁回忆童年时，母亲经常带他到各地旅行，父亲喜欢看书，家里有几面墙的书。 [事实] 他九岁左右有了第一台电脑，先是玩游戏，后来接触互联网、BBS、博客、QQ 空间和饭否。 [推测] 早期旅行、阅读和互联网表达，共同塑造了他后来反复提到的开放性和“世界模型”。

[10:02] 交大 ACM 班与非线性选择

[事实] 谢赛宁说自己并不是一路 A-class 的标准路径，而是因为心理学和数学竞赛奖项，偶然获得提前进交大的机会。 [事实] 他选择交大，是因为喜欢上海、认同学校气质，并且明确想学计算机。 [事实] 他把提前进校后两个月在寝室打游戏称为人生高光时刻，因为那种“虚度时光”的自由后来再没有出现过。

[17:00] 何晓迪、《交大学生生存手册》与研究启蒙

[事实] 谢赛宁提到学长何晓迪，本科时发表过 CVPR 论文，也主笔过《交大学生生存手册》。 [事实] 这本手册讨论人为什么学习、大学教育的问题、如何做研究，以及研究不应只是灌水发论文。 [事实] 谢赛宁说何晓迪和这些早期文本潜移默化影响了他对研究的理解。

[20:00] 从计算机视觉到新加坡实习

[事实] 谢赛宁在本科阶段通过书籍、实验室和学长交流，基本确定自己想做计算机视觉。 [事实] 交大 ACM 班大三通常去微软亚研院实习，但当时没有视觉组愿意接收本科生，他主动联系新加坡国立大学颜水成老师实验室。 [事实] 他没有选择更稳妥的路径，而是坚持去做自己想做的视觉研究。

[30:28] NUS、第一篇论文与 AlexNet 时刻

[事实] 在新加坡期间，谢赛宁由当时还是 PhD 学生的冯嘉实指导，发表了一篇 BMVC 论文。 [事实] 他认为真正写过一篇 paper 和没有写过 paper 的差别很大；那段经历让他第一次知道 research 是怎么回事。 [事实] 这段时间正好接近 AlexNet moment，他开始认识 ImageNet 和深度学习。

[36:24] 申请 PhD 与选择图老师

[事实] 谢赛宁回忆申请 PhD 时的选择，后来成为图老师在 UCSD 招的第一个学生。 [事实] 他曾担忧学校排名，但认为不必为尚未发生的事情提前焦虑。 [事实] 他形容图老师会坐在显示器旁边一行一行带学生做事，这与之前“小打小闹”的研究经历很不同。

[44:51] 博士训练、ICCV 与早期成名感

[事实] 谢赛宁说自己博士早期并非一开始就顺利，但在做图像相关工作时逐渐建立了对深度学习的理解。 [事实] 一篇发表在 ICCV 的论文获得 Marr Prize 最佳论文提名，这对他触动很大。 [事实] 他后来调侃，这是自己最后一次拿 best paper 相关荣誉。

[57:45] FAIR 实习、何凯明与 ResNeXt

[事实] 何凯明加入 FAIR 后，谢赛宁第一次与他共事，最初还带他熟悉 Meta/Facebook 内部系统。 [事实] 在 ImageNet Challenge 中，他们做出了 ResNeXt；谢赛宁认为这个框架体现了可扩展表征学习，也与后来 MoE 的一些思想相通。 [事实] 他强调很多好研究不是线性推进，而是在长时间困顿后突然收敛。

[69:51] 表征学习作为长期主线

[事实] 谢赛宁把自己的研究主线概括为 representation learning，即从数据映射到一个具有良好性质的空间，以便服务下游任务。 [事实] 他做过图像识别、分割、边缘检测、视频识别、动作识别和 embodied RL 相关任务，但认为这些都是表征学习这棵树的枝条。 [推测] 他更在意“扎根”于表征学习，而不是在单一应用分支上扩张。

[79:29] 第一次拒绝 OpenAI 与 FAIR 的吸引力

[事实] 谢赛宁回忆自己 2018 年面试 OpenAI，最后没有去，而是选择 FAIR。 [事实] 他选择 FAIR 的核心原因是何凯明、Peter、Ross Girshick 等当时顶尖的计算机视觉研究者在那里。 [事实] Ilya 曾因他直接拒绝 offer 而打电话询问；谢赛宁说当时 Ilya 语气严厉。

[84:00] 第二次与 Ilya 通话

[事实] 谢赛宁说自己一共与 Ilya 打过两次电话，第二次是在 2024 年 7 月 SSI 刚成立时，Ilya 发邮件邀请他一起工作。 [事实] 他再次拒绝，因为自己刚在 NYU 开始工作，也因为双方路线不完全一致。 [事实] 他提到这次主要讨论的是未来 AI 如何拥有爱的能力，以及 Ilya 认为多模态、感知或视觉模型已经解决得不错。

[90:36] 论文、理解与 fame

[事实] 谢赛宁认为 research 的目的不是发论文本身，而是把 knowledge share 出去，让别人有事可做、视野被打开。 [事实] 他引用汉娜·阿伦特式的理解观，表示自己更认同“让更多人理解一个问题”，而不是以自我为中心地“创造 impact”。 [事实] 他不喜欢媒体把学生做的工作都宣传成“谢赛宁团队”，认为应给真正做工作的人更多 visibility。

[96:43] 从 FAIR 到 NYU 与杨立昆

[事实] 谢赛宁在 FAIR 待了四年后去了 NYU，杨立昆是重要原因之一。 [事实] 他认为杨立昆很有 vision，早在十几年前就在 NYU 推动数据科学中心等跨学科 AI 组织。 [事实] 他也喜欢 NYU Center for Data Science 开放、玻璃门、跨学科和类公司但又学术的环境。

[101:39] 李飞飞与定义问题的能力

[事实] 谢赛宁说李飞飞对他的影响很大，她的成长故事和自传给过他安慰。 [事实] 他认为李飞飞最厉害之处不是简单“做了 ImageNet 数据集”，而是定义清楚图像分类这个问题，让深度学习有了施展平台。 [事实] 他与李飞飞合作过 Thinking Space 和 Cambrian 相关工作，后者帮助他拓展多模态与视频问题定义的边界。

[110:39] 自监督学习、MoCo 与 scaling

[事实] 谢赛宁说表征学习可从架构、数据和 objective 三个方面展开。 [事实] 在 FAIR，他与何凯明做自监督学习；何凯明很早就强调模型和数据要“大大大”，追求 scalable model。 [事实] 他解释了自监督学习从 pretext task 到对比学习的演进，并提到 MoCo 等工作。

[120:46] 何凯明的方法论

[事实] 谢赛宁认为何凯明具有极强的专注力、research taste、工程能力、阅读重点和问题抽象能力。 [事实] 他强调 idea 不能坐在那里凭空想，真正好的方向来自大量输入、探索和抽丝剥茧。 [事实] 何凯明要求实验前预测结果；预测对了说明思路可延伸，预测错了也是重要信号。

[130:00] 非线性研究与 pivot

[事实] 谢赛宁说，最差的研究往往是最初 idea 和最终论文完全一致、毫无障碍，因为那说明 idea 可能很 boring。 [事实] 好研究通常需要长时间探索、反复 pivot，最后才能从终点反推回起点，把路径讲成一条线。 [事实] 他认为失去定义问题的能力，就基本丧失了创新能力和做 research 的能力。

[140:00] 代表作、革命性论文与 LLM 的位置

[事实] 谢赛宁列举 LeNet、AlexNet、ImageNet、ResNet、Transformer、GPT-3、BERT、CLIP、ViT、GAN 等作为真正深刻影响 AI 进程的工作。 [事实] 他认为 DiT 算是向前推了一小步，但还不是完全改变进程的代表作。 [事实] 他提出“LM 不会死，但会 fade away”，意思是语言模型是重要工具，但不是通用智能系统的地基。

[150:00] 自监督的局限与基础设施

[事实] 谢赛宁说自监督学习曾有大起大落，虽有好结果，但没有像 GPT 一样交付出可扩展的未来范式。 [事实] 他提到 PointContrast 把自监督学习扩展到 3D point cloud，证明表征学习不只属于图像。 [事实] 他强调强基线和基础设施的重要性，认为弱 baseline 上的提升可能只是灌水，真正突破要建立在尽可能强的系统之上。

[164:00] Research Taste、哲学与审美

[事实] 谢赛宁说何凯明会让大家多读哲学，还曾送他《金刚经》。 [事实] 他认为 research taste 不只包括具体方法，也包括审美、表达、论文图示、网页、视频和 storytelling。 [事实] 他把写论文类比为拍电影：关键不只是技术点，而是如何呈现选择、冲突和抵达结论的路径。

[180:00] DiT 与 FAIR 文化变化

[事实] 谢赛宁说 DiT 是 FAIR 后期工作，当时 ChatGPT 出来，OpenAI 和 DeepMind 做出了 FAIR 难以想象或难以做到的事情。 [事实] 他认为 FAIR 开始出现大量 research alignment meeting，讨论一年两年应该做什么项目，这与 bottom-up research 逻辑相反。 [事实] DiT 起初不是为了做 diffusion model，而是在研究 diffusion model 的表征时，发现用 ViT 做 diffusion 架构有价值。

[190:00] 错过 Perplexity 与反脆弱

[事实] 谢赛宁说自己很早看过 Perplexity 创始人 Aravind 的 demo，对方说要“割 Google 的命”，但他当时觉得像 GPT 套壳。 [事实] 他没有后悔自己的选择，认为每个决定都忠于自己的内心和研究道路。 [事实] 他把 research 描述为需要反脆弱：拒稿、冲击和不确定事件不一定只是伤害，也可能让系统更强。

[200:00] NYU 的资源处境与学生合作

[事实] 在 NYU，谢赛宁希望像何凯明在 FAIR 搭 TPU 基础设施那样，让学生尝试 Google TRC 的 TPU 资源。 [事实] 学生一开始觉得 TPU 太难用，想买 H100，但他要求至少尝试数周，除非确有技术障碍才放弃。 [事实] 他认为北美学术界资源处境艰难，政府和公司资助相对有限，而大模型时代又让工业界资助机会减少。

[210:00] Thinking Space 与多模态阶梯

[事实] 谢赛宁在 Thinking Space 中提出超感知、空间智能和多模态发展阶梯。 [事实] 他用 L0 到 L2 等阶段描述：从纯语言模型，到 show-and-tell 多模态，再到处理连续视觉流和空间理解。 [事实] 他认为终局需要 predictive world model，能解释观察到的视觉世界，而不是只回答单张图的问题。

[220:00] LLM 兴起与视觉的机会

[事实] 谢赛宁并不因 LLM 兴起让 CV 边缘化而沮丧，反而感谢 LLM 扩大了视觉进入多模态智能的范围。 [事实] 他认为语言作为 interface 让视觉问题定义更自由，但也带来对语言的过度依赖。 [事实] 他引用杨立昆“拐杖”的说法，认为语言模型能帮系统走路，但若视觉表征这条腿不够强，就跑不起来。

[230:00] 语言模型不是纯自监督

[事实] 谢赛宁认为语言模型并不是纯粹自监督，而更像 strongly supervised learning。 [事实] 他的理由是语言承载了人类文明长期处理世界后的结果，互联网把这些知识以 token 形式上传，模型等于免费获得了大量 label。 [事实] 他强调语言是 communication tool，不是世界全部，也不是唯一的思考或决策工具。

[240:00] 工业界封闭、署名机制与 REPA/RAE

[事实] 谢赛宁担心大模型时代的组织结构削弱学术界与工业界之间原本良性的交流和 credit assignment。 [事实] 他提到 REPA，即让 diffusion model 的 internal representation 与外部自监督模型表征对齐。 [事实] 他又提到 Representation Autoencoder，进一步思考能否直接用强表征作为生成模型的 encoder 或 foundation。

[251:31] 世界模型的基本定义

[事实] 谢赛宁把世界模型定义为：给定系统或环境当前状态，以及 action/intervention，学习一个预测或 transition function，预测下一个状态。 [事实] 他提到 Kenneth Craik 早在 1943 年就提出过相关概念：人脑中的模型能预测行动后果，从而指导决策。 [事实] 他强调世界模型不是新词，也不一定只做时间序列预测。

[260:00] 抽象表征与 Bitter Lesson

[事实] 谢赛宁认为表征学习需要层次化表征，逐层抽象，最终形成对决策更有意义的 representation。 [事实] 他用飞机动力学举例，说明不能从每个分子的碰撞去建模，而要通过统计和抽象形成可用理论。 [事实] 他认为语言本身是一种人类设计出的高度抽象结构，因此把 LLM 当作 Bitter Lesson 的代表并不准确。

[271:29] 世界模型需要具备的能力

[事实] 谢赛宁反对把视频帧简单 token 化后交给语言模型，因为这会把连续物理世界表征压平成冗长序列。 [事实] 他认为世界模型应理解 physical world，具备大规模 associative memory，能 reason、plan、做 counterfactual 或 causal inference。 [事实] 他还强调世界模型需要足够 controllable and safe。

[280:00] 世界模型是底座，不是单一算法

[事实] 谢赛宁说世界模型是目的，不是具体算法或技术路线。 [事实] 他认为生成视频或游戏只是接口，不是世界模型的核心；世界模型核心在于自发学习更好的表征和预测。 [事实] 他认为理解和生成都需要真正的 world model 作为基础，上层解码反而相对简单。

[290:00] 数据、产品与真实世界接口

[事实] 谢赛宁说世界模型的产品形态比数据问题还难，ChatGPT 成功部分来自自然的 interface。 [事实] 他举 AI glasses、personal assistant 和可穿戴设备为例，认为 always-on 的传感器和身体数据需要智能系统给出有意义决策。 [推测] 他把未来世界模型的入口看作连续感知真实世界，而不是只在屏幕里对话。

[300:00] 与杨立昆共同创业的起点

[事实] 谢赛宁说有人建议他去问问杨立昆，后来在一次 one-on-one meeting 中，杨立昆先告诉他自己想离开原有环境创业。 [事实] 谢赛宁发现杨立昆想做的事情与自己想象中的世界模型方向高度一致。 [事实] 他认为这件事既不是传统学术，也不是封闭大模型公司，而是需要 research 倾向、资源和开放合作的新组织。

[310:00] 硅谷叙事之外的隐形世界

[事实] 谢赛宁说公司不是 non-profit，也不是纯 research lab，而是需要 business model。 [事实] 他认为在硅谷和 LLM 叙事之外，有大量农场、医院等真实世界场景，存在 LLM 无法直接解决的物理世界问题。 [事实] 他引用朋友的建议：要做出好产品，首先要热爱生活，理解真实人的需求，而不是把 AI 强加到人头上。

[320:00] 团队、年轻研究者与可见度

[事实] 谢赛宁说团队成员来自 OpenAI、GDM 等地方，但很多人不是为了上市和赚钱，而是想做 research。 [事实] 他希望给年轻研究者足够 visibility，而不是让他们成为巨大机器中可替换的螺丝钉。 [事实] 他更倾向招募有能力、有声誉但还没被大众熟知的人，而不是只聚集已经功成名就的超级明星。

[325:00] AMI Labs 与“反向 OpenAI”

[事实] 谢赛宁说希望 AMI Labs 能连接学术界中想做事的年轻人，让他们参与 AI 历史进程。 [事实] 他把公司逻辑称为“反向 OpenAI”：不是从互联网下载数据训练模型再推向市场，而是与真实世界中有问题、有数据的伙伴共建闭环。 [事实] 他提到公司第一天会有四个办公室：巴黎总部，以及纽约、蒙特利尔、新加坡。

[329:00] 联盟式世界模型与反垄断叙事

[事实] 谢赛宁用 Mastercard 相对 Visa 的故事类比，说明多个本地银行组成联盟也能对抗垄断市场。 [事实] 他认为 world model 的叙事更 decentralized、更分布化，也天然抵抗某种垄断。 [事实] 他强调公司仍是严肃创业公司，不代表所有研究都会开源，但希望在封闭大模型公司和纯研究实验室之间找到平衡。

[333:01] 为什么对 Ilya 说 No、对杨立昆说 Yes

[事实] 主持人问他为什么两次拒绝 Ilya 却选择杨立昆。 [事实] 谢赛宁认为杨立昆不是反对 LLM，而是反对“LLM 可直接通往人类级智能”的叙事。 [事实] 他敬佩杨立昆的 scientific integrity：可以被事实移动，但不能因别人要求而改变科学判断。

[341:00] 融资、团队与 mission-driven

[事实] 谢赛宁在对话中提到融资目标可能接近 1 billion，并说如果不对会被剪掉。 [事实] 他介绍初始团队约 25 人，希望逐渐 grow，不想太快也不想太慢。 [事实] 他提到有人放弃 OpenAI 未归属股票或 Meta 高额 offer 加入，认为大家主要是 mission driven。

[353:00] 创业的勇气与人的选择

[事实] 谢赛宁说很多硅谷投资人和从业者并不相信他们，但他享受 underdog 身份。 [事实] 他用滑雪作比喻：创业需要反本能地把肩膀朝向山下，勇气反而带来稳定和控制。 [事实] 他在识人上更重视一个人是否真正有理解问题、解决问题的热情和执着。

[363:00] 从质疑 JEPA 到成为 JEPA

[事实] 谢赛宁说自己经历了质疑 JEPA、理解 JEPA、成为 JEPA 三个阶段。 [事实] 他认为 JEPA 不是单一自监督算法，而是一套 cognitive architecture，包含世界理解、预测和 planning。 [事实] 他认为杨立昆的公司把问题做大，留出探索和 scaling 的空间，因此值得投入生命去走。

[370:00] 动物智能与 human-like world model

[事实] 谢赛宁谈到黑猩猩、鸟类、鲸鱼、狗和蝙蝠等动物的智能，认为智能边界很广泛。 [事实] 他认为目标仍是 human-like intelligence，但要放弃人类中心式的自大。 [事实] 他引用 Rich Sutton 的观点，认为造出一只在真实世界里能生存、有目标、有内在奖励和社群活动的“松鼠智能”，比写代码或拿竞赛金牌更接近难题本身。

[380:00] 团队中的“电池”与研究者的沮丧

[事实] 谢赛宁说杨立昆常把自己在团队中的定位比作电池，用 passion 和能量 empower 他人。 [事实] 他也希望自己成为学校或创业团队中的电池。 [事实] 他承认 researcher 常常感到迷茫和沮丧，真正做出东西的快乐可能只占 5% 到 10%。

[390:00] AI、电影与人生之书

[事实] 谢赛宁推荐多部与 AI 预言或现实有关的影视作品，包括《万神殿》以及 AI 电影节作品 Total Pixel Space。 [事实] 他认为很多科幻和电影都像现实的预言，但通常并不指向光明未来。 [事实] 他的人生之书推荐是《哥德尔、艾舍尔、巴赫：集异璧之大成》，称其是本科时期的群体记忆。

[400:00] 哲学名言、世界模型与 42

[事实] 谢赛宁反感论文里简单引用维特根斯坦“语言的边界就是世界的边界”或费曼“What I cannot create, I do not understand”来给 LLM 或 unified model 背书。 [事实] 他认为语言意义来自与真实世界实践的关系，这反而更接近世界模型。 [事实] 结尾他被问能否预测命运，回答不能，因为资源不够；若要回答生命、宇宙和一切，可能需要整个宇宙作为计算机，而答案也许是 42。

播客点评/总结

[推测] 本期最大的价值在于，它不是单纯讲一个 AI 创业故事，而是把个人成长、研究方法、学术组织、产业结构和世界模型路线连成了一条可理解的线。对关心计算机视觉、表征学习、多模态和 AI 研究文化的人来说，信息密度很高。

[推测] 亮点是谢赛宁对“研究如何发生”的描述非常具体：强 baseline、基础设施、预测实验结果、pivot、定义问题、credit assignment、research taste，这些内容比单纯复述论文贡献更有启发性。

[推测] 局限是节目很长，技术名词和人物线索密集；如果听众不了解 CV、FAIR、NYU、LLM 或 diffusion 相关背景，部分段落会显得门槛较高。创业部分也更多是愿景、组织形态和路线判断，具体产品与商业模式仍保留了不少未展开空间。

[推测] 适合的听众包括 AI 研究者、博士生、技术创业者、关注世界模型路线的人，以及想理解“LLM 之外还有什么 AI 叙事”的读者；不太适合作为轻量泛科普入门。