對英偉達研究副總裁劉明玉的4小時訪談：Cosmos 3、世界模型與Physical AI

概览

本期訪談圍繞英偉達研究副總裁、Cosmos Lab 負責人劉明玉展開，主線是 Cosmos 3、世界模型與 Physical AI。劉明玉把 Cosmos 定位為服務物理世界 AI 開發者的 Foundation Model，而不是單純的內容生成模型或與客戶競爭的產品。

訪談回溯了他從無線通訊、傳統 Computer Vision、GAN、Diffusion 到世界模型的研究路徑，也討論他如何從研究員變成管理數百人、消耗大量算力資源的項目負責人。核心結論之一是：模型能力可能逐漸收斂，真正的差異會來自生態、落地場景、資料、基礎設施與組織執行。

另一條主線是英偉達的文化與黃仁勳對他的影響。劉明玉反覆提到 first principles、長期主義、造市場、low ego、幫助生態成功，以及“不需要擊敗所有對手”的心態；他認為 Physical AI 的關鍵問題是泛化，而 Cosmos 希望透過 Better Data、Better Starting Points、Better Environments 來推動這個方向。

分段落总结

[00:10] 開場與Cosmos團隊背景

[事实] 主持人介紹本期嘉賓是英偉達研究副總裁劉明玉，訪談主題包括 Cosmos 3、世界模型、研究生涯、英偉達與黃仁勳的內部故事。 [事实] 劉明玉表示自己同時負責 Cosmos Lab，直屬團隊約八九十人，整個 Cosmos 專案涉及兩三百人，是英偉達內部重大專案。 [事实] 他每年大約來中國兩到三次，原因是中國 Physical AI 發展非常活躍，尤其是靈巧手等關鍵技術進展很快。

[05:05] Deep Imagination到Cosmos的起源

[事实] 劉明玉加入英偉達時的 job talk 願景是：有一天 deep learning 會取代傳統 computer graphics 成為生成視頻的主要方式，甚至能把小說變成電影。 [事实] 他早期在英偉達推動 GAN、unpaired image translation 和 GauGAN 等研究，幫助英偉達建立“不只會做GPU，也能做AI模型”的形象。 [事实] 2019到2020年間，他成立 Deep Imagination Research 團隊，持續朝“從小說到電影”的媒體生成願景前進。

[10:03] DALL-E、Picasso與踏入大模型

[事实] OpenAI 的 DALL-E 讓他意識到自己在 text-to-image 上的野心和決心不夠，於是寫信向黃仁勳爭取 GPU 資源。 [事实] 他與 Getty Images 等內容公司合作，成立 Picasso 專案，目標是做 AI Foundry：由客戶提供資料，英偉達提供算力與模型能力。 [事实] 他當時爭取了約1000張 A100 GPU，並把研究從“模型和論文”推向“能幫助客戶成功的產品”。

[15:00] Sora刺激Cosmos立項

[事实] Tim Brooks 曾在劉明玉團隊實習並想做視頻生成，後來加入 OpenAI 並參與 Sora；劉明玉對此既開心，也反思自己沒有在正確時間做出正確判斷。 [事实] Sora 出現後，劉明玉與公司內多位生成式模型研究者一起向黃仁勳表達必須投入世界模型的判斷，Cosmos 專案由此形成。 [事实] Cosmos 重要性提升後，他逐步收起 Picasso，離開 NVIDIA Research，改向軟體高層匯報，團隊也改名為 Cosmos Lab。

[20:00] 英偉達為何做研究與開源模型

[事实] 劉明玉認為英偉達做研究是為了理解應用公司真正需要什麼，因為晶片和基礎設施設計週期很長，不能等需求明確後才開始改。 [事实] 他說英偉達開源模型不是為了與客戶競爭，而是幫 Physical AI 社群分擔部分壓力，讓開發者把資源集中到自己的關鍵痛點。 [推测] 在他的敘述裡，英偉達做模型的戰略價值不只是模型本身，而是反向塑造未來硬體、軟體與生態需求。

[25:07] 為何選擇Physical AI世界模型

[事实] 劉明玉沒有選擇大語言模型，是因為他的背景在 Computer Vision 和 media generation，英偉達內部也已有強大的大語言模型團隊。 [事实] 他認為 Physical AI 能改善自動駕駛、危險或勞力密集工作、家庭瑣事等物理世界問題，因此世界模型應服務 Physical AI，而不是只服務內容創作。 [事实] 黃仁勳要求團隊做有巨大 impact 的事，即使短期不賺錢，也要追求未來可能成為巨大市場的方向。

[30:12] 從台北、交通大學到Computer Vision

[事实] 劉明玉在台北長大，本科在台灣交通大學學無線通訊，原本沒有計畫去美國留學。 [事实] 大三時他看到美國研究所做的題目更像零到一突破，因此決定去美國；赴美前在 Intel 實習時第一次接觸 AI 和 Computer Vision。 [事实] 他在馬里蘭大學讀博士，最初想做量子通訊，後來轉向 Computer Vision，研究過步態辨識、shape matching、segmentation 等傳統視覺問題。

[40:00] 研究、工程與生成式理解

[事实] 劉明玉區分 discriminative model 和 generative model，認為能生成、重建或描述某個東西，意味著對它有更深理解。 [事实] 他認為 research 的核心是問對問題，而 engineering 的價值是把東西做出來，證明這確實是值得解的問題。 [事实] 他早期喜歡漂亮數學，後來意識到為了數學乾淨而做太多假設，可能會讓研究離真實世界太遠。

[45:10] 研究表達、GauGAN與產品化

[事实] 他總結自己早期做研究的問題是“做100分，解釋只有10分”，後來越來越重視讓別人理解工作的重要性。 [事实] GauGAN 起初的算法名是 SPADE，後來在英偉達市場團隊建議下改成更容易理解的 GauGAN，並受到媒體和用戶關注。 [推测] GauGAN 的經驗讓他更明確地走向“研究及產品”：不只追求 paper 指標，也追求用戶能感知的價值。

[55:30] 從GAN到Diffusion的轉向

[事实] 他與多位實習生和研究者一起嘗試 scale GAN，但長期實驗讓他得出 GAN 不夠 scalable 的結論。 [事实] 看到 Diffusion 的穩定性後，他決定團隊停止以 GAN 為主線，轉向 Diffusion，後續做了 Edify Image、Edify 3D、Edify Video 等系列。 [事实] 他認為 AI 方法的演進越來越接近“更簡單、更可擴展”的方向，過去的探索仍幫助他理解今天的問題本質。

[63:15] 加入英偉達與算力資源

[事实] 劉明玉離開三菱電機研究院的重要原因之一是他相信算力對 deep learning 至關重要，而三菱不是重視算力的公司。 [事实] 他選擇英偉達，是因為自己總是在買 GPU、缺 GPU，因此覺得不如加入生產 GPU 的公司。 [事实] 他說在英偉達爭取 GPU 的關鍵，是要理解公司要解什麼問題，並清楚說明自己的研究為什麼對公司重要。

[73:00] 模型能力收斂與差異化

[事实] 劉明玉認為模型能力會逐漸收斂，單靠模型本身不夠，必須與公司生態、產品和用戶反饋結合。 [事实] 他認為創業公司應該做大公司不能或不願 justify 的痛點，而不是直接複製 OpenAI 或 Anthropic 的路線。 [推测] 他對模型競爭的看法偏“去神化”：模型會變成通用能力，長期差異在於拿模型做什麼。

[83:30] 從研究員到VP

[事实] 劉明玉表示自己可能是英偉達第一個從研究員一路升到 VP 的人，原因包括早期幫公司建立 AI research 知名度、重視落地、獲得公司信任。 [事实] 他擔心成為管理者後與底層脫鉤，所以仍會讀論文、看 code、review 細節並 challenge 團隊想法。 [事实] 他認為大模型專案的 scale 包括算力、人員、管理和責任，現在每天都面對很高的運算與儲存成本。

[87:00] 黃仁勳的影響

[事实] 劉明玉說黃仁勳會傳論文給他看，並要求他寫 summary，黃仁勳對學習和理解新領域有很強熱情。 [事实] 他認為黃仁勳的決策方式是 first principles，能把事情本質想清楚，不受外部訊號干擾，並敢於長期投入 CUDA 和 deep learning。 [事实] 他從黃仁勳身上學到 prioritization：快速判斷什麼重要、什麼不重要，並把時間放在真正重要的事情上。

[92:30] 武術、精力與Cosmos 97

[事实] 劉明玉長年練中國武術，受金庸小說影響入門，並認為武術訓練身體控制、心智和自我修正。 [事实] 他早上運動，也做 ice plunge，以維持面對高強度工作的精力。 [事实] 他說做完 Cosmos 1 後問黃仁勳是否繼續，黃仁勳回答“做到 Cosmos 97”，代表這是一個長期方向。

[98:10] Cosmos願景與世界模型定義

[事实] 劉明玉把 Cosmos 的願景概括為幫機器人構建“黑客帝國”式的學習環境，以加速 Physical AI 的泛化。 [事实] Cosmos 想透過 Better Data、Better Starting Points、Better Environments 幫助 Physical AI，其中 Better Environments 最具挑戰。 [事实] 他認為“世界模型”是一個很大的詞，不同用途會導致不同定義；Cosmos 更準確地說是 World Foundation Model。

[110:00] Cosmos 1到3的迭代與開源

[事实] Cosmos 早期分成 predict、transfer、reason、policy 等多個方向，後來劉明玉意識到模型太多會困惑使用者，也會降低維護與迭代速度。 [事实] Cosmos 3 轉向單一 Omni-Model，把過去多個模型合在一起，並且效果超過原本獨立模型。 [事实] 他說 Cosmos 3 的價值不只是概念創新，而是把多模態、大模型、工程細節與開源透明度真正做出來。

[122:00] 多模態、Action與雙塔架構

[事实] Cosmos 3 把 language、video、audio、action 放在一起，因為 Physical AI 的 agent 會 take action，會改變物理世界狀態。 [事实] 他認為 language 用來帶入人類知識並與人溝通，video/audio 用來描述世界運作，action 則讓模型服務能改變世界的機器。 [事实] Cosmos 3 使用雙塔設計，一邊處理離散訊號，一邊處理連續訊號，這有助於客戶在 post-training 時按用途調整模型。

[135:00] 泛化、評測與數據難題

[事实] 劉明玉認為 Physical AI 的核心泛化能力，是讓機器人從少量示範或說明書中學會新的操作。 [事实] 世界模型評測有 benchmark、arena style 和與真實客戶痛點結合三類；在 Physical AI 裡，第三類尤其重要。 [事实] Physical AI 數據分 navigation 和 manipulation，前者較容易共通，後者更複雜；Cosmos 3 特別加入 egocentric data，包含人眼視角和人手操作。

[150:00] Cosmos大團隊協作

[事实] Cosmos 3 論文作者接近300人，劉明玉認為大團隊難點是同時做到目標一致和自主決策。 [事实] 他會先把模型願景和最終形態講清楚，讓不同崗位的人能在同一張 picture 下做決定。 [事实] Cosmos 團隊會議很多，但他強調會議要讓人參與、同步資訊，並在不同階段調整溝通密度。

[157:00] Physical AI的ChatGPT Moment

[事实] 劉明玉認為 ChatGPT Moment 是讓大眾看到 scale 後的模型如何改變生活；Physical AI 的對應時刻會是一個明確有用的 AI 驅動物理應用。 [事实] 他希望這個時刻盡快到來，但不確定是今年、明年還是更晚。 [事实] 對人形機器人，他認為全人形長期可能適合人類環境，但實際形態仍取決於成本、操作需求和經濟效益。

[162:00] 安全、競合與下一個CUDA

[事实] 對“為機器人打造 Matrix”可能帶來的風險，劉明玉說這個比喻主要是幫大家理解加速學習環境，AI 是否 take over 還取決於人類社會的共識和 guardrail。 [事实] 他說世界模型是工具，Physical AI 問題很難，其他團隊如果利用 Cosmos 做出更好且開源的模型，他也認為是好事。 [事实] 他不認為單一模型就是下一個 CUDA，而是模型、serving、infrastructure 等多層 stack 合在一起，才可能形成類似 CUDA 的平台效應。

[167:00] 英偉達十年與公司文化

[事实] 劉明玉加入英偉達時只是因為想去 GPU 多的地方，沒有預期英偉達會從少有人把它與 AI 連在一起，變成全球 AI 核心公司。 [事实] 他說黃仁勳常提醒大家公司像只剩30天現金流，以此要求自己做對公司最重要的決定。 [事实] 他描述英偉達在困難時期更傾向削減差旅、工具等開銷，而不是輕易裁員；公司也沒有末位淘汰文化。

[180:00] Mission is the Boss與low ego

[事实] 劉明玉說英偉達像有機體，Mission is the Boss；Cosmos 就是很多不直屬於該團隊的人也能因 mission 來支持的案例。 [事实] 他認為一群聰明人合作的關鍵不是全是同一類型的人，而是互信、多元分工並降低溝通成本。 [事实] 他把自己的 low ego 解釋為一種信心：目標不是擊敗對手，而是做出更好的 foundation，幫助夥伴走得更快。

[185:00] Take care與黃仁勳的批評方式

[事实] 劉明玉認為英偉達從顯卡時代起就習慣與生態一起成長，支持遊戲公司、深度學習框架、Triton、vLLM 等，是真心希望平台上的客戶成功。 [事实] 他形容黃仁勳是“六邊形戰士”，能深入 register、computer architecture，也能談 marketing、產品定價和客戶關係。 [事实] 黃仁勳曾在一次方案比較中問他 “Are you a crying baby?”，讓他記住不要找公平與否的理由，而要 give everything you have。

[190:00] No.1能力與社會貢獻

[事实] 劉明玉不再把“絕對 No.1”作為唯一目標，而是希望具備做 No.1 模型的能力，去做對世界貢獻最大的事情。 [事实] 他說十年前講 deep learning 會取代 computer graphics 的願景已經發生，下一個重大目標是讓世界模型推動 Physical AI 成功。 [事实] 他現在更在意自己是否幫助了使用 Cosmos 的用戶、團隊成員和交流過的人，而不是 paper、citation、獎項或金錢指標。

[193:50] 中國模型、LLM熱與模型競賽終局

[事实] 劉明玉稱中國模型發展非常 impressive，提到 DeepSeek、千問、豆包、MiniMax、Kimi 等都做得很好。 [事实] 他認為中國公司招收很多實習生，有助於 know-how 擴散，這對人類知識擴增是好事。 [事实] 他不認為矽谷只是被 LLM 催眠，因為 LLM 和 coding agent 確實產生巨大用途；但他也認為模型能力會慢慢統一，關鍵是把模型用來做什麼。

[200:00] 中國機器人、泛化與快問快答

[事实] 他認為中國強大的製造業和快速硬體迭代，給機器人公司帶來美國不容易具備的軟硬體整合條件。 [事实] 他把 Physical AI 的核心泛化問題描述為：從有限 observation-action 訊號中學到操作，並快速泛化到新場景。 [事实] 快問快答中，他提到喜歡牛肉麵、喜歡灣區天氣、受金庸小說影響走向中國武術；給年輕研究員的建議是不要緊張、對自己有信心、看清值得投入的地方。

[210:00] 模型競爭不是魷魚遊戲

[事实] 劉明玉認為如果大家解同一個問題，競爭就像魷魚遊戲；但世界上要解的問題很多，模型競爭不應該如此。 [事实] 他說如果問題能用 data 解，就先收集 data，不要浪費力氣開發算法；真正不能用 data 解的，再用算法。 [事实] 對英偉達來說，Cosmos 不是不能輸的戰爭，而是造市場：Physical AI 如果成功，整個世界對算力的需求會大幅增加。

播客点评/总结

這期的價值在於把 Cosmos 3 放回英偉達的長期平台戰略中理解：它不是一個孤立模型，而是為 Physical AI 開發者提供資料、起點和環境的基礎設施。訪談也清楚呈現了從研究、工程到生態的思維轉換。

亮點是劉明玉非常具體地講了多個關鍵決策：從 GAN 轉 Diffusion、從 Picasso 轉 Cosmos、從多模型轉 Omni-Model、從追求擊敗別人轉向幫助生態。這些內容對研究員、AI 創業者和關注機器人/世界模型的人都很有參考價值。

局限是訪談多數觀點來自英偉達和 Cosmos 視角，對外部競爭者、實際商業化時間點、Physical AI 的具體市場規模並沒有可驗證的定量結論。[推测] 更適合想理解 AI 基礎設施公司如何下注下一代市場的人，而不是只想看 Cosmos 3 技術細節拆解的讀者。