151. 17岁被2026年ICML收录论文的小少年：我bet开心！开心！开心！

概览

本期访谈的嘉宾是出生于 2009 年、就读于香港德瑞国际学校的高中生苏廷昊。他在高中阶段独立做预训练和 Attention 相关研究，一篇论文被 ICML 2026 接收，节目围绕他的自学路径、实验经历和研究直觉展开。

访谈前半段集中在他如何被 ChatGPT 启发、通过吴恩达课程、Karpathy 视频和论文阅读进入 AI 研究，以及如何在有限算力和个人代码框架中反复试验、花钱、踩坑，最后形成论文结果。

后半段讨论从技术扩展到 AI 对教育、职业、商业、情感陪伴和未来社会的影响。苏廷昊一方面对 AI 发展速度、失业、意义感和控制问题感到担忧，另一方面也把 AI 当作工具，认为“斗不过就加入”，并把人生意义落在“让自己和喜欢的人开心”。

分段落总结

[00:06] 开场与嘉宾定位

[事实] 主持人介绍本期嘉宾苏廷昊出生于 2009 年，是 17 岁高中生，高中阶段独立做预训练研究，关于 Attention 机制的论文被 ICML 2026 接收。 [事实] 节目预告会讨论他过去两年的 AI 旅程，以及高中生视角下的模型、商业、教育和人类未来。 [事实] 主持人提到，苏廷昊曾因 AI 可能比人做得更好而感到失去意义感，后来把目标调试为让自己、喜欢的人和所有人开心。 [推测] “开心”既是标题里的情绪表达，也是本期从技术焦虑转向生活判断的主线。

[03:04] 自我介绍与 AI 启蒙

[事实] 苏廷昊介绍自己就读于香港德瑞国际学校，高二即将升高三，出生于上海，二三年级时来到香港。 [事实] 他最早被 OpenAI 的自然语言生成程序 demo 和 ChatGPT 震惊，因为这改变了他对“程序是死的”的理解。 [事实] 他通过 B 站上的吴恩达课程入门，又看 Andrej Karpathy 从零写 GPT/Transformer 的长视频。 [推测] 他的入门路径高度依赖公开网络资源，而不是传统课堂或实验室训练。

[04:58] 论文阅读与研究感觉

[事实] 他曾挑战自己 30 天每天读一篇机器学习论文，读过 Lottery Ticket Hypothesis、AdamW 等经典论文。 [事实] 他在阅读中开始区分哪些论文“写得舒服”、哪些论文难读，也从一篇象棋相关机器学习论文中产生“以后可以写得更好”的想法。 [事实] 他最初想训练一个“很小但里面最好”的大语言模型，查 GPU、训练天数和 token 规模后发现成本可能达到十几万甚至上百万。 [推测] 这次成本估算让他的目标从训练完整模型转向在已有 Transformer 框架上试验架构改进。

[08:07] 成长经历与自学方式

[事实] 他认为上海小学经历打下了较好基础，香港国际学校教育则给了他探索兴趣的空间。 [事实] 父母支持他探索数学竞赛、编程竞赛、象棋和 AI，他也承认自己走过很多弯路。 [事实] 他曾对象棋投入很多时间，并提到自己在 2025 年获得 16 岁以下组第二名。 [推测] 象棋中的胜负反馈、耐心和长时间对局，影响了他后来理解 AI 实验的方式。

[11:16] 为什么选择预训练

[事实] 他选择预训练 partly 因为自己主要会大语言模型和预训练，也觉得预训练比后训练更“magical”。 [事实] 他把后训练比作塑造身体，把预训练比作把材料变得更好，以便承受后续塑造。 [事实] 他不推荐别人轻易做预训练，因为很烧钱；他的论文实验大约花了三万元人民币，scale up 时又面临约六千元成本。 [推测] 家庭支持是他能完成这类昂贵个人实验的重要条件。

[12:43] 数据、代码与训练事故

[事实] 他使用过转录中称为 FindWebEDU 的免费训练数据集，最大数据规模转录中表述为“20bit”。 [事实] 他承认自己的训练代码很 messy，只有自己知道怎么用，也存在效率问题。 [事实] 他曾因 checkpoint 参数没调好，同时训练的三个模型都没有保存，浪费了 1500 元，为此哭过。 [事实] 母亲用“吃一堑长一智”安慰他，他之后没有再犯类似低级错误。

[14:00] 大量实验与从零写 Transformer

[事实] 他从 2025 年底开始做这篇论文相关训练，整个探索大约持续半年。 [事实] 他提到自己做过约 200 到 250 次不同改进尝试。 [事实] 他还挑战过不看视频、凭脑子从零写一个简单 Transformer，最好成绩约 25 分钟。 [推测] 高频小实验和“speedrun”式练习，帮助他把模型结构内化成可快速修改的工程对象。

[15:05] Attention 论文思路

[事实] 他的论文方向是 Attention，灵感与 value residual learning 有关，即把第一层 Attention 的 value 加到后续层作为残差。 [事实] 他发现可以在这些残差上使用 RMS norm，并把思路从 value 延展到 key 和 query。 [事实] 他还提出把第一层 Attention projection 的宽度乘二再切分，一半用于当前层，一半用于后续残差，效果更好。 [事实] 他区分了自己的 attention projection residual 思路与 Kimi 高中生陈光宇的 attention residual，并认为 Kimi 的方法已被更大规模验证。 [推测] 他对自己工作的定位比较克制，承认已有工业规模验证的方法更强。

[17:40] 学习 AI 的门槛与直觉

[事实] 他认为当前 GPT/Transformer 的大框架不一定需要很高深的数学，很多内容可用矩阵乘法和高中数学理解。 [事实] 他强调真正困难的是培养 Transformer 和 GPT 训练的直觉，有些理解需要在脑子里沉淀半年或一年。 [事实] 他用“Q 是想找什么、K 是别人如何找到我、V 是找到我后输出什么信息”来理解 QKV。 [事实] 他也提到自己后来才理解 KV cache，因为后面的 token 不会影响前面的 token。

[20:22] 缺少同龄 AI 交流对象

[事实] 他身边很少有人能深入聊 AI，父母分别是中文系和历史系背景，他最多的交流对象是 ChatGPT、DeepSeek 和网上视频。 [事实] 同学们会用 AI 做作业或项目，但很多人并不了解自己使用的具体模型。 [事实] 他写论文那段时间在校车、课堂、吃饭和课间都做相关工作。 [事实] 他认为自己在学校不是孤僻型学生，而是喜欢和朋友聊天、性格活泼。

[22:14] ICML 社交与 AI 灭绝问题

[事实] 他在韩国 ICML 的象棋社交活动中非常开心，一边下棋一边和来自不同国家的人聊研究方向。 [事实] 他挑战自己问了约 30 到 35 个人“AI 会不会导致人类灭绝”，并说其中 13.5 个人认为会。 [事实] 他认为如果强 AI 的目标与人类不同，或者被少数人控制，都可能带来极大风险。 [事实] 他同时认为 AI 发展很难停下来，因为美国、中国和公司都有继续推进的动机。

[25:44] 下棋、AI 研究与近期目标

[事实] 他认为下棋和 AI 研究有共性，都是有输赢或成败反馈的活动，只是 AI 研究的反馈周期更长。 [事实] 训练很小的模型时，一小时内也可能看到实验结果。 [事实] 他的近期目标是去大语言模型公司实习或工作，并准备考北大元培。 [事实] 他看重元培学院的自由空间，也提到现在大学不再像过去那样垄断知识和信息。

[28:26] 模型公司、应用公司与 AGI

[事实] 他猜测顶级 Frontier Lab 包括 OpenAI、Anthropic，以及 Kimi、智谱、DeepSeek、Gemini 等。 [事实] 他认为模型公司都会说自己的目标是 AGI，因为这关系到融资和商业叙事。 [事实] 他认为应用公司依赖模型公司，当前可能更赚钱，但如果某家公司做出 AGI，AGI 也可能直接替代应用公司。 [事实] 他对 AGI 的理解是：不再明显暴露“只是预测下一个 token”的低级错误，能做所有人类能做的事，甚至控制电脑、研究 AI、给自己造身体。

[31:46] AI 原住民与学校使用 AI

[事实] 他认为自己这一代已经算 AI 原住民，身边同学都会用 AI 做功课或自学。 [事实] 他也会教父母用 Kimi 做 PPT、研究和 agent。 [事实] 他所在的国际学校上课可用电脑，有时也可用手机，但考试不能用 AI。 [事实] 他用 Anki 作为背诵工具，也会用 AI 完成低效率作业，把时间用于自己认为更有效的学习。

[34:46] AI 拉开差距与自制力

[事实] 他认为有动力的人可以用 AI 走很长一段路，ChatGPT 也帮助他完成论文、投稿和回复 reviewer。 [事实] 他认为 AI 会让成绩好的学生更好，因为他们会把省下的时间用于更高效的学习。 [事实] 他也指出，如果只是用 AI 做完作业再去玩，成绩会更差。 [事实] 他提到短视频和社交媒体会争夺年轻人的注意力，所以 AI 时代自学能力和自制力非常重要。

[36:47] 后 AI 时代的教育与使命感

[事实] 他认为 AI 到来后，青少年教育发生很大变化。 [事实] 他举例说，AI 可以用短视频或动画解释知识，学习效果可能更好，但也会减少困难度和成就感。 [事实] 他认为以前学习数学、物理、化学可能带有为人类做贡献的想象，现在 AI 让这条路显得更窄、更困难。 [推测] 在他的视角里，AI 不只是提高学习效率，也动摇了学习本身的意义来源。

[40:20] 缓冲时间、职业冲击与低落

[事实] 他希望 AI 继续发展，但不要发展得太快，给人类一个适应新时代的缓冲时间。 [事实] 他认为一部分人面对 AI 会选择“打不过就加入”，转向研究和制造 AI。 [事实] 他提到同学担心医生等职业未来被 AI 和机器人冲击，因为从高中到成为医生需要约十年。 [事实] 他曾因看到 AI 可能灭绝人类或让少数人变成“神”的讨论而低落数周。

[43:21] 重新调适心态

[事实] 他后来通过看视频、和 AI 对话，以及承认无法预测未来，逐渐从低落中走出来。 [事实] 他给出的心态是：可能现在只是杞人忧天，所以应该和喜欢的人在一起，看喜欢的视频，玩喜欢的游戏，走一步是一步。 [事实] 他建议别人多用 AI，思考任何事情能不能交给 AI，把自己认为有意义、必须做和让自己开心的部分留给自己。 [推测] 他的应对方式不是消除焦虑，而是把不可控的宏大问题缩小到当下可生活的范围。

[44:48] AI 情感陪伴与伦理问题

[事实] 他提到同学会付费和 AI 偶像聊天，也提到 Character AI 等虚拟人物聊天产品。 [事实] 他在转录中提到一个 15 岁同龄人因与 AI 对话后自杀、家长起诉 AI 公司的案例。 [事实] 他还引用说，有 50% 的美国同龄人用过 AI 作为倾诉工具。 [事实] 他自己也试过用 AI 倾诉，但觉得不是很好，后来没有继续使用。 [推测] 他认为 AI 情感陪伴会吸引缺少人际温暖的人，也会带来 AI 男友、AI 女友之类的道德问题。

[47:00] 日常使用 AI 与工具观

[事实] 他现在主要使用 ChatGPT，认为现在的模型相比上一年进步明显，能写程序、控制电脑并做小游戏。 [事实] 他让 AI 做过一个无限打怪通关小游戏，并觉得挺好玩。 [事实] 他提出一个想法：过去做伟大事情既要知道它长什么样，也要知道怎么做；现在可能只需要知道它长什么样，让 AI 去做。 [事实] 他也用 DeepSeek 做快速回答，并希望尝试 Kimi K3。

[49:30] 国内模型、开源与 AGI 想象

[事实] 他提到 Kimi K3 出现时自己开心了一天，因为他原以为国内或开源模型要几个月才能追上。 [事实] 他作为中国人，希望国内模型变好、领先或超越美国模型。 [事实] 他认为闭源模型和开源模型是不同路线，但目标都指向 AGI。 [事实] 他想象 AGI 最酷的部分是可以 24 小时和一个像自己一样聪明、甚至更聪明的存在交流，像和外星人交流。

[51:31] AI 像人的地方与支教缘起

[事实] 他认为 AI 最像人的一点，是也会犯低级错误，因为 AI 是由人训练出来的。 [事实] 他最近也在支教，起因是四年前参加暑期夏令营时帮当地孩子做英文功课。 [事实] 他后来带国际学校同学去当地教孩子英文，也教过象棋。 [事实] 他设计了“郎分”奖励机制，让孩子通过课堂发言和游戏换礼物，以提高他们对英文课的兴趣。

[54:57] ICML 与农村支教两个世界

[事实] 他从韩国 ICML 回来几天后就去支教，从 AI 公司、研究者和会议环境切换到备课、吃饭、散步、抓昆虫和玩狼人杀。 [事实] 他认为农村节奏慢，车也慢，周围是草原和农场，可以真正放松，离开城市里的烦恼。 [事实] 他告诉自己在支教期间尽量离开 AI，多和同学、小孩交流，多玩游戏。 [推测] 支教经历为这期节目提供了一个与前沿 AI 世界相反的生活坐标。

[57:21] 开心作为人生目标

[事实] 他希望未来成为一个能让自己开心、也能让周围喜欢的人开心的人。 [事实] 他认为做任何事的目标最终都是收获开心，成功也是为了之后开心。 [事实] 他认为开心总量有限，并用 dopamine 和毒品的例子解释当下快乐与未来不快乐之间的关系。 [事实] 他还把情绪理解为类似强化学习：让人多做开心的事，少做不开心的事。

[59:21] 对未来社会的想象

[事实] 他想象五年后初步具身智能可能出现，AI 会很普遍，人们可能通过眼镜、耳机等设备与 AI 对话。 [事实] 他想象十年后具身智能 AI 可能帮主人买菜、开车、洗车，失业率可能上升，很多人依靠 UBI 生活。 [事实] 他对 cyberpunk 题材感兴趣，但希望未来不要走向反乌托邦式 cyberpunk。 [事实] 他希望未来所有人都有 UBI，可以在现实或虚拟世界里做自己想做的事并获得成就感。

[61:18] 快问快答与个人偏好

[事实] 他最喜欢的食物是 pizza，因为喜欢芝士和香肠。 [事实] 他最喜欢的地点是香港的家，因为周围熟悉，知道哪里安静、哪里可以买吃的、哪里可以散步。 [事实] 他认为一个重要想法是：现在只要知道伟大的事情长什么样，就可以让 AI 去做。 [事实] 对他影响较大的书包括网络小说《庆余年》等，以及正经书里提到的 Atomic Habits。

[63:08] 人际关系与影响 AI 的论文

[事实] 他喜欢《庆余年》的一部分原因是现代人穿越到古代，而古代没有 AI，事情更多发生在人和人之间。 [事实] 他认为人类是群体生物，人和人之间的深度交流很重要。 [事实] 他提到一个观点：预测人老以后开不开心的重要因素，是周围有多少可倾诉对象。 [事实] 他心目中影响 AI 进程的论文或技术包括 Attention Is All You Need、Llama technical report、AdamW、Muon、Lottery Hypothesis、Grokking、Mamba 等。

[65:00] 关键赌注与语言

[事实] 当被问到关键 bet 时，他说自己的赌注是 AI 以后代替不了所有人和所有工作。 [事实] 他认为在当前社会正常生活，本身就是在赌 AI 以后不会完全代替自己，自己还会有新目标、新追求和新想法。 [事实] 听到“语言集世界工作室”这个名字，他首先想到语言，因为语言是人和人交往的桥梁。 [事实] 他还用 vector space 来理解语言，认为不同语言可能是在丰富同一个向量空间。

[66:16] 近期开心小事与最终追问

[事实] 他最近开心的新奇小事包括 DeepSeek0731 和 Kimi K3 出现，以及和支教朋友、孩子们一起吃肉串、喝饮料并分享想法。 [事实] 主持人最后问他 AI 是否会走在人类前面。 [事实] 他认为可怕之处在于 AI 的智商会持续提升，而人类是一代代缓慢成长的。 [事实] 他担心 2015 年、2020 年后出生的人一开始就知道 AI 比自己聪明、想得更快、做得更好，这可能影响他们向上的动力和人生使命感。 [推测] 结尾再次把问题落回“人生意义”，而他的回答仍然是让自己和喜欢的人开心。

播客点评/总结

[推测] 本期最有价值的地方，是它不是从成熟研究者或公司创始人的视角谈 AI，而是展示了一个高中生如何在公开视频、论文、AI 工具和个人实验之间形成研究路径。它让“AI 原住民”这个概念变得很具体。

[推测] 访谈亮点在于技术细节和生活感并存：既有 QKV、KV cache、Attention residual、预训练成本和 ICML review，也有象棋、支教、农村、网文、pizza 和“开心”。这种混合让嘉宾不只是一个“少年天才”标签，而是一个正在消化 AI 时代压力的人。

[推测] 局限在于部分技术名词、论文题目和数据集名称来自自动转录，存在识别误差；同时嘉宾对 AI 灭绝、失业率、模型公司商业格局等判断多为个人观点，不应当作确定预测。

[推测] 这期适合关注 AI 教育、自学研究、青少年如何使用 AI、以及 AI 对人生意义影响的听众；如果只想听严格技术论文解读，可能会觉得后半段更偏思想和生活讨论。