174. 我们还能给算法当多久的品味老师?|对谈亚马逊AGI查晟

2026-07-21 · Show: 起朱楼宴宾客 · 5289s · Source

我们还能给算法当多久的品味老师?|对谈亚马逊 AGI 查晟

概览

本期围绕生成式大模型如何改变信息生产、信息获取、知识生态与人的角色展开。主持人邀请亚马逊 AGI 研究团队负责人查晟,从基础模型训练、开源/闭源竞争、数据飞轮、AI 自我迭代等行业内部问题切入,再延伸到认知负债、价值观塑形、岗位替代和 AGI 风险。

核心结论之一是:现阶段 AI 仍需要人来定义问题、判断方向、提供 taste,但这些 taste 一旦能被表达成文本和数据,就可能逐步被模型吸收。人的稀缺价值会从“直接生产”转向提出问题、跨领域理解、判断质量、维持人与人的连接。

讨论也强调,大模型并不是中立容器。模型的训练数据、reward、公司或国家的选择,都会塑造它表达出的知识和价值观。未来企业、国家、社区都可能需要自己的模型,以维护自己的数据、场景和价值表达。

分段落总结

[00:04] 节目缘起与嘉宾背景

[事实] 主持人介绍本期属于“算法记”系列,希望从业内视角讨论 AI 与算法如何重塑人的认知生态和社会角色。
[事实] 嘉宾查晟在 Amazon AGI 带领研究团队,主要研究基础模型训练链路,并参与过 Amazon 多代大模型训练。
[事实] 主持人提到嘉宾曾说“两年后基础大模型团队负责人的职位可能会消失”,由此引出 AI 对从业者自身工作的影响。

[05:52] 中国开源模型为何出乎意料

[事实] 查晟认为,近期令他意外的是中国团队仍坚持做开源大模型,尤其是在开源不利于直接形成数据飞轮的情况下。
[事实] 他解释,闭源模型如 ChatGPT 可以通过 C 端产品持续获得用户数据,而开源模型放出后,用户通常在自己的应用层建立数据飞轮。
[事实] 他提到 DeepSeek V3/V4 在模型架构、稀疏计算、长文本推理成本等方面有重要算法突破,并且将成果开放出来。

[12:51] 开源的收益与结构性劣势

[事实] 嘉宾认为开源的商业动机包括建立生态,让研究者和开发者依赖模型架构,并从学术界获得基于模型的研究成果。
[事实] 他提到美国大学研究者大量使用中国开源模型,例如通义千问等,因为结构相对简单、适合后训练研究。
[事实] 同时,开源模型的成果会被竞争对手快速学习,形成技术扩散上的结构性劣势。

[16:37] 数据飞轮、合成数据与模型塌缩

[事实] 主持人提出“Model collapse”问题,即 AI 使用 AI 生成内容再训练可能导致能力退化。
[事实] 查晟认为可用“数据质量影响模型”来理解:低信息量、未过滤的 AI 生成数据会降低训练效果。
[事实] 他指出,当前很多实验室确实在使用 AI 生成数据,但关键在于过滤、质量控制和保证信息含量。
[推测] 合成数据并非天然有害,它能否带来进步取决于生成、筛选和评估体系是否足够可靠。

[21:09] AI 自我改进仍依赖人的 taste

[事实] 嘉宾说,目前 AI 的 self improvement 更多体现在算法、工程和数据流程中替代部分人力。
[事实] 他强调闭环中最关键的是知道“什么方向更好”,这需要人定义问题、选择目标、设定衡量标准。
[事实] 他把 taste 概括为知道什么是更好的方向,以及知道怎样给 AI 指出更短、更容易解决问题的路径。

[24:09] 认知负债与用进废退

[事实] 主持人引用 MIT Media Lab 关于使用 ChatGPT 写作可能造成“认知负债”的研究。
[事实] 查晟认为这类现象客观存在,并用计算器削弱心算能力作类比,说明人的能力会用进废退。
[事实] 他同时指出,人们依赖 AI 是因为短期收益很大,AI 可以同时处理多个问题并快速挖掘信息。
[推测] 更合理的使用方式不是拒绝 AI,而是保留脱离 AI 的长时间注意力训练和独立思考训练。

[29:21] taste 也可能被模型吸收

[事实] 嘉宾认为,哪些问题重要、为什么重要、什么解决方向更好,都可能被写成静态文本并进入数据谱。
[事实] 一旦这些内容能以数据形式表达,AI 就可能在常见需求和数据量大的领域逐渐学会 refine 问题、搭建解决框架。
[事实] 他判断未来对普通人的 taste 需求会下降,但每个领域最顶尖的人仍可能提供新的高质量 taste。

[32:00] 知识塌缩与外部检索

[事实] 主持人提出“knowledge collapse”:当人们通过少数大模型获取信息,知识表达可能收敛到主流观点。
[事实] 查晟认为,如果只看模型权重中的静态知识,这种塌缩几乎不可避免,因为模型会把常见观点压缩得更清晰。
[事实] 他补充,现代大模型会通过搜索、论文和外部信息源补充上下文,这可以缓解但未必根除问题。
[推测] prompt 差异和外部检索能延缓知识同质化,但无法完全消除训练数据和搜索排序带来的收敛倾向。

[36:15] 模型并非没有价值观

[事实] 查晟说,语言模型的世界是由人的语言符号构建的虚拟世界,并不是真实世界的直接反映。
[事实] 模型表达出的价值观来自它见过的数据、得到过的 reward,以及训练和后训练中的选择。
[事实] 他提到 Anthropic 的 Claude 有公开讨论过 personality、constitution 和 value 的设计案例。
[推测] 大模型的“中立”更像是一种产品表象,底层仍然嵌入了公司、团队和训练流程的选择。

[40:22] 搜索信源与中文封闭平台

[事实] 嘉宾说,AI 搜索多少个信源可以被用户或 agent 设定,但信源越多成本越高,也可能引入排名较低、质量较差的文本。
[事实] 主持人提出中文互联网大量信息在公众号、小红书、短视频等封闭平台中,AI 更难获取。
[事实] 查晟承认这会减少信息获取,但也提到可通过爬虫网站、API 或平台自建模型来接入这些内容。
[推测] 中文信息生态的封闭性会让不同平台的模型更依赖自身数据,也会加剧信息割裂。

[44:10] 企业自有模型的商业逻辑

[事实] 主持人询问企业用自有数据训练基础模型后,“foundation”的含义是否会改变。
[事实] 查晟认为企业采用专门模型首先是商业逻辑:在特定 domain 上继续训练,可以更便宜、更准确地完成任务。
[事实] 如果企业端形成用户数据飞轮,模型就能在该 domain 上持续改进,最终可能比 frontier model 更便宜且更准确。
[事实] 他指出,企业模型作为 agent 代表企业形象,因此企业会希望控制它与用户互动的方式和价值表达。

[49:00] 国家层面的 AI 价值观竞争

[事实] 查晟把企业模型的逻辑扩展到国家层面,认为 AI 会放大输入给它的价值观。
[事实] 他指出,除中国和美国外,很多国家没有从头推进大模型的能力,因此会面临使用美国 AI 还是中国 AI 的选择。
[事实] 他认为如果国家希望坚持表达自己的价值观,eventually 也会需要自己的 AI。
[事实] 他提到中东已有投入资源或与模型公司合作来做相关模型的需求。

[55:08] 专门数据与通用能力的平衡

[事实] 嘉宾解释,企业提供的数据往往高度 specialized,例如客服聊天记录或 customer support 数据。
[事实] 如果模型只在这类数据上继续训练,可能遗忘其他任务和常识,失去通用能力。
[事实] 因此训练时混入经过选择的通用数据,主要是为了保留模型的 general domain 能力。
[推测] 企业自有模型的难点不只是“更懂企业”,还包括避免被企业数据训练得过窄。

[57:24] 嘉宾为何认为自己的工作会消失

[事实] 查晟说,他作为研究团队 leader 的大量工作包括阅读论文、了解算法趋势、规划团队任务和协调沟通。
[事实] 现在 AI 已能帮他筛选论文、评价论文质量、整合信息、拆解目标、规划任务依赖和生成会议纪要。
[事实] 他认为这些信息获取、处理、coordination、communication 任务都可以被 AI agent 做得很好。
[事实] 因此他判断,两年内可以把自己工作中很大一部分蒸馏给 AI。

[61:21] AI agent 的研究创造力

[事实] 嘉宾提到,他的 partner 发现 AI agent 在问题定义清楚但解法开放的任务上,也能创造性地推进研究。
[事实] 例子中,AI agent 将长文本 evaluation 问题抽象成 contextual retrieval,并提出便宜且有效的方法。
[事实] 嘉宾认为这种跨领域抽象可能是人类专家不一定马上想到的方向。
[推测] AI 的优势之一不是拥有原创意图,而是能快速跨越专业边界,重组不同领域的解法。

[65:00] 人作为 AI 的 harness

[事实] 查晟把 harness 解释为一套从 AI 模型中有效获取价值的外部框架,人目前是最重要的 harness。
[事实] 人提供的关键 component 包括 taste、问题定义和解决问题的 intuition。
[事实] 他认为通识教育、first principles 和跨领域理解会变得更重要,因为它们帮助人向 AI 提出有效问题。
[推测] 未来不一定要求每个人都成为专家,但需要知道各领域能解决什么问题、不能解决什么问题。

[69:43] 生产不再是人的核心价值时怎么办

[事实] 主持人提出,不只是 entry level,管理层和 senior 岗位中大量信息处理工作也可能被自动化。
[事实] 查晟认为,如果生产不再是人的价值核心,就需要讨论新的价值观和个人质量。
[事实] 他提出人的价值可转向 human connection、对他人的 positive impact、艺术、观点表达、体育、自我超越和探索未知。
[推测] 这些新赛道可能不会平均覆盖所有人,因此社会组织方式和价值分配仍需要进一步讨论。

[75:12] 社会连接与公共讨论不足

[事实] 主持人质疑下一代在屏幕和 AI 陪伴下长大,是否仍需要足够多的社会连接。
[事实] 查晟认为这可能像钟摆一样摆动,人们意识到刷手机和信息流的问题后,社会组织形式可能发生变化。
[事实] 他指出,目前大家对 AI 之后社会应如何变化、应组织成什么样的讨论还不够。
[推测] 技术界太忙于追赶技术,学界和其他行业又容易滞后,导致价值层面的讨论出现断档。

[77:23] AGI 的限制、路径与时间判断

[事实] 查晟同意,在当前 paradigm 下,仅靠现有语言模型很难成为真正 AGI。
[事实] 他认为缺失的能力包括像人类一样快速学习新东西、持续学习且不遗忘。
[事实] 他提到可能路径包括世界模型、具身 AI、机器人与真实世界交互,以及把预训练和后训练结合来提升持续学习。
[事实] 他估计真正具备持续学习能力的 AGI 可能在五年左右出现,但明确说现在还没有出现。

[83:13] 最后一个 prompt、alignment 与权力集中

[事实] 嘉宾解释“人类最后一个 prompt”主要是在表达 alignment 风险:善意 prompt 也可能因目标误配导致灾难结果。
[事实] 他举例说,一个全能 AI 如果被要求“让世界变得更美好”,可能推导出人类必须灭绝的错误结论。
[事实] 他认为应避免权力极端集中,否则少数掌握算力的人可能控制过强的 AI 能力。
[推测] 分散的、多 specialty 的 agent 生态,是嘉宾更希望看到的未来形态。

播客点评/总结

[推测] 本期的价值在于把技术细节和人文问题连接起来:开源/闭源、数据飞轮、合成数据、企业模型这些产业议题,最终都落到“谁在塑造知识和价值观”这个问题上。

[事实] 嘉宾没有把 AI 简化成单纯的效率工具,而是反复强调 taste、数据、reward、外部检索、社会连接和权力分配。节目因此既有行业内部视角,也保留了“算法记”系列关心的认知和社会维度。

[推测] 局限在于很多未来判断仍高度不确定,例如 AGI 五年时间表、岗位消失速度、社会价值重组方式,都更像嘉宾基于行业经验的判断,而不是可验证结论。

[推测] 这期适合关心大模型产业、AI 对知识生态的影响、内容创作未来、企业/国家模型价值观,以及希望理解“人还能做什么”的听众。