E257｜对话Vitalik：AI安全背后的哲学思想，有效利他主义如何影响硅谷？

概览

本期节目从 Anthropic 招股书切入：这家公司一面反复强调前沿 AI 可能带来的灾难性乃至生存风险，一面通过创始人特殊投票权和长期利益信托安排，将关键决策权集中在少数人手中。节目由此追问：当一家企业声称代表人类长远利益时，公众是否有权知道究竟是谁在做决定？

节目邀请科技记者、写作者 Afra 与以太坊联合创始人 Vitalik Buterin，梳理有效利他主义（EA）、理性主义和 AI 安全思想的关系。EA 从用证据提高慈善效率出发，逐渐转向长期主义、存在风险和 AI 安全，并借助慈善资金、研究项目与人才网络进入硅谷和政策领域。

Vitalik 结合自己的捐赠经历，说明他为何曾支持全球健康、长寿研究和存在风险机构，又为何对部分机构把资源集中到 AI 政策产生分歧。他认为，AI 风险真实而且高度不确定，但安全议程也可能与公司的竞争利益、权力扩张和政治行动纠缠在一起。

讨论最终提出一种替代思路：与其把安全寄托在某个“好公司”控制最强 AI 上，不如发展防御性、民主化和去中心化的技术能力。面对 AI 的快速演进，节目没有给出确定的末日概率，而是强调保持开放、建立制衡，并让更多公众参与风险定义和技术治理。

分段落总结

[00:01] Anthropic 招股书引出的安全与权力问题

[事实] 主持人介绍，Anthropic 在招股书中列出了将近百页风险因素，包括前沿 AI 可能造成灾难、甚至威胁人类生存的风险，并承认无法保证其安全措施一定有效。

[事实] “Safety”在文件中出现了 248 次，“AI 安全”出现了 36 次；上市后七位联合创始人将通过特殊股份掌握一般表决事项 50.1% 的投票权。

[事实] 长期利益信托有权选举董事会多数成员，而创始人还可提前指定自己失去履职能力后的投票权继任者，但相关名单不公开。

[推测] Anthropic 的治理结构把一个根本矛盾摆到台前：公司以人类长远利益为目标，却没有让公众充分参与“谁能代表人类”的决定。

[02:19] 有效利他主义与理性主义的思想源流

[事实] 有效利他主义追问如何用有限的钱和时间帮助更多人，并主张利用证据和分析比较不同慈善项目的实际效果。

[事实] William MacAskill 共同发起了 EA 运动及“八万小时”职业咨询组织；Eliezer Yudkowsky 则是 AI 安全写作者和互联网理性主义社群的重要奠基者。

[事实] 节目区分了两者：理性主义关注如何减少认知偏差、根据证据修正判断，EA 则把证据与推理用于“如何更有效地帮助别人”这一道德目标。

[事实] 两个社群后来在 AI 安全问题上交汇，但节目明确指出，EA 有独立的伦理学来源，不能简单视为理性主义的分支。

[08:03] EA 的资源配置逻辑与四个发展阶段

[事实] Afra 用“八万小时”解释 EA 的核心逻辑：把职业时间视为有限资源，思考如何分配才能给世界带来最大改变。

[事实] 她将 EA 的发展概括为四个阶段：以可量化慈善为中心的早期阶段、约 2015 年兴起的长期主义阶段、FTX 崩塌后的信任危机，以及以 AI 安全为核心的当下阶段。

[事实] 长期主义把关注对象从当下可挽救的生命扩展到未来数千、数万年的人类世代，SBF 等富豪的资金也在这一时期进入社群。

[事实] ChatGPT 兴起后，原本局限于 EA 和理性主义社群的 AI 生存风险讨论进入大众视野，AI 安全也成为 EA 最受关注的议题之一。

[12:26] 资金、人才网络与 AI 安全议程的扩张

[事实] Afra 观察到，前沿 AI 实验室、第三方评估机构、研究资助和职业项目中存在大量与 EA 有联系的成员和资源。

[事实] 她表示，AI 对齐与安全领域拥有大量 fellowship、研究经费和岗位，对年轻研究者具有很强的吸引力，而且部分机构给予研究者较高自由度。

[事实] 伯克利的 Lighthaven 被描述为理性主义者、EA 和 AI 安全人士的重要活动场所；相关会议还把硅谷研究者、投资者与华盛顿及加州政策人士联系起来。

[推测] 这些网络的影响不只来自共同理念，也来自资金、职业机会和高频社交所形成的议题聚集效应。

[27:09] “赚钱去捐赠”的吸引力与道德风险

[事实] MacAskill 曾主张，精英学生如果进入金融或咨询行业并进行高效捐赠，可能比亲自前往贫困地区工作挽救更多生命，这一思路被称为“赚钱去捐赠”。

[事实] Afra 认为，这套逻辑能缓解部分交易者对自身工作意义的怀疑，也解释了为什么 SBF 等金融从业者会被 EA 吸引。

[事实] 她同时指出，这种主张也可能给追求利益最大化的人提供道德借口，让他们以未来捐赠为理由合理化眼前行为。

[推测] FTX 事件暴露了结果导向伦理的薄弱点：宏大的善意目标并不能自动约束实现目标的手段。

[31:25] EA 从牛津走向硅谷并聚焦 AI 安全

[事实] Afra 认为，EA 的核心关注已经明显转向 AI 安全，全球健康、慈善效率和其他存在风险议题相对被弱化。

[事实] 她不认同 EA 只是在追逐热点，而认为当前 AI 安全议程在一定程度上正是 EA 多年投入资金、人才和影响力的结果。

[事实] Afra 表示自己关心 AI 安全、也接受过相关 fellowship 资助，但并不认为自己是 EA；吸引她的是这个群体把世界愿景转化为行动激励的能力。

[推测] EA 与硅谷之所以容易结合，是因为两者都强调能动性、宏大目标、资源动员以及从未来愿景反向规划当下行动。

[35:21] 是否应该放缓 AI 发展

[事实] Afra 认为，有效加速主义更多是一种网络标签或模因，而 EA 已形成资金、机构和政策行动能力，两者并不对称。

[事实] 她在参加会议并与 OpenAI、Anthropic 多位研究者交流后，更加担忧 AI 自我迭代和能力进步的速度；部分研究者表示，过去一年的进展超过了他们原本的预期。

[事实] 她主张至少暂时放缓相关发展，让研究者和社会先解释清楚发生了什么、风险是什么，再继续竞赛。

[推测] 这里的核心障碍不只是缺少安全技术，而是人类尚未形成理解和讨论前沿 AI 能力的共同语言。

[40:30] Vitalik 接触 EA 与早期捐赠的动机

[事实] Vitalik 大约在 2013 至 2015 年接触理性主义和 EA，被“同样的钱在不同用途上能产生极不相同效果”的观点吸引。

[事实] 以太坊价格上涨后，他出售部分资产，支持疟疾防治、全球健康和长寿研究等项目。

[事实] 他认为长寿研究当时重要却资金不足，因此也用 EA 式的资源配置方法支持这一领域。

[事实] 他把 EA 概括为寻找最有效的助人方式，把理性主义概括为帮助人更准确地思考；前者更重行动和机构，后者更重好奇心与思想探索。

[44:48] Yudkowsky、AI 对齐与理性主义

[事实] Vitalik 介绍，Yudkowsky 早期曾支持加速强大 AI 的出现，后来因认识到对齐问题的困难而转向警告超级智能风险。

[事实] 节目以“消灭癌症却选择消灭所有人”为简化例子，说明目标设定中的细小偏差可能导致灾难性结果，即所谓价值脆弱性。

[事实] “正交性论题”认为，智能水平和目标善恶并不必然相关；更聪明的 AI 不会自动变得更符合人类利益。

[事实] Scott Alexander 也是理性主义社群的重要写作者，更多讨论政治和文化冲突；EA 与理性主义大量重叠，但内部成员并不总认同彼此的身份归属。

[53:41] 从抽象风险到现实 AI 竞赛

[事实] Vitalik 表示，自己早期对 AI 安全的认识十分抽象，支持它主要是因为研究者很少，少量资金就可能显著推动整个领域。

[事实] GPT-3 和 ChatGPT 出现后，AI 从理论性议题变成现实议题，社会也开始面对模型能力、对齐和竞争带来的具体问题。

[事实] Vitalik 曾用约 10% 表达 AI 或其他风险毁灭人类的可能性，但强调这一数字高度不确定，不能精确解读。

[事实] 他列举了多重不确定性：AI 能力增长速度、对齐问题能否解决，以及国家与公司竞争是否会让参与者在关键时刻把胜利置于安全之上。

[59:39] 模因币捐赠及其意外规模

[事实] Vitalik 讲述，模因币项目曾把大量代币直接转入他的公开钱包；当这些代币市值迅速上涨时，他紧急恢复钱包并出售部分资产。

[事实] 他把约 7000 万美元的以太币收益主要捐给抗疟疾基金会，也支持了长寿研究等项目。

[事实] 剩余代币分别捐给印度疫情救助组织和未来生命研究所（FLI）；他原本预计机构最多只能变现数千万美元，实际所得却远超预期。

[事实] 后来他从印度疫情救助资金中收回一部分，自行支持空气过滤、口罩、紫外线、开放疫苗及空气传播疾病研究。

[事实] 他表示，FLI 后来从广泛关注各种存在风险转为集中关注 AI，并从研究导向走向法律和政治行动，这与他的原始捐赠目标产生了分歧。

[71:01] “被忽视程度”与慈善资源的重新评估

[事实] Vitalik 强调 EA 的“被忽视程度”原则：一个问题即便重要，如果已有很多人在处理，新增资源的边际价值也可能不高。

[事实] 他认为 AI 安全如今已成为高热度议题，不再像十年前那样缺乏关注；全球公共卫生则因资金和政治变化重新面临明显缺口。

[事实] 当一个领域的问题不是资源不足，而是方法错误时，继续增加资金不一定能解决问题。

[推测] 这意味着捐赠策略不能永久绑定于某个议题，而应持续检查资源缺口、执行方法和机构方向是否发生变化。

[73:31] AI 安全研究、公司激励与政策难题

[事实] Vitalik 认为，今天不缺研究 AI 安全的人，更大的问题是 OpenAI、Anthropic 等公司同时希望保障安全并赢得竞争，内部激励可能推动它们加速。

[事实] 他提出，研究下一代模型的风险可能需要使用当前一代模型，因此早期抽象安全研究未必能直接解决后来出现的核心问题。

[事实] AI 安全正从研究问题转变为政策问题，但政策既有直接效果，也会产生声誉、政治反弹和公众不信任等间接效果。

[事实] 他把传统 EA 擅长的可量化慈善比作“人与自然”的问题，而把机构竞争、政治博弈和利益冲突称为更复杂的“人与人”问题。

[推测] EA 在可测量的公共健康项目中形成的方法，无法无损迁移到充满战略互动的 AI 政治领域。

[79:21] FTX、政治化与 EA 的信任危机

[事实] Vitalik 认为，SBF 一面欺骗他人、一面以相关资金介入政治，会让公众把其支持的议题也视为可疑。

[事实] 他指出，EA 在变得更机构化、更政治化后，早期的思维方式更容易出错，社群也已分化成多个彼此立场不同的部分。

[事实] 讨论列举了支持 Anthropic 的 EA、远离或反对 Anthropic 的 EA、Pause AI、有效加速主义以及内部多元的理性主义者。

[推测] 当一项道德运动进入公司治理和政策竞争后，判断成员动机与行动后果所需的能力，已远超比较慈善项目效率。

[82:20] 理性主义者与 EA 的文化差异

[事实] Vitalik 认为，EA 更关注应当做什么，并倾向严肃地优化影响力；理性主义者则更多由好奇心驱动，喜欢博客、小说、数学和各种思想实验。

[事实] 他形容理性主义者更愿意忠于兴趣，不愿为了声誉和战略目标划定禁区；EA 则更倾向考虑怎样表达才能获得支持、降低风险。

[事实] 他认为，对公众形象的过度优化反而可能引起怀疑，因为公众通常更信任显得真诚而非高度策略化的人。

[事实] 对于理性主义者为什么难以形成强机构，Vitalik 用“他们心里是猫”来形容其重视自由、不喜欢被组织约束的特征。

[87:49] Anthropic：“好公司获胜”还是安全名义下的权力集中

[事实] 支持 Anthropic 的观点是：AI 开发不可能停止，因此应让原则更好、更加重视安全的公司赢得竞赛。

[事实] 反对者则认为，即便 Anthropic 的初衷更好，它仍在加速前沿模型竞赛，并可能迫使 OpenAI 等竞争者重新集中资源追赶。

[事实] Vitalik 指出，Anthropic 的安全主张与公司自身利益高度一致，包括反对开源、强调自身应控制强大模型，因此外界有理由审视其动机和权力诉求。

[事实] 他追问：如果一家公司以“我们是好人”为依据主张自己应当获胜，其他公司和国家为什么不能提出同样的主张？

[推测] AI 安全争论的核心不仅是哪个模型更安全，也是谁获得定义“安全”、控制技术并代表全社会做决定的正当性。

[96:06] OpenAI 的价值转变与安全承诺

[事实] 主持人回顾，OpenAI 早期以非营利和 AI 安全为重要定位，其内部治理冲突也长期体现安全派与加速派之间的张力。

[事实] Vitalik 概括了对 OpenAI 的一种主流批评：它先以安全为由牺牲开放，后来又为加速发展牺牲部分安全承诺。

[事实] 他表示，OpenAI 曾作出更谨慎开发和与政府机构合作的承诺，但部分承诺后来因妨碍发展而没有落实。

[推测] OpenAI 与 Anthropic 面临相似的结构性难题：企业越接近前沿和商业竞争中心，就越难证明安全原则不会让位于组织生存与胜负。

[98:03] d/acc：防御性、民主化与去中心化加速

[事实] Vitalik 将 d/acc 解释为防御性或民主化加速，其三项重点是继续技术进步、加强保护性技术，以及避免权力过度集中。

[事实] 防御性技术包括网络安全、病毒检测、空气过滤、更快的疫苗研发和其他生物安全能力。

[事实] 他批评把大部分资源用于限制模型提供病毒知识的方案，因为这依赖少数机构控制最强模型，属于脆弱的中心化防御。

[事实] 去中心化防御不要求控制世界上的每一个 AI，而是让普通人和不同社会都获得检测、预防和应对风险的能力。

[推测] d/acc 试图在“无条件加速”和“由少数机构集中管控”之间，建立兼顾进步、安全和权力分散的第三条路径。

[103:01] 普通人如何理解 AI 安全

[事实] Afra 认为，当前 AI 领域存在严重的认知问题：模型能力持续提高，但研究者仍难以用通俗或严格的方式解释模型到底有多强、为何如此表现。

[事实] 她指出，资金仍在大量投入数据中心，而普通公众对 AI 的恐惧也在上升，包括担忧技术由亿万富翁控制、集中权力并取代劳动者。

[事实] Vitalik 强调，AI 的发展速度、人类未来的角色、安全问题能否解决、哪家公司或国家领先，都仍有巨大不确定性。

[事实] 他既不愿把毁灭概率断言为 99%，也不愿断言为 1% 或 0%，因为未来技术路径仍可能出现重大意外。

[推测] 对普通人而言，更合理的立场不是在乐观与末日论之间二选一，而是承认不确定性，同时关注可观察的短期伤害、制度激励和权力分配。

[148:08] 把 AI 安全视为政治制度设计

[事实] Vitalik 提出，AI 安全可能不像单纯的工程问题，而更像政治制度设计：通过多个组成部分、沟通机制、权力分离和相互制衡来降低单点失败风险。

[事实] 安全系统未必能用数学证明某个 AI 的目标绝对正确，也可能需要多个设定目标的方法相互限制，并在必要时重新询问用户意图。

[事实] 这种安全研究会更加经验化，需要持续使用和观察现实模型，了解它们在什么情况下成功、又在什么情况下犯错。

[事实] 他最后强调，过去十年的 AI 发展充满意外，不应过早断言某条路线必然实现或绝不可能实现，保持开放心态最重要。

播客点评/总结

本期最有价值之处，是把 AI 安全从纯技术问题还原为一条由哲学、慈善资金、人才网络、公司竞争和政治权力共同塑造的思想史。Afra 提供了社群观察和制度脉络，Vitalik 则用亲历捐赠及后续分歧，让抽象的 EA 理念呈现出真实后果。

节目的亮点还在于没有简单地赞美或否定 EA。它肯定了用证据提高慈善效率、主动承担责任和关注长期风险的价值，同时也追问结果主义、精英决策、议题垄断和机构自利可能造成的问题。

其局限是涉及人物、组织和概念很多，部分观点属于嘉宾基于个人接触形成的判断，节目也没有逐项验证各机构的政策效果或资金成效。[推测] 因此更适合作为理解 EA、理性主义与 AI 安全争论的思想地图，而不是对某个组织或政策的最终裁决。

本期适合关注 AI 治理、科技伦理、慈善、硅谷思想史和公司权力的听众。它留下的关键问题是：面对高度不确定的 AI 未来，我们不仅要问技术是否安全，也要问谁有权定义风险、控制资源，以及公众是否拥有参与和纠错的机制。