从免费披萨到订错机票:硅谷创业者正在解决 Agent 的哪些麻烦? | 硅谷线下活动 S10E33
AI Agent 走向现实世界:长任务、基础设施与信任挑战
概览
本期围绕 AI Agent 从问答工具转向现实任务执行者后出现的新问题展开:当 Agent 可以订票、付款、联系商家并持续工作数天时,一次错误不再只是生成了错误答案,还可能造成经济损失、隐私泄露和现实世界的责任纠纷。
嘉宾认为,模型的工具调用和任务规划能力已经明显进步,开源模型也在持续追赶闭源模型;但涉及数百甚至数千个步骤的长期任务时,Agent 仍可能因上下文压缩而遗忘目标、丢失信息或执行错误。因此,状态保存、长期记忆、错误恢复和人在回路中的确认机制,正在成为新的基础设施需求。
讨论进一步指出,Agent 越主动、权限越高,安全、授权、可见性和信任问题就越突出。未来的竞争重点可能不只是让模型更聪明,而是让 Agent 能够可靠地运行长任务,并让用户逐步建立交付数据、权限和决策权的信心。
在创业机会方面,嘉宾看好执行效率、高并发基础设施、垂直领域适配以及 Agent 与用户之间的通信层;相对而言,简单的提示词工程和基础工具调用封装,可能逐渐被更强的基础模型吸收。
分段落总结
[00:00] Agent 犯错开始产生现实代价
[事实] 当 Agent 代替用户订票、付款或处理敏感信息时,错误可能带来退票费用、错误行程和隐私泄露等实际损失。
[事实] 节目以订错上海机场和泄露家庭住址为例,提出 Agent 犯错后的责任应由谁承担这一问题。
[推测] Agent 产品进入现实交易和长期任务后,责任划分与补救机制会成为其规模化应用的重要前提。
[02:08] 工具调用进步,但长期任务仍不可靠
[事实] 当前模型在工具调用和长任务规划方面已经取得明显进步,开源模型也在追赶闭源模型。
[事实] 当任务包含数百或上千个步骤,并持续运行数天时,Agent 可能在上下文压缩后丢失信息,甚至忘记最初目标。
[事实] 嘉宾认为,Agent 除了执行任务,还需要保存状态、纠正错误和恢复任务的能力。
[03:17] 人与 Agent 的通信成为基础设施
[事实] 长期运行的 Agent 在遇到歧义或紧急情况时,需要主动联系用户,而不是自行继续执行。
[事实] Photon 提供通信能力,让 Agent 可以通过 iMessage、WhatsApp、电话等渠道联系用户。
[事实] 嘉宾认为,至少在未来一段时间内,人在关键节点介入仍然非常重要。
[推测] 通信层的核心价值不只是提供聊天入口,也包括确认高风险操作、上报异常和完成人机交接。
[04:18] 能力提升放大安全与信任问题
[事实] 嘉宾看好能够主动帮助用户的个人 Agent,但即使是积极使用者,也没有把完整的数字生活交给 Agent。
[事实] 大量 Agent 同时自动联系餐厅和商家,可能给商户造成骚扰和运营压力。
[事实] 嘉宾认为需要围绕 Agent 重建安全、隐私和身份机制,使外部系统能够辨认 Agent 代表谁行动。
[事实] 用户信任不会仅因技术成熟而自动形成,其建立过程可能像网络购物一样需要多年演进。
[05:42] Agent 基础设施仍有创业空间
[事实] 简单的提示词工程、工具调用和基础 Agent 编排能力,可能被新一代模型逐步吸收。
[事实] 嘉宾看好两个方向:减少执行步骤、提升响应速度和并发处理能力;以及面向法律、医疗等垂直领域进行模型适配。
[事实] 垂直行业所需的专业知识、用户轨迹和企业内部数据,并不容易被通用基础模型直接获得。
[07:38] 模型与运行框架共同演进
[事实] 嘉宾表示,一些模型会结合专门设计的运行框架进行训练,模型与框架也会在训练过程中共同演进。
[事实] 相比此前的模型,当前模型在调用工具和制定计划方面表现更好。
[事实] 涉及跨平台工具、文本以外的多模态输入和长期推理时,现有模型仍无法稳定完成任务。
[09:11] 长期任务的定义与记忆瓶颈
[事实] 长期任务可能包括搜索资料、整理信息、运行实验等数百或数千个步骤,并持续数天。
[事实] 在持续运行和多次上下文压缩后,模型可能忘记原始目标或遗漏已获得的信息。
[事实] 理想状态是 Agent 可以每天 24 小时在后台工作,而用户继续处理自己的日常事务。
[推测] 要实现这种工作方式,长期记忆和外部状态管理可能比单纯扩大模型上下文更关键。
[10:30] 开源模型推动企业定制需求
[事实] 一些开源模型在部分能力上已经接近闭源模型。
[事实] 客户开始希望使用自身数据训练或适配开源模型,以便在特定领域达到接近或超过闭源模型的效果。
[事实] 企业采用定制开源模型的目标包括提高效率、降低服务成本并扩大客户覆盖。
[11:30] 让 Agent 进入用户熟悉的渠道
[事实] Photon 希望把持续运行的 Agent 接入 iMessage、WhatsApp、电话、Slack 和 Telegram 等日常渠道。
[事实] 用户可以通过这些渠道查询后台任务进度、获取结果,或回应 Agent 在执行过程中的问题。
[事实] 嘉宾认为,除模型能力外,长期记忆、合规、安全和用户触达都属于 Agent 运行框架的一部分。
[13:23] Agent 原生世界需要重建授权体系
[事实] 嘉宾认为提示词注入仍未被彻底解决,安全问题会随着技术发展不断以新形式出现。
[事实] Agent 任务往往是短期、临时且动态的,传统以人类用户为中心的授权基础设施并不完全适用。
[事实] 当 Agent 成为交易和服务中的重要主体时,授权、支付及其他基础设施都需要重新设计。
[推测] Agent 身份、权限范围与可追责记录可能成为未来基础设施的共同底层能力。
[15:14] 可靠性依赖状态保存与错误恢复
[事实] 现有应用环境通常无法为 Agent 直接提供长期记忆,Agent 往往需要自行维护任务信息。
[事实] 如果基础设施能够保存记忆和状态,就能降低长期任务中的信息丢失风险。
[事实] 订错机场的案例表明,现实操作通常无法简单撤销;取消机票还需要额外操作,并可能产生费用。
[事实] 嘉宾提出,环境应支持从错误工具调用和执行失败中恢复。
[17:30] 长期运行增加隐私泄露风险
[事实] Agent 在运行数天后可能遗忘最初的限制,把地址、姓名或银行信息提交给外部应用。
[事实] 嘉宾将个人信息泄露视为长期任务中的重要风险之一。
[事实] 当 Agent 不确定下一步操作时,通过短信或电话向用户确认,可以避免部分错误。
[18:43] 人在回路与主动沟通不会很快消失
[事实] 尽管有人开始向 Agent 提供信用卡等高权限资源,嘉宾仍认为人在回路会继续存在数月乃至数年。
[事实] 基础设施需要解决 Agent 在任务执行期间如何与人沟通,以及最终如何把任务交还给人的问题。
[事实] Photon 正在把通信能力从文字消息扩展到电话和电子邮件,可用于紧急确认、每日简报和家庭群组更新。
[21:26] 个人 Agent 的信任仍是渐进式的
[事实] 嘉宾高度评价 Muse 的主动服务能力,但本人只向它开放了部分数字生活,而非全部信息。
[事实] Muse 可以根据对用户的了解主动提出可执行事项,这种主动性提高了用户参与度。
[事实] 嘉宾预测,未来消费者和企业员工可能同时拥有多个个人助理,分别服务于生活和工作。
[推测] 用户更可能先从低风险、可观察的任务开始授权,再逐步扩大 Agent 的权限范围。
[23:31] Agent 的规模化行动可能干扰商户
[事实] 有商户反映 Muse 用户让 Agent 频繁致电门店,造成了过多来电。
[事实] Muse 对单个用户的呼叫进行了限制,但多个用户同时呼叫同一家商户的问题仍可能存在。
[事实] 嘉宾认为个人助理仍处于非常早期的发展阶段,主动性带来的外部影响尚需继续治理。
[25:16] 可见性、合规和支出控制是信任基础
[事实] 用户希望了解 Agent 做过什么,以及是否把个人信息分享给特定商家或机构。
[事实] 嘉宾提出,应把 Agent 视为新的“一等公民”,围绕它建设可见性、安全、合规、报告和支出额度等能力。
[事实] 人们对 Agent 的信任已经有所提高,但完全信任仍需要技术与社会认知共同演进。
[事实] 嘉宾将这一过程类比为网络购物:安全协议和基础设施逐步完善后,用户心理仍需要时间适应。
[27:28] 效率是较难被模型升级取代的机会
[事实] 嘉宾认为,值得创业者投入的方向应当是不容易被更强模型直接取代的能力。
[事实] 效率不仅包括更快生成内容,也包括用更少步骤完成任务,以及更有效地选择工具和规划行动。
[事实] 当大量 Agent 同时发起请求时,基础设施还必须应对高并发,并快速返回结果。
[29:34] 简单封装收缩,垂直适配仍具价值
[事实] 简单工具调用、提示词工程和基础运行框架可能被新一代模型吸收。
[事实] 法律和医疗等专业领域仍存在知识、工具和数据壁垒,通用模型难以直接充分理解。
[事实] 前沿模型公司也不容易获得高质量的行业数据,而企业可能拥有用户轨迹、内部数据和人工标注数据。
[事实] 将较强的开源模型与企业专有数据结合,可以降低成本并改善特定场景的效率。
[31:46] 用户以数据换便利的现实案例
[事实] 一家名为 Hark 的创业公司通过免费披萨活动,鼓励用户注册并连接 Gmail。
[事实] 活动期间系统出现故障,包括错误扣款、配送至错误地址,以及大量并发请求导致系统失效。
[事实] 嘉宾认为,该案例同时说明用户可能愿意用个人数据换取小额便利,也说明高并发 Agent 基础设施尚不成熟。
[事实] 嘉宾预计,未来会有更多用户用数据换取便利,同时 Agent 与 Agent 之间的通信协议也可能得到更广泛采用。
[33:17] 隐私选择受到利益与表达方式影响
[事实] 嘉宾表示,企业通常比消费者更重视隐私和安全,但企业也可能因折扣而同意开放部分日志数据。
[事实] 其过往经验显示,即使部分大型企业客户,在采购阶段面对价格优惠时也可能接受有限的数据访问。
[事实] 嘉宾认为,用户是否愿意开放数据,与方案如何表述、定位以及所提供的具体利益有关。
[推测] Agent 时代的数据授权未必只是技术和合规问题,也会受到产品激励与商业策略的显著影响。
播客点评/总结
[推测] 本期的价值在于把 Agent 的讨论从“模型是否更聪明”推进到“系统是否可靠、可恢复和可追责”。订错机场、泄露地址和集中致电商户等案例,让长期任务中的抽象风险变得具体,也清晰展示了模型错误如何转化为现实成本。
[推测] 讨论的另一亮点是将通信层、状态管理、错误恢复、授权和可见性纳入 Agent 基础设施,而不是只关注模型和工具调用。这些观点对 Agent 产品开发者、企业技术负责人、安全从业者和寻找创业方向的团队尤其有参考价值。
[推测] 节目的局限是部分趋势判断主要来自嘉宾经验和个别案例,尚未提供系统性数据来衡量用户信任、高并发故障率或隐私交换行为;对于错误发生后的法律责任、赔偿机制和监管要求,也只是提出问题而未深入展开。
[推测] 整体而言,本期最重要的结论是:个人 Agent 的普及可能不可避免,但真正决定其能否进入高价值场景的,不只是模型能力,而是长期执行的可靠性、关键节点的人类介入,以及用户能够理解和控制的信任机制。