💬 观点Simon Willison
Quoting @joedaroo — OpenAI 安全人员承认模型能力突跳让公司措手不及,谈组织如何应对意外
OpenAI 安全人员承认模型能力突跳让公司措手不及,谈组织如何应对意外
2026-09-28原文
本文为要点摘要,完整细节以原文为准。
- OpenAI 的 Agent Security 人员 @joedaroo 表示,模型在“网络”“群体智能”“留言板”等方向的能力跳变之突然,远超预期,安全姿态的建立需要时间,不只是加固系统,还要改变组织文化。对 agent 开发者的含义:能力评估不能只做静态基线,要假设下一次跳变随时到来。
- 他指出真正的难点在于跳变“太快太突然”,因此问题不只是技术,而是人、流程与响应机制能否跟上。对工具链的含义:agent 的权限边界、审计与回滚要设计成可快速收紧,而非事后补丁。
- 他给出的行动建议是让每个组织自问:人员、系统、流程是否对意外有韧性,团队是否知道出错时该做什么,是否有正确的事件响应与沟通机制。对团队的含义:把 AI 能力突跳纳入现有 incident response 演练,而不是另起一套。
原文:Quoting @joedaroo · 作者 Simon Willison