Red-Teaming after Mythos — Zico Kolter & Matt — AI安全不是传统网络安全，代理引入全新漏洞类，下一次重大事故是灰犀牛。

• 传统网络安全关注软件漏洞，但AI系统有自身固有弱点，可被欺骗，且少数模型被广泛使用导致关联故障风险。这意味着开发者需要为AI部署建立独立的安全层，而非仅依赖现有工具。
• 代理（如Codex、Claude Code）面临提示注入新攻击面，攻击者可操纵工具调用、窃取数据或凭证。这对构建自主代理的团队是直接威胁，必须将模型视为不可信实体。
• 专用红队模型（如Shade）已能超越人类发现漏洞，但更大模型不会自动更鲁棒。开发者应主动采用自动化红队和护栏（如Cygnal）来测试和防御，而非依赖“提示更好”。

原文：Red-Teaming after Mythos — Zico Kolter & Matt Fredrikson, Gray Swan · 作者 Latent Space