MosaicLeaks: Can your research agent keep a secret? — Hugging Face 揭示研究助手可能泄露训练数据，对 AI 安全提出警示

Hugging Face 博客探讨了名为 MosaicLeaks 的研究，该研究测试了 AI 研究助手在对话中泄露其训练数据的风险。

• 研究发现，某些研究助手在回答看似无害的查询时，会无意中输出其训练数据集中的具体内容片段。这表明即使模型经过对齐训练，数据泄露风险依然存在，开发者需在部署前进行更严格的安全评估。
• 泄露测试通过特定的提示词工程触发，揭示了模型记忆和泛化机制中的潜在漏洞。这对工具链开发者意味着需要构建更鲁棒的对抗性测试流程，以识别和缓解此类隐私风险。
• 研究强调了在开源或部署 AI 助手时，数据隐私和安全应成为核心考量。对于 Agent 开发者而言，这要求在设计阶段就整合隐私保护措施，并透明地向用户说明数据处理方式。

原文：MosaicLeaks: Can your research agent keep a secret? · 作者 Hugging Face