直接答案：AI Red Teaming（人工智能红队测试）是一项经过授权、以对手视角检验 AI 系统的活动。它不只是尝试“越狱”模型，而是围绕真实业务影响，检查模型行为、提示词与检索数据、工具权限、接口、身份系统、人工流程和监控机制，留下可复现证据，再验证修复是否有效。没有明确授权、范围和停止条件的“攻击尝试”不属于合格的企业红队项目。
本文适合准备采购、上线或复核生成式 AI 与 Agent 的产品、安全和合规负责人。复核日期为 2026-09-15；威胁技术和产品能力会变化，执行时应重新核对文末官方框架。
Red Teaming 到底解决什么问题
常规功能测试回答“系统能否按设计工作”，安全测试回答“已知控制是否存在缺口”，红队测试则进一步追问：一个有动机的对手能否把多个弱点串起来，造成未经授权的数据访问、危险工具调用、业务误导、成本消耗或声誉损害。NIST 的生成式 AI 风险管理资料强调风险应贯穿设计、开发、使用与评估；MITRE ATLAS 则把 AI 系统中的对手战术、技术和缓解措施组织成可持续更新的知识库。
| 活动 | 主要问题 | 典型输出 | 不能替代什么 |
|---|---|---|---|
| 模型评测 | 模型在固定数据集上的质量与安全表现怎样 | 指标、失败样本、版本对比 | 真实系统攻击链 |
| 渗透测试 | 网络、接口、身份和应用是否有可利用漏洞 | 漏洞、严重性、复现步骤 | 非确定性模型行为评估 |
| AI 红队 | 对手能否跨模型、数据、工具与流程形成业务影响 | 攻击路径、证据、影响、修复与回归 | 日常监控和持续治理 |
| 漏洞赏金 | 外部研究者能否发现特定范围的问题 | 单项报告与奖励处理 | 内部资产全景与系统化覆盖 |
从军事演练到 AI 系统：概念怎样演进
“红队”最初强调让一组人员从对手立场挑战既有方案。进入网络安全后，它发展为经授权的对抗模拟：蓝队负责防御，紫队促进双方把发现转成控制改进。生成式 AI 出现后，攻击面扩大到训练与检索数据、提示词、模型输出、插件或工具、长期记忆以及人机决策链。今天谈 AI Red Teaming，核心不是角色名称，而是四件事：明确授权、模拟可信威胁、证明业务影响、闭环验证修复。
公开红队实践通常会同时使用领域专家和自动化方法。自动化可以扩大覆盖面，却不能替代业务语境、影响判断和人工复核；专家测试也应沉淀为可重复运行的回归样本。
测试前先写清六项授权边界
- 系统边界：列出模型版本、RAG 索引、代理工具、API、前端、后台、身份与日志系统。
- 允许动作：明确是否允许创建测试账号、上传文件、调用外部工具、改变数据或触发高成本任务。
- 禁止目标：生产客户数据、真实支付、医疗或工业控制等默认排除，除非有专门批准和隔离环境。
- 数据规则：测试数据从哪里来，是否含个人信息，证据怎样脱敏、保存和销毁。
- 停止条件：发现真实数据泄漏、成本异常、系统不稳定或影响第三方时立即停止，并指定联系人。
- 披露与责任：约定报告接收人、修复时限、外部供应商责任与是否允许公开。
授权文件应由业务所有者、安全负责人和系统运维共同确认。只拿到“可以测试模型”的口头同意，不能自然扩展到云账户、员工账号或第三方接口。
按攻击面建立可复现测试矩阵
| 攻击面 | 应验证的失败 | 最小证据 | 优先缓解 |
|---|---|---|---|
| 模型与护栏 | 越权内容、策略绕过、错误自信 | 完整输入、输出、模型版本与参数 | 策略分层、拒答、人工门禁 |
| RAG 与数据 | 间接提示注入、来源混淆、敏感信息泄漏 | 命中文档、片段、检索排名与回答 | 来源隔离、内容净化、最小数据集 |
| Agent 与工具 | 超出任务的读写、支付、发信或执行 | 工具调用链、权限、审批与实际副作用 | 最小权限、参数校验、高风险确认 |
| 应用与接口 | 身份绕过、会话串扰、输出注入、成本滥用 | 账号角色、请求响应、日志与费用 | 鉴权、配额、输出编码、速率限制 |
| 供应链与运营 | 模型或数据版本漂移、依赖污染、监控失明 | 版本清单、变更记录、告警与回滚结果 | 签名锁定、变更审批、持续监控 |
OWASP 的生成式 AI 红队资料可用于补充 Web 与 LLM 常见风险，MITRE ATLAS 适合组织对手路径。但框架是检查起点，不是完成证明；企业仍要把每条技术映射到自己的资产、权限和损失模型。
一次可执行的 AI 红队流程
第一步：把业务损失写成可验证假设
不要从“试一百条越狱提示”开始。先写出假设，例如：“低权限客服账号是否能诱导代理读取其他客户工单”“不可信网页是否能让研究代理把外部指令当系统要求”“模型输出是否会未经确认触发退款”。每个假设必须绑定资产、对手能力、预期控制和可接受结果。
第二步：建立干净基线与测试环境
记录模型与系统版本、系统提示、知识库快照、工具清单、账号权限、温度等参数。优先使用隔离环境和合成数据；必须触及生产环境时，采用最小范围、低峰窗口、实时监控与可立即撤销的凭据。
第三步：人工与自动化组合执行
自动化适合重复变体、版本回归和大规模覆盖，人工专家适合发现多步业务逻辑、语义诱导和跨系统组合风险。两者都应遵守同一授权范围。随机生成大量提示但不记录版本、输入与判断标准，无法形成可靠回归集。
第四步：按可利用性和业务影响分级
严重性不能只看“模型说了不该说的话”。至少分别记录可重复性、所需权限、数据敏感度、动作可逆性、影响用户数、财务或合规后果以及现有侦测能力。模型偶发输出与可稳定触发并形成真实副作用的攻击链，应区别处理。
第五步：修复、复测并进入发布门禁
修复后用原始案例、语义变体和正常业务样本共同复测，避免只封堵一个字符串或导致正常能力大幅退化。把稳定案例纳入持续评测，在模型、提示词、知识库、权限或工具发生变化时自动回归。
一条合格发现记录应包含什么
- 唯一编号、测试日期、负责人和授权范围；
- 受影响环境、模型与应用版本；
- 前置条件、账号角色、完整输入和工具调用序列；
- 实际输出、副作用与脱敏日志；
- 预期控制为何失效，以及是否可稳定复现；
- 业务影响、严重性理由、临时缓解和修复负责人；
- 复测结果、回归样本和关闭依据。
对外报告应删除能伤害真实用户的敏感步骤，但内部证据必须足够让另一名测试人员在安全环境重现。需要搭建持续门禁时，可继续阅读本站的深度伪造与生成内容合规验收指南、AI 安全与合规栏目以及编辑与核验规范。
采购外部红队服务时怎样验收
| 验收项 | 应提供的证据 | 风险信号 |
|---|---|---|
| 范围设计 | 资产清单、威胁模型、排除项和停止条件 | 只承诺“海量越狱词库” |
| 人员能力 | AI、应用安全和业务领域的角色分工 | 只有通用扫描工具 |
| 数据保护 | 隔离、脱敏、保留期与销毁证明 | 要求上传未脱敏生产数据 |
| 交付质量 | 可复现发现、影响、修复建议和复测 | 只给截图或成功率 |
| 持续性 | 回归集、版本触发条件和重新测试机制 | 一次报告永久有效 |
怎样组建红队与蓝队协作机制
成熟项目通常至少包含四类角色。业务负责人定义不可接受的损失并批准范围；红队负责构造和验证攻击路径；蓝队拥有防护、监控和修复；独立复核人检查证据与关闭条件。模型供应商、安全厂商和业务团队可以参与，但不能让测试执行者单独决定自己的发现已经关闭。
为了防止项目变成“找到越狱截图”的表演，应在开始前确定交付指标。覆盖率可以按已测试资产、威胁假设和权限角色计算；有效性可以看高风险发现是否有稳定复现、修复后是否通过原始与变体回归；运营能力可以看告警是否捕获、响应是否在约定时限内、凭据和数据是否按期销毁。单纯统计测试提示数量没有业务意义。
| 阶段 | 责任人 | 通过条件 |
|---|---|---|
| 立项 | 业务所有者与安全负责人 | 范围、授权、数据和停止条件已签字 |
| 执行 | 红队与环境管理员 | 证据完整，未越过授权边界 |
| 修复 | 产品、模型与平台团队 | 根因控制落地，不只是屏蔽单一字符串 |
| 关闭 | 独立复核人 | 原案例、变体和正常业务样本共同通过 |
三种常见失败方式
只测基础模型：供应商模型可能拒绝危险请求，但应用层把不可信网页送入上下文，或给代理配置了过高权限，仍会形成风险。应在真实系统集成层复测。
把偶发输出当作稳定漏洞：生成具有随机性。报告应记录成功次数、总尝试次数、模型版本和参数，并区分一次异常、可重复路径与已产生副作用的事件。
修复后不保留回归：提示词、模型和工具更新可能让旧问题重新出现。关闭发现时应把最小安全样本加入回归集，并指定哪些变更会触发重测。
常见问题
AI 红队是否等于提示词越狱？
不等于。越狱只是模型行为测试的一类。完整红队还要覆盖检索数据、工具权限、身份、接口、供应链、人员流程与真实业务后果。
通过一次红队测试就能证明系统安全吗？
不能。测试只能说明在特定版本、范围和方法下发现了什么。模型、数据、工具或攻击技术变化后需要重新评估，并结合监控、事件响应和常规安全工程。
可以直接在生产环境测试吗？
默认应先在隔离环境使用合成数据。确需生产测试时，必须有明确书面授权、最小权限、低影响设计、实时监控、停止条件和回滚负责人。
来源与复核记录
- NIST：Generative AI Profile（NIST AI 600-1）
- NIST AI Resource Center
- MITRE ATLAS：AI 对手战术与技术知识库
- MITRE：AI 系统安全评估完整报告
- OWASP GenAI Red Teaming Initiative
- OWASP GenAI Red Teaming Guide
本文由兰塞 AI 编辑部在 2026-09-15 按上述公开资料复核。框架链接用于核对定义与方法，不代表其为本站结论背书。
