直接答案:AI 幻觉通常指模型生成看似连贯但错误、无依据或前后矛盾的内容;NIST 更精确地使用 confabulation。它不能只靠提示词消除。高风险任务应限定来源、要求证据位置、允许返回空值或拒答,并用固定样本检查事实支持率、引用可达性和冲突。

本文面向需要做技术选型或落地验收的中文读者。所有会随版本变化的接口、价格、硬件支持和功能可用性,都应在实施当天回到官方页面复核;本文复核日期为 2026-09-11。
先判断:这个任务真正要解决什么
解释生成式 AI 为什么会自信地产生错误内容,并给出可执行的核验和拒答流程。开始前把业务目标写成可验证条件,避免把“能运行”“返回了结果”误当成质量达标。
| 序号 | 决策问题 | 验收方式 |
|---|---|---|
| 1 | 输出是否能回到给定来源 | 记录证据、负责人和通过条件 |
| 2 | 缺少证据时能否空值或拒答 | 记录证据、负责人和通过条件 |
| 3 | 数字、日期和专名是否逐项核验 | 记录证据、负责人和通过条件 |
| 4 | 高风险内容是否有人类负责人 | 记录证据、负责人和通过条件 |
核心原理与适用边界
- 语言流畅度不是事实可靠性。
- 检索增强减少部分风险但不会自动消除错误。
- 自动评分应与人工核验和风险分级结合。
这些原则只说明技术机制,不代表任何特定产品在你的数据、硬件或组织流程中必然更快、更准或更省。若官方材料没有披露某项实现,应明确标为未知,而不是根据营销名称推断。
从基线到上线的执行步骤
- 第 1 步:限定任务和允许来源
- 第 2 步:要求逐项给出证据位置
- 第 3 步:缺证据返回未知而不是补全
- 第 4 步:运行固定真值与无答案样本
- 第 5 步:核对链接、数字和冲突
- 第 6 步:高风险结论由责任人签字
每一步都要保存输入版本、配置、输出和验收结论。遇到失败先缩小范围并保留原始证据,不要为了让演示通过而修改测试口径。
建议保存的验收记录
| 记录项 | 最低要求 | 失败时处理 |
|---|---|---|
| 范围与版本 | 代码、数据、模型、依赖、硬件和日期可追踪 | 冻结发布,补齐版本后重跑 |
| 质量证据 | 与固定基线按相同输入和指标比较 | 定位数据、提示、模型或系统层原因 |
| 安全与权限 | 最小权限、敏感数据处理、失败模式均有验证 | 撤销权限或回滚到安全版本 |
| 发布与恢复 | 灰度范围、监控阈值、负责人和回滚命令明确 | 停止扩量并执行已演练的回滚 |
常见风险与失败模式
- 伪造引用也呈现得很可信
- 来源本身过期或不适用
- 检索片段脱离上下文
- 模型在无答案时强行回答
风险较高的业务应增加人工复核和独立安全测试。本文不把公开资料整理写成编辑部实测,也不提供无法复现的速度、准确率或收益数字。
常见问题
只要官方示例能运行就可以上线吗?
不可以。官方示例用于说明能力或接口,仍需用你的数据、权限、负载和失败场景验证,并保存可以回放的结果。
为什么必须保留基线?
没有相同输入和相同指标的基线,就无法判断新方案是否真正改善,也无法在故障时确认回滚是否恢复。
版本变化后需要全部重做吗?
至少应重跑与变化范围相关的确定性检查、核心质量集、安全边界和恢复演练;重大模型、框架或数据变更应做完整回归。
下一步与一手来源
可继续阅读:Python 可复现基线、RAG 检索基线、模型评测与回滚。这些内链分别帮助补齐模型路由、对话系统和 Agent 治理边界,不替代本文缺失内容。
一手与原始资料:NIST GenAI Profile、NIST AI RMF、NIST evaluation probes、NIST GenAI evaluation、NIST AIRC。访问与事实复核日期:2026-09-11。
