AI 幻觉是什么？类型、核验方法与生产级风险控制指南

直接答案：AI 幻觉是生成式 AI 自信地给出错误、虚假、无依据、与输入冲突或前后矛盾的内容。它不只表现为“编造事实”，还可能是捏造引用、把过期资料当现状、错误归纳检索材料、算错数字、忽略限制条件，或在智能体中误报工具执行状态。降低风险不能只改一句提示词，而要把问题拆到模型、上下文、知识、工具和业务流程各层，再用来源核验、确定性规则、评测、监控和人工升级共同控制。

AI 幻觉到底是什么

NIST AI 600-1使用 confabulation 描述生成式 AI 面对提示时生成并自信呈现错误或虚假内容的现象，也把偏离输入、与同一上下文中先前陈述矛盾的输出纳入范围。NIST 同时提醒，“hallucination（幻觉）”和“fabrication（编造）”可能让人把人的特征错误投射给系统。中文搜索普遍使用“AI 幻觉”，本文沿用这一名称，但把它当作需要验证的系统输出风险，而不是模型有意识欺骗。

“回答听起来合理”不是证据。语言流畅、术语完整、格式专业，只说明输出在表达层面连贯，不说明事实已经通过验证。风险来自用户或下游系统把这种表面确定性当作可靠性，特别是在医疗、法律、财务、安全、生产运维和真实业务动作中。

先区分：并非所有错误都来自模型本身

实际产品是一条链：用户问题进入应用，应用拼接系统指令和历史上下文，可能检索知识库、调用搜索或数据库，再由模型组织答案，最后经过界面、自动化或人工执行。任一环节都可能制造错误。如果知识库过期、检索漏掉关键条款或工具返回失败，换一个更大模型也未必解决。

这一区分会直接改变修复方案：事实生成错误需要检索、拒答和核验；数据过期需要内容治理；计算错误需要工具；动作误报需要状态机和回执；越权执行属于AI 安全与智能体权限问题。把不同失败压成一个“幻觉率”，会让团队得到无法行动的指标。

AI 幻觉的七种常见类型

分类不要求互斥。一句“某功能已在 2026 年免费开放，官方文档证明可商用”可能同时包含时间、产品状态、引用和法律边界四类主张。长文本也常混合正确与错误内容，不能用“整篇对/整篇错”的二元标签。FActScore因此把长文本拆成原子事实，再计算其中有多少得到可靠知识源支持；它提供的是细粒度评测思路，不是所有场景通用的自动真相判定器。

为什么生成式 AI 会给出无依据内容

生成模型学习数据中的统计规律，并在给定上下文下生成可能的后续内容。这个目标可以产生准确、有用的答案，却不天然等同于“只输出可被外部证据证明的句子”。NIST 将 confabulation 视为生成方式带来的风险之一，并强调其影响取决于模型、系统和使用场景。对具体一次错误，通常无法仅凭表面输出断言是某个注意力头、潜在空间或温度参数单独造成。

OpenAI 2025 年关于语言模型幻觉的研究说明还指出，只奖励答对、不区分错误回答与合理拒答的评测方式，会鼓励模型在不确定时猜测。这个结论适合用来改造评测激励：分别记录正确、错误和拒答，并让高置信错误的代价高于恰当表达不确定；它不意味着所有具体幻觉都只有一个原因。

温度等采样参数会影响输出的随机性和多样性，但“把温度调低就不再幻觉”不是可靠结论。低随机性可能让同一个错误更稳定地重复；高随机性也可能用于探索、创意或多候选比较。参数必须在具体任务和评测集上验证，不能代替可靠知识、工具结果和业务规则。

普通用户的三分钟核验法

不必逐字查完整回答。先找出“如果错了会改变我的行动”的关键主张，再优先核验。医疗诊断、用药、合同、投资、账号安全、生产命令和对外发布不能只靠三分钟检查，应直接交给合格人员或原始系统确认。

需要系统化处理长回答时，使用原子主张—证据忠实度核验框架：先拆句，再分别判断来源存在性、忠实度、覆盖度、充分性和影响。发现某个来源打不开，不等于结论必错；发现链接能打开，也不等于结论已证实。最终状态至少应区分“支持、部分支持、不支持、无法判断、信息过期”。

提示词能降低风险，但不能承担事实保证

好的任务说明可以减少模型为了“看起来完整”而补细节。应明确资料范围、目标日期、输出结构、允许拒答、引用要求和遇到冲突时的处理方式。复杂任务可参考提示词任务规格方法，但提示词仍是自然语言约束，不能替代数据库权限、计算器、交易状态或人工审批。

Anthropic 官方减幻觉指南建议允许模型表达不知道、先从长文中抽取直接引文、让每个主张带引用并在找不到支持时撤回，同时明确关键内容仍需验证。这些做法适合转化为可测的工作流，而不是一句“请不要幻觉”。

联网、RAG 与引用：有证据入口，不等于答案正确

RAG（检索增强生成）把外部文档检索结果加入模型上下文。RAG 原始论文展示了把参数化模型与外部非参数记忆结合的生成方式。它能提供更新或领域知识，但实际质量还取决于知识库是否正确、权限是否合适、召回是否完整、排序是否准确，以及生成内容是否忠实于检索片段。完整工程方法见RAG 检索增强生成指南。

联网搜索也有同样边界：搜索结果可能来自二手文章、营销页、被污染内容或旧缓存。引用必须落到支持结论的具体段落；如果结论需要跨多份资料推断，应明确写“根据这些来源推断”，而不是把推断伪装成某一来源的原话。

结构化输出、函数调用与计算工具分别解决什么

Structured Outputs等 schema 约束能让字段、类型、枚举和必填项符合约定，适合阻止格式漂移；它不保证字段里的姓名、金额或理由真实。函数调用可把计算、查询和业务动作交给确定性工具，但模型仍可能选错工具、传错参数或误读返回。因此需要参数校验、最小权限、幂等、回执和动作后核对。工具设计详见Function Calling 与 Tool Use 指南。

智能体中最危险的不是一句错误描述，而是错误描述触发真实动作。部署方案应遵循AI 智能体权限与治理中的最小权限、动作分级和可回滚原则；完整项目还需要在AI 项目生命周期中把数据、评测、发布、观测和退出条件写进门禁。

生产团队怎样建立可用的幻觉评测

不要从“模型总体幻觉率是多少”开始。先写清具体任务、用户、错误类型和损失，再建立代表真实流量的评测集。OpenAI Evaluation Best Practices强调任务特定、持续评测和可比较标准；任何自动裁判都应通过人工样本校准，尤其是领域事实和高风险决策。

SelfCheckGPT研究了在没有外部知识库时，通过同一模型多次采样并比较信息一致性来检测可能的幻觉。这个思路可以成为弱信号：多个答案互相冲突值得复查；但多个答案一致也可能共同重复同一错误，所以一致性不能当作事实证明。

上线门禁：把防线放在完整系统而不是最后一段提示词

监控不能只看“用户点赞率”。用户可能没有发现错误，也可能因为答案顺耳而点赞。线上至少记录任务类型、模型和提示版本、检索文档版本、引用、工具参数与结果、验证器状态、人工改动和最终动作；敏感数据应脱敏并按权限、保留期管理。错误样本进入回归集后，下一次模型、提示、索引或工具更新都要重测。

哪些场景必须人工升级

人工复核也不是“看一眼”。复核者需要看到原始问题、关键输入、模型版本、证据、计算过程、工具回执和风险等级，并有权暂停流程。没有材料、时间或能力的人工签字只是责任转移，不是有效控制。

常见误区：这些办法为什么不能单独成立

小团队的最小可行实施清单

资源有限时，不要先购买一个宣称“自动消除幻觉”的平台。先选出一个明确任务，收集真实问题和已发现错误，建立小而可审查的基准集；为每个高影响答案保存来源和版本；把计算、查询和动作交给受限工具；在发布或执行前设置阻断与人工升级。每次发现新错误，都要同时修正当前结果并把样本加入回归集。

基准集数量不是质量证明。样本应覆盖用户语言、资料长度、时间敏感问题、否定条件、相似实体、单位换算、资料冲突和工具失败，并由懂业务的人审查。自动评分适合扩大覆盖，人工复核负责校准评分标准和处理高风险分歧。

FAQ：关于 AI 幻觉的高频问题

AI 幻觉等于撒谎吗？

不等于。撒谎通常包含主体知道真相并有意误导的含义；生成模型是在给定上下文下生成输出。讨论工程风险时，关注内容是否错误、无依据、前后矛盾以及会造成什么后果，比推测“它是否有意”更有操作价值。

能不能准确计算一个模型的幻觉率？

可以在明确任务、样本、时间、评分规则和证据集上测得一个指标，但不能脱离这些条件给出永久通用的单一数字。问答、摘要、代码、RAG 和工具调用的错误定义不同；同一模型在不同语言、领域和版本上也会变化。

模型说“我不确定”就安全吗？

不确定性表达是有用信号，但模型可能对正确内容过度犹豫，也可能对错误内容非常自信。是否允许继续行动，应由证据和风险规则决定，而不是只看语气。

引用越多，回答越可靠吗？

不一定。数量不能替代质量。更重要的是关键主张是否由适当的一手来源直接支持、引用是否覆盖完整结论、资料是否仍有效，以及相互冲突的证据是否被说明。

个人用户最重要的一条习惯是什么？

在采取行动前，先找出最关键、最可能造成损失的一条主张，回到有权发布它的一手来源核验。证据不足就暂停，不要为了得到完整答案而让 AI 补齐未知信息。

来源与复核记录

1. NIST：Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile（AI 600-1）——定义 confabulation、说明风险范围与生成式 AI 生命周期治理；出版页显示 2026-04-08 更新。
2. TruthfulQA: Measuring How Models Mimic Human Falsehoods——817 个问题、38 个类别的真实性基准；本文不外推其旧模型分数。
3. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation——原子事实与可靠来源支持比例的细粒度评测。
4. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks——RAG 原始研究，用于说明参数化与外部记忆组合，不作为“消除幻觉”的证明。
5. SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models——多次采样一致性检测思路及其适用边界。
6. Anthropic：Reduce hallucinations——不确定性、直接引文、逐项引用与关键内容人工验证。
7. OpenAI：Structured Outputs——用于 schema 约束，不作为事实正确性保证。
8. OpenAI：Evaluation Best Practices——任务特定评测、数据集、标准与持续评估。
9. OpenAI：语言模型为何会产生幻觉——用于说明只奖励准确率可能鼓励猜测，以及应区分正确、错误与拒答；不外推为单一根因。

编辑复核与纠错记录：本文由兰塞 AI 编辑流程于 2026 年 7 月 19 日复核。旧稿中把幻觉简单归因于注意力分散、潜在空间插值和高温度，并残留 Markdown；新版删除无法由来源支持的机理断言，新增错误分类、个人核验、RAG/工具边界、生产评测、上线门禁与高风险升级。本轮把错误类型特色图纳入正文首屏，并重新执行品牌、Markdown、视觉授权和文章结构门禁。本站来源、更新和纠错原则见关于本站与编辑规范。