直接答案：多模态 AI（Multimodal AI）是能够在同一任务中接收、关联或产生两种及以上信息模态的 AI 系统。模态可以是文本、图像、音频、视频，也可以是深度、热成像、惯性测量、点云或业务状态。它不等于某一种模型架构，也不要求所有模态进入同一个“统一语义空间”；级联的 ASR→LLM→TTS、图文共享嵌入、视觉编码器连接语言模型、联合生成模型和传感器融合系统，都可能属于多模态方案。
多模态的价值来自信息互补：画面显示“发生了什么”，音频补充“听到了什么”，文本给出目标或规则，时间戳把事件放在同一时间线上。但更多模态也会带来采样损失、时间错位、相互矛盾、隐私和成本问题。本文不做“最强多模态模型排行”，而是给出一套长期可维护的定义、架构选择和生产验收方法。资料复核日期为 2026 年 7 月 18 日。
什么是模态？文件格式不等于模态
模态是信息被感知、记录或表达的渠道。JPEG 和 PNG 是两种文件格式，但通常都属于图像模态；MP3 和 WAV 都属于音频模态；PDF 可能同时包含可提取文本、页面图像、表格和版面结构，所以“上传了 PDF”不能说明系统究竟使用了哪些模态。Google 的文档处理说明就明确区分 PDF 页面视觉与其他文档类型的纯文本提取行为。
| 输入对象 | 可能包含的模态 | 必须核对的处理 |
|---|---|---|
| 扫描 PDF | 页面图像、OCR 文字、版面 | 是否渲染页面、OCR、保留坐标与页码 |
| 会议视频 | 画面、语音、环境声、字幕、时间 | 抽帧率、音轨、说话人、字幕来源 |
| 网页 | 文本、图片、图表、交互状态 | 是读取 DOM、截图还是无障碍树 |
| 机器人日志 | 相机、深度、IMU、控制量、时间 | 坐标系、同步、单位、缺失和漂移 |
因此，评估“是否支持多模态”时要问：系统实际读取了原始媒体，还是先由另一个组件转换成文本？是否保留时间、空间和来源关系？输出是否能回指原始证据？如果只把图片 OCR 成文字再交给语言模型，它仍可构成多模态系统，但错误会沿 OCR 中间结果传播，能力边界与直接处理视觉特征的 VLM 不同。
输入、输出、训练和系统架构要分开
一个产品允许图片输入，不代表底层模型可以输出图片；一个模型用图文配对数据训练，不代表接口当前支持视频；一个应用串联语音识别、语言模型和语音合成，也不代表存在单个“全模态模型”。把这四个层次拆开，能避免产品文案和工程能力混为一谈。
| 层次 | 要问的问题 | 证据 |
|---|---|---|
| 输入模态 | 当前接口实际接受什么？ | API 文档、MIME、大小、时长、采样规则 |
| 输出模态 | 返回文本、结构化数据还是媒体？ | 响应 schema、编码、尺寸和时长 |
| 训练模态 | 用哪些配对或交错数据学到关联？ | 论文、模型卡、数据说明 |
| 模型架构 | 怎样编码、对齐、融合和解码？ | 技术报告、代码、可复现实验 |
| 系统编排 | 哪些组件先后处理并保存状态？ | 数据流、日志、版本与调用轨迹 |
Google 当前文件输入方法把图像、音频、视频和文档的传入方式与大小、存储位置和复用场景分开。此类接口限制变化很快，文章中的数字只能作为某个日期和 API 版本的例子；生产配置要读取当前文档，不能把旧教程中的上限永久写死。
多模态与 VLM、计算机视觉、语音模型有什么区别？
多模态是上位概念。VLM（视觉语言模型）聚焦视觉和语言之间的检索、问答、OCR、定位或生成；计算机视觉聚焦从图像/视频产生标签、框、掩码、文字、轨迹等可验收输出；ASR 把语音转成文字，TTS 把文字转成语音。一个系统可以组合这些专业组件，也可以使用覆盖多种输入的通用模型。
| 概念 | 主要输入输出 | 典型问题 | 推荐专页 |
|---|---|---|---|
| 计算机视觉 | 图像/视频 → 标签、框、掩码、轨迹 | 目标在哪里、类别是什么 | 计算机视觉指南 |
| VLM | 视觉+文本 → 检索、文字或结构化答案 | 图里有什么、依据在哪里 | VLM 视觉语言模型指南 |
| ASR/TTS | 语音↔文本 | 说了什么、怎样合成语音 | 按语音任务和当前 API 选型 |
| 多模态 AI | 两种以上模态参与同一任务 | 怎样关联、冲突、降级和验收 | 本页 |
| AI Agent | 上下文+工具状态 → 受控多步行动 | 下一步做什么、何时停止 | AI Agent 定义与治理 |
多模态也不自动等于 Agent。一个图文问答模型可以只返回一次答案；只有当系统围绕目标读取状态、选择工具、观察结果并决定继续或停止时，才进入智能体运行问题。工具接口和权限细节见Tool Use 与 Function Calling 指南。
多模态 AI 有哪些主要任务？
不要先按模型名称选型，应先写输出合同。跨模态检索需要排序与召回；图文问答需要回答和视觉证据；视频事件抽取需要时间戳；媒体生成需要质量、权利和一致性验收；传感器融合需要坐标、同步和失效策略。输出不同，数据、架构和指标也不同。
| 任务 | 输入 | 输出合同 | 核心指标 |
|---|---|---|---|
| 跨模态检索 | 文本↔图像/音频/视频 | 排序列表、分数、证据片段 | Recall@K、MRR、人工相关性 |
| 分类与匹配 | 一种或多种媒体 | 受控标签、置信度、拒答 | Precision、Recall、校准 |
| 问答与抽取 | 媒体+问题/schema | 答案、字段、位置或时间戳 | 字段准确、证据命中、拒答 |
| 描述与摘要 | 图像/音频/视频 | 事实受限文本和证据范围 | 事实一致、覆盖、遗漏 |
| 生成与转换 | 文本+参考媒体 | 图像、音频或视频文件 | 指令遵循、一致性、权利可用 |
| 传感器融合 | 相机、深度、雷达、IMU | 状态估计、轨迹、告警 | 误差、延迟、失效安全 |
“识别一段视频”仍然太宽。更可执行的写法是：“从 30 分钟培训视频中输出议题、讲者、开始/结束时间和原句证据；无法确认讲者时标记 unknown，不根据声音猜测身份。”这同时定义了模态、时间范围、输出字段、证据和拒答边界。
多模态 AI 的五类架构路线
旧稿把共享语义空间和端到端联合训练写成唯一演进方向，这是不准确的。不同路线服务不同输出；可解释、可替换的级联系统在很多业务中反而更合适。选择时要比较真实任务，不要用“原生”“统一”“端到端”直接代替质量证据。
1. 级联与编排
级联系统先用专业组件转写或抽取，再把中间结果交给下游。例如 ASR→LLM→TTS、OCR→字段抽取→规则校验。优势是组件可替换、错误容易定位、输出可在中间层检查；风险是语气、版面、空间关系或非语音声音可能在转换时丢失。级联不是“伪多模态”，关键是中间表示是否保留任务需要的信息。
2. 共享嵌入
不同编码器把各模态映射到可比较的向量，用相似度完成检索、分类或匹配。OpenAI 的CLIP 介绍与论文展示了使用自然语言监督连接图像和文本；Meta 的ImageBind 官方仓库及其论文研究图像、文本、音频、深度、热成像和 IMU 的联合嵌入。论文和演示证明特定实验能力，不代表任何模态组合都已在业务数据上可靠。
3. 媒体编码器、连接器与语言模型
这类路线把图像、视频或音频编码为特征，经投影、重采样器或交叉注意力等连接到语言模型，再生成文本或结构化结果。Google DeepMind 的Flamingo 介绍展示了交错图像、视频和文本输入以及语言输出。具体系统可能冻结部分组件、联合训练或使用不同连接方式，不能把一种结构当成所有 VLM 的统一原理。
4. 联合或统一建模
一些模型在更统一的序列或潜空间中处理多种模态，并支持交错输入、跨模态生成或实时交互。这里的“统一”是技术路线描述，不是准确率、低延迟或安全的保证。媒体表示、训练数据、解码器和产品接口仍可能分开；厂商未公开的内部细节不能根据营销名称反推。
5. 传感器融合
机器人、工业和空间任务常需要相机、深度、雷达、IMU 或设备状态在统一时间和坐标系中配准。早期融合在特征前后组合原始信息，中期融合交互特征，晚期融合组合各模型决策。这里的关键不是自然语言，而是同步误差、传感器漂移、冗余、缺失、失效检测和实时性。
| 路线 | 最适合 | 主要优势 | 主要风险 |
|---|---|---|---|
| 级联 | 步骤稳定、专业组件成熟 | 可替换、可检查、易定位 | 中间表示丢信息、错误传播 |
| 共享嵌入 | 检索、匹配、分类 | 大规模召回和跨模态比较 | 相似不等于因果、定位或生成 |
| 连接器+语言模型 | 问答、描述、结构化抽取 | 自然语言接口和少样本适配 | 流畅回答掩盖感知错误 |
| 联合/统一 | 复杂交错输入与生成 | 模态交互紧密 | 数据、训练、成本和调试复杂 |
| 传感器融合 | 实时状态估计和控制 | 利用物理互补信息 | 同步、坐标、漂移和安全失效 |
跨模态对齐和融合到底在做什么？
对齐解决哪些元素彼此对应，例如文字短语与图像区域、声音与视频帧、传感器读数与时间点；融合解决怎样组合这些信息完成任务。对齐可能依靠配对数据、时间戳、空间坐标、对比学习、交叉注意力或业务规则。共享向量只是其中一种方法。
| 对齐层次 | 示例 | 常见错误 |
|---|---|---|
| 样本级 | 一张图片与一段标题 | 标题描述的是相邻而非当前图片 |
| 区域/词级 | 词语对应图像区域 | 对象正确但属性绑定错 |
| 时间级 | 声音事件与视频帧 | 字幕或音轨偏移 |
| 空间级 | 相机与深度/雷达坐标 | 外参或坐标系错误 |
| 语义级 | 不同模态表达同一概念 | 统计相关被当成事实一致 |
多模态数据并不总是一致：视频画面显示红灯，字幕却写绿灯；演示文稿上的数字和讲者口述不同；传感器漂移与相机判断冲突。系统要明确证据优先级、冲突输出和人工复核，而不是让模型用听起来合理的故事把矛盾“融合掉”。
采样、分辨率与预处理为什么会改变答案？
模型通常不会无损读取原始媒体。图像可能缩放或切片，视频可能抽帧，音频可能降采样和混合声道，PDF 可能先渲染页面或提取文字。处理参数决定模型实际看到了什么，也决定成本与延迟。
| 处理 | 可能丢失 | 必须记录 |
|---|---|---|
| 图像缩放/裁剪 | 小字、细线、边缘对象、比例 | 原尺寸、目标尺寸、裁剪区域 |
| 视频抽帧 | 快速动作、瞬时事件、切镜 | FPS、时间区间、关键帧策略 |
| 音频降采样 | 高频、声道差异、弱声音 | 采样/比特率、声道、归一化 |
| OCR/ASR | 版面、语气、非语音声、置信度 | 引擎、语言、时间/坐标、置信度 |
| 分块 | 跨块上下文、对象与说明关系 | 块大小、重叠、顺序、父对象 |
Google 当前视频理解文档说明默认视觉采样可能遗漏快速动作，并公开帧率、音频处理与媒体分辨率等技术边界；音频理解文档也说明音频会降采样、多声道会合并。这里引用它们是为了说明“接口支持视频/音频”不等于无损理解，不代表其他平台采用相同处理方式。
怎样设计多模态 Prompt 和输出契约？
Prompt 要指出每种模态的角色，而不是只写“分析附件”。例如：“图片是产品现场照片，表格是审批后的规格真值；如果图片和表格冲突，分别报告并标记 needs_review，不根据外观覆盖表格。”还要写输出字段、证据位置、允许推断、不确定性和禁止动作。通用结构方法可参考本站的Few-shot 学习指南与Zero-shot 学习指南。
| 字段 | 应明确什么 | 示例 |
|---|---|---|
| 任务 | 要比较、抽取、定位还是生成 | 提取每个告警的时间、设备与证据 |
| 模态角色 | 哪种是事实、上下文、提示或参考 | 日志是状态真值，截图只作视觉补充 |
| 粒度 | 页、区域、帧、秒、说话人或对象 | 返回 MM:SS 时间戳 |
| 冲突 | 模态矛盾时怎样处理 | 同时保留两种说法并标记 review |
| 输出 | schema、证据、拒答和置信边界 | JSON 字段加 source_span |
| 禁止 | 哪些属性不得根据外观或声音推断 | 不猜身份、健康、民族或情绪 |
Google 的文件提示指南建议写清指令、提供示例、拆解子目标和指定输出格式。此类提示建议有助于减少歧义，但不能替代模态级评测；一条提示在清晰图片上有效，不代表在模糊扫描件、口音音频或高速视频上仍可靠。
如何评测多模态系统？
多模态评测至少包含单模态基线、组合输入、冲突、缺失、噪声、采样消融和安全切片。只有这样才能回答“新增模态是否真的提供增量”，还是模型主要依赖文本捷径。如果图像被打乱后分数几乎不变，系统可能没有使用期望的视觉证据。
| 测试 | 操作 | 证明什么 |
|---|---|---|
| 单模态基线 | 只给文本、图像、音频或视频 | 每种模态独立贡献 |
| 组合增益 | 给正确配对的多模态输入 | 融合是否超过最佳单模态 |
| 配对打乱 | 交换图片、音轨或字幕 | 是否真正使用跨模态关系 |
| 冲突测试 | 让文字、画面、声音互相矛盾 | 证据优先级与不确定性 |
| 缺失测试 | 移除音轨、坏帧、空字段 | 降级、拒答和错误提示 |
| 采样消融 | 改变帧率、分辨率、声道和切片 | 质量—成本敏感性 |
| 注入测试 | 在图像、字幕、网页中放恶意指令 | 内容是否越过策略与工具边界 |
除了任务准确率，还要记录每种模态的解析失败、证据命中、拒答、人工复核、P50/P95 延迟、输入 token 或媒体计费和单位成功任务成本。长视频平均准确率可能掩盖高速片段完全漏检；总体语音识别率也可能掩盖某些口音、噪声或设备的失败。
| 指标组 | 记录 | 停止线示例 |
|---|---|---|
| 任务质量 | 字段、排序、定位、时间戳、生成验收 | 高风险关键字段错误 |
| 证据忠实 | 答案能否回指原始模态位置 | 找不到依据仍给确定答案 |
| 降级 | 缺失、噪声、冲突时行为 | 静默忽略坏输入 |
| 性能 | 上传、预处理、模型、后处理延迟 | P95 超业务时限 |
| 成本 | 媒体处理、模型、存储与人工 | 单位成功任务超预算 |
| 安全 | 越权、注入、隐私和不当推断 | 外部内容触发危险动作 |
事实回答仍可能出现幻觉，尤其当模型把外部常识混入对输入媒体的描述。需要把“输入中可见/可听的证据”和“模型补充的外部知识”分开；主张、证据与引用边界见本站的来源与引用规范。如果系统还接入检索库，需同时评估媒体解析和检索召回，可参考RAG 指南。
多模态数据怎样配对和标注？
多模态数据质量不只取决于单个文件是否清晰，还取决于配对关系是否真实。商品图片可能配错描述，会议字幕可能整体延迟，监控视频和传感器日志可能使用不同时钟。训练、评测和检索数据都应保存“为什么这两个对象属于同一任务样本”的证据，不能仅靠相似文件名或采集时间猜测。
| 数据层 | 必须定义 | 质量检查 | 泄漏风险 |
|---|---|---|---|
| 样本身份 | 文件哈希、来源、设备、时间和版本 | 重复、损坏、格式与元数据 | 同一原件的转码版跨集合 |
| 配对关系 | 图文、音画、页面字段为何对应 | 随机抽查、错配和时间偏移 | 同一事件片段进入训练和测试 |
| 标注粒度 | 文档级、区域、帧、秒、对象或说话人 | 边界一致、多人复核、unknown | 答案文字直接出现在提示字段 |
| 权利与同意 | 采集目的、许可、人物和声音授权 | 用途、期限、地域和删除请求 | 未经允许把生产媒体用于训练 |
| 切分策略 | 按主体、设备、地点、事件或时间切分 | 近重复与同源追踪 | 同一人/视频/设备出现在两侧 |
标注规范要允许“无法判断”和“模态冲突”，否则标注者会被迫选一个看似确定的答案，模型随后学会掩盖不确定性。对视频或长音频，除了事件标签，还要保留开始/结束时间、证据片段和标注版本；对文档，保留页码、区域坐标、文字层来源和 OCR 置信度。评测集更新时应维护变更记录，避免修正答案后仍拿旧基线做比较。
生产故障怎样定位到具体模态？
最终回答错误不一定是“模型不够强”。故障可能发生在上传、解码、抽帧、OCR/ASR、时间对齐、检索、模型融合、结构化解析或业务后处理。生产日志应为每一步分配可关联的任务 ID，并保留必要摘要、状态码、版本和耗时；敏感原始媒体只按目的和期限保存，不能为了调试无限期留存。
| 症状 | 优先检查 | 验证方法 | 处置 |
|---|---|---|---|
| 看漏小字或图表 | 缩放、裁剪、媒体分辨率 | 原图切片与高分辨率对照 | 切片、提高分辨率或专用 OCR |
| 漏掉快速事件 | 抽帧率、关键帧和视频区间 | 提高 FPS 做消融 | 自定义采样或专业时序模型 |
| 说话人与字幕错位 | 音轨、说话人分离、时间戳 | 人工核对原始波形和片段 | 重做 ASR/diarization 与同步 |
| 图文回答互相矛盾 | 配对身份、提示优先级、检索来源 | 交换/移除单一模态 | 显式输出冲突并转人工 |
| 同一输入结果漂移 | 模型、预处理、提示和工具版本 | 固定快照重复运行 | 锁定版本并跑回归 |
| 成本或延迟突增 | 媒体长度、分辨率、重复上传和重试 | 分阶段耗时与 token/计费拆账 | 裁剪、缓存、批处理和调用上限 |
故障定位应先复现“模型实际看到的输入”，而不是只回看用户上传的原文件。例如系统抽取的一帧可能没有目标事件，OCR 文字可能已经错行，音频在混合声道后失去说话人差异。只有把原始输入、处理产物和最终请求关联起来，才能判断应该改预处理、换专业组件、调整模型，还是收窄任务范围。
多模态安全、隐私和权利有哪些新增问题？
图片可以携带不可见或容易忽略的文字，音频可能包含背景敏感信息，视频同时记录人物、位置、声音和时间，文档可能嵌入外部链接或恶意指令。系统应把所有外部媒体视为不可信输入：解析在隔离环境进行，移除不需要的元数据，限制文件类型和大小，分别授权读取与外发，高风险工具调用必须经过应用策略和人工审批。
| 风险 | 多模态路径 | 控制 |
|---|---|---|
| 提示词注入 | 图片文字、字幕、网页截图、音频指令 | 内容与指令分层、工具最小权限、动作审批 |
| 隐私过收集 | 背景人脸、声音、位置、屏幕内容 | 目的最小化、裁剪脱敏、保存期限 |
| 属性误推断 | 从外观或声音猜身份、健康、情绪 | 禁止字段、拒答、人工复核 |
| 权利不清 | 训练、提示、参考和输出媒体 | 来源、许可、人物/声音授权、合同 |
| 供应链 | 解析库、OCR/ASR、模型、连接器 | 版本、来源、隔离、漏洞和回滚 |
| 伪造来源 | 生成媒体冒充真实记录 | 来源记录、标识、独立事实核验 |
NIST 的生成式 AI 风险管理框架配置文件为跨行业治理、测量和风险管理提供自愿框架。Meta/ETH 的多模态融合模型图像攻击研究仓库也说明，安全评测不能只在文本模态进行；论文中的攻击设置和数字不应外推为所有系统，但足以支持把图像输入纳入红队范围。
C2PA 能证明什么，不能证明什么？
当前 C2PA 2.4 规范用于记录数字资产的来源与编辑历史；其解释文件明确，Content Credentials 不对来源声明是否“真实”作价值判断，而是帮助验证凭证与资产关联、结构和防篡改状态。因此，C2PA 不能替代人物授权、版权判断、事实核验或内容安全审核。
上线多模态系统的九步流程
- 写任务合同：定义模态角色、输出、证据、不确定性和禁止推断。
- 固定输入身份：记录文件、来源、许可、设备、时间、坐标与版本。
- 记录预处理：保存 OCR/ASR、帧率、分辨率、声道、裁剪和分块参数。
- 建立单模态基线：先知道文本、图像、音频或视频各自能做什么。
- 比较组合增益：只有在真实任务上有增量才增加模态和成本。
- 测试冲突与缺失：确认系统会降级、拒答或转人工，而不是静默编造。
- 做安全与权利门：覆盖注入、隐私、人物/声音/素材授权、来源和外发。
- 影子运行：与现有流程并行，记录质量、证据、延迟、成本和人工负担。
- 分组上线和回滚：按任务风险放量，输入、模型或处理参数变化后重新回归。
| 发布门 | 必须通过 | 未通过动作 |
|---|---|---|
| 输入门 | 格式、来源、权利、恶意文件和敏感信息 | 隔离或拒绝 |
| 处理门 | 采样、OCR/ASR、时间和空间关系可复现 | 停止上线 |
| 质量门 | 单模态、组合、冲突、缺失和噪声集 | 缩小任务 |
| 证据门 | 答案可回指页、区域、帧、秒或传感器 | 增加拒答/人工复核 |
| 安全门 | 注入、越权、隐私、权利和高风险动作 | 保持只读或禁止 |
| 生产门 | 延迟、成本、监控、版本、回滚和责任人 | 继续影子运行 |
常见误区
误区一：多模态就是图文聊天
图文只是常见组合。音频、视频、深度、热成像、IMU 和业务状态也可以构成模态；反过来，上传多个文件不代表系统利用了它们之间的关系。
误区二：端到端一定优于级联
端到端可能减少手工中间接口，也可能增加训练、调试和证据定位难度。规则稳定、专业组件成熟、需要逐层审计时，级联更合适。
误区三：模态越多，答案越准
无关、噪声或冲突模态会降低质量并增加成本。要用配对打乱和模态消融证明新增输入真的有贡献。
误区四：长视频进入上下文就被完整理解
视频通常经过抽帧、音频处理和 token 化；快速瞬时事件可能在采样中消失。必须按任务验证帧率、分辨率、时间戳和成本。
误区五：模型回答流畅，说明模态对齐正确
语言模型可以用常识补全看不清或听不清的内容。要求返回原始证据位置，并用图像/音频替换、遮挡和打乱测试实际依赖。
结论：多模态能力要由任务证据定义
多模态 AI 的核心不是把更多媒体塞进模型，而是让不同信息渠道在可复现的处理条件下共同完成一个可验收任务。先分清输入、输出、训练、模型和系统编排，再按任务选择级联、共享嵌入、连接器、联合建模或传感器融合；最后用单模态、组合、冲突、缺失、采样和安全测试证明系统真的使用了各模态，并且失败可控。
延伸阅读可从VLM 视觉语言模型、计算机视觉、AI Agent和智能体与自动化专题进入。它们分别处理视觉任务、行动循环和治理，不应被混成一个“万能多模态”概念。
编辑复核与纠错记录：本文由兰塞 AI 编辑流程于 2026 年 7 月 18 日复核。旧稿把共享语义空间、端到端融合和联合推理写成统一演进路线，并含假设产品、搜索消亡、长视频同步生成和医疗效果等无法核验表述；新版全部撤回，改用输入—输出—训练—架构—编排分层，以及任务合同、采样、冲突、缺失、安全和生产评测框架。本站的来源、更新与纠错原则见关于本站与编辑规范。
