AI概念与词典

Embedding 是什么?从向量相似度到 RAG 检索验收

解释Embedding、余弦相似度、切块、索引、过滤和重排,并用小型检索夹具建立可复现的RAG召回验收。

embedding retrieval gates
本页目录
  1. 直接定义
  2. 不要混淆三类向量
  3. 距离与归一化
  4. 切块决定可检索单元
  5. 过滤必须早于泄露
  6. 用真实问题验收
  7. 混合检索与重排
  8. 更新与删除
  9. 独立任务资产
  10. Embedding 模型选型先看任务,不看榜单单分
  11. 查询与文档可能需要不同前缀
  12. 截断会让关键信息消失
  13. 近似索引要在速度和召回之间验收
  14. 相似度阈值不是通用常数
  15. RAG 答案质量要拆层定位
  16. 模型迁移需要双写与可回滚
  17. 隐私和许可边界
  18. 发布前验收清单
  19. 官方来源与下一步

直接答案:解释 Embedding、余弦相似度、切块、索引、过滤和重排,并用小型检索夹具建立可复现的 RAG 召回验收。

本文于 2026-09-27 核验官方一手资料。所有接口、支持范围和默认行为在实施当天仍需重查;本站没有把公开文档整理写成生产实测。

Embedding 从文档切块、向量生成、过滤召回到重排验收的检索流程
兰塞 AI 原创流程图:每一步都应保留输入、版本、结果和证明边界。

直接定义

Embedding 是把文本、图片或其他对象映射成固定长度向量的模型输出,用于计算相似性、检索、聚类或分类。向量距离表达训练数据和模型学到的关系,不是事实数据库,也不保证相近内容对当前用户有权限或能直接回答问题。

不要混淆三类向量

词表中的 token embedding、模型内部上下文表示和面向检索的句子/文档 embedding 用途不同。不能把语言模型隐藏层随意平均就当作稳定检索服务,也不能根据维度大小判断效果。选型要核对模型卡、输入限制、语言与任务。

距离与归一化

余弦、内积和欧氏距离的排序关系取决于是否归一化。索引配置、向量生成和查询端必须使用一致约定。迁移模型后维度和分布会变化,旧向量通常不能与新查询向量混用;应建立双索引或完整重建并保留切换回滚。

切块决定可检索单元

过大切块会把多个主题混在一起,过小则丢失定义、条件和例外。按文档结构、任务与引用粒度选择切块,并保存文档 ID、版本、标题路径、更新时间和权限。重叠只是缓解边界问题,不应无限增加重复内容和成本。

过滤必须早于泄露

企业 RAG 不能先全库向量召回再在生成端隐藏无权结果。权限、租户、地区、时间和文档状态应进入检索过滤或隔离索引,并测试拒绝路径。日志也要避免记录无权文本。召回正确但权限错误仍是发布失败。

用真实问题验收

建立来自支持记录、站内搜索或业务流程的查询集,为每个查询标注可接受文档、拒答条件和时间边界。报告 Recall@k、MRR、错误权限结果、空结果和延迟;指标只能描述该集合,不能直接等同最终答案正确或用户满意。

混合检索与重排

向量检索擅长语义近似,关键词检索对编号、错误码、人名和精确短语更可靠。混合召回后可用重排模型排序,但要记录候选集合、重排模型与阈值。重排不能找回第一阶段没有召回的文档。

更新与删除

源文档变化时,要能定位受影响切块、重新生成向量并删除旧版本。删除账号或受限资料时同时处理对象存储、索引、缓存、评测集和备份策略。只删除数据库正文却保留向量和片段,可能继续暴露信息。

独立任务资产

配套 JSON 定义两条查询、相关文档、访问范围和待填写指标。它帮助团队在换模型或索引前后保持同一口径,但不包含真实向量、不运行第三方 API,也不证明任何模型效果。

Embedding 模型选型先看任务,不看榜单单分

区分对称语义相似、短查询到长文档、代码检索、多语言、图文跨模态和聚类。模型卡的平均分只描述其评测集合与设置;你的文档长度、中文术语、否定表达和权限过滤可能完全不同。先用小规模真实问题比较召回与错误,再考虑维度、延迟、部署方式、许可和数据发送边界。

查询与文档可能需要不同前缀

一些检索模型要求 query 与 passage 使用不同提示或任务前缀。遗漏前缀可能不报错,却改变向量分布与召回。把模板、大小写、清洗、语言和截断规则视为模型版本的一部分。离线建库和在线查询必须使用同一发布契约;变更任何预处理时重新生成候选索引并与旧基线对比。

截断会让关键信息消失

模型输入长度有限,长文档在向量化前可能被截断。保存每个切块的 token 数、截断标记和标题路径;重要条件、表头与例外不能只存在被截掉的末尾。对超长文档按结构分段,并测试跨段问题。返回结果时展示原文范围和文档版本,让人工能核对向量命中的实际证据。

近似索引要在速度和召回之间验收

HNSW、IVF 等索引用近似搜索换取规模与速度,参数会影响构建时间、内存、查询延迟和召回。先保留小规模精确检索作为参考,再在相同查询集比较近似索引的 Recall@k。不要只测平均延迟;报告高分位、空过滤结果和更新期间行为。索引压缩或量化也要检查关键小类是否更易丢失。

相似度阈值不是通用常数

不同模型、归一化、语料和查询类型产生不同分数分布。用已标注查询分别观察相关与不相关结果,选择阈值并保留灰区处理。阈值太高会造成无结果,太低会把弱相关片段送入生成。对于需要拒答的系统,把“没有足够证据”作为正常输出,不用大模型凭常识填补私有资料缺口。

RAG 答案质量要拆层定位

最终回答错误可能来自文档不存在、切块丢上下文、Embedding 未召回、过滤排除、重排错误、提示未使用证据或模型错误引用。回执要保存每层输入与候选 ID,才能定位。只评价最终回答会把检索和生成混在一起;只评价召回也不能证明答案忠实。两层都要有固定样本和独立指标。

模型迁移需要双写与可回滚

新模型可能改变维度、距离分布、语言能力和成本。先离线重建新索引,保持旧索引可读;对一小部分查询双路运行,比较召回、权限错误、延迟与空结果。切换时用版本化别名,不覆盖唯一索引。确认删除、增量更新和回滚都能工作后再扩大,不让在线请求混用新旧向量。

隐私和许可边界

调用托管 Embedding API 前识别文档与查询是否包含个人、商业或受限数据,核对地区、保留、训练、子处理方和删除条款。本地模型也要核对权重、代码与数据许可。向量并非天然匿名,仍可能泄露语义或被关联;访问控制、日志最小化、加密和生命周期策略同样适用。

发布前验收清单

  • 任务、输入、版本、依赖和权限可追踪;
  • 基线与候选使用同一测试集和指标;
  • 边界、失败和拒绝路径已覆盖;
  • 独立加载或重建可以复现;
  • 回滚对象、负责人和触发条件明确。

官方来源与下一步

一手资料:Sentence Transformers Semantic Search、FAISS official wiki、OpenAI Embeddings Guide、Azure AI Search relevance。站内下一步:企业 RAG 权限治理、本地大模型配置与显存估算、AI 指标证据边界。

证明边界:本页的夹具只验证记录结构或本地最小流程,不证明真实业务质量、GPU 性能、搜索排名、用户效果或生产安全。