好的博客地址

Embedding-based Retrieval in Facebook Search 摘要: 在 Facebook 等社交网络中进行搜索与经典网络搜索相比面临不同的挑战：除了查询文本之外，考虑搜索者的上下文以提供相关结果也很重要。他们的社交图谱是这一背景不可或缺的一部分，也是 Facebook 搜索的一个独特方面。虽然基于嵌入的检索 (EBR) 已在网络搜索引擎中应用多年，但 Facebook 搜索仍主要基于布尔匹配模型。在本文中，我们讨论了将 EBR 应用于 Facebook 搜索系统的技术。我们介绍

Embedding-based Retrieval in Facebook Search 2020.7 Facebook Abstract 除了用户搜索的query text,用户的上下文信息也很重要。 之前FB搜索基于Boolean matching model。 引入网页搜索引擎中常用的EBR（基于embedding的召回） 我们介绍了为个性化搜索建模语义嵌入而开发的统一嵌入框架，以及在基于倒排索引的典型搜索系统中为基于嵌入的检索提供服务的系统。 1.INTRODUCTION 搜索技术.

解决的主要问题 搜索中的语义匹配问题——找到那些与qeury文本不精确匹配，却能够满足用户搜索意图的结果 EBR—— embedding based retrieval，基于embedding的检索 text-user-context embedding 主要工作 Facebook搜索的基于embedding的检索系统 模型：unified embedding——query文本，用户和上下文组成模型的一侧，另一侧由document组成，从搜索日志中获得训练样本，并利用一个recall metric作为

Joint Learning of Deep Retrieval Model and Product Quantization based Embedding Index 嵌入索引能够实现快速近似近邻搜索，是目前最先进的深度检索系统不可缺少的组成部分。传统的检索方法往往将嵌入学习和建立索引两个步骤分离，增加了建立索引的时间，降低了检索的准确性。本文提出了一种基于乘积量化的嵌入指标与深度检索模型联合训练的新方法——Poeem，利用梯度直通式估计器、热启动策略和深度检索模型等技术，将两个单独的步骤统一到一个端

目录 0、Statement 1、Objective 2、Challenges and Methods （1）representation learning （2）query efficiency （3）ranking precision 3、Experiments 0、Statement 本博文仅供学习交流，并主要关注原文作者所解决的问题和使用的方法，其他细枝末节请参考原文。 ...

知识图谱与向量检索是当前RAG系统中两大核心检索范式。前者基于图结构建模实体间显式关系，通过确定性路径遍历实现多跳推理与条件过滤；后者依赖嵌入空间的连续语义相似性，在单点事实匹配上高效但缺乏逻辑可解释性。技术价值在于：图检索显著提升复杂查询（如多跳、数值约束、否定逻辑）的准确率与可审计性，而向量检索胜在低延迟、高吞吐与冷启动友好。典型应用场景包括生物医药问答、金融合规核查、工业故障溯源等强结构化领域，以及客服对话、跨模态搜索等模糊匹配场景。本文聚焦GraphRAG中图创建与图检索的工程落地逻辑，揭示其如何补

多模态向量检索是一种将图像、文本等异构数据映射到同一语义向量空间的技术，其核心原理是通过对比学习实现跨模态对齐，而非依赖OCR或端到端大模型理解。该技术显著提升语义召回精度与响应速度，具备强可解释性与工程可控性，适用于智能客服、工业文档检索、以图搜文等真实业务场景。本文聚焦Multimodal Retrieval from Vector Stores这一关键路径，结合ViT与bge-m3编码器、LangChain MultiVectorRetriever架构及FAISS高效索引，详解如何在生产环境中落地稳定

RAG（检索增强生成）作为知识库问答与智能客服的核心技术，其本质是解决‘如何从海量非结构化文档中精准定位答案’的问题。传统方案依赖向量相似度匹配，易受语义漂移、长文档粒度失衡和不可追溯性制约；而Reasoning-Based RAG通过问题意图分解、结构化页面索引（PageIndex）与上下文感知重排，将检索升级为可解释、可审计的推理过程。PageIndex并非物理页码，而是融合视觉布局、逻辑结构与跨页语义的‘语义身份证’；Reasoning-Based则体现为对用户查询的领域动词识别、技术栈提取与子主题推

RAG（检索增强生成）的核心瓶颈在于传统向量检索丢失文档结构、位置与语境，导致召回不准、上下文割裂、长距离指代失效。PageIndex作为一种面向可推理的文档索引范式，通过保留PDF/Word的原始页面坐标、DOM层级和语义角色，将非结构化文档转化为‘可导航、可验证、可追溯’的图结构知识网络。其技术价值在于实现检索过程的结构感知、页面级歧义消解与跨块逻辑建模，显著提升法律合同、医疗报告等专业场景下的Top-1召回率与事实一致性。本文聚焦Reasoning-Based RAG落地实践，详解PageIndex如

检索增强生成（RAG）技术是大语言模型应用中的关键环节，其核心在于通过高效的检索模块从海量文档中精准定位相关信息。该技术通常基于稠密向量检索（Embedding）和重排序器（Reranker）等模型实现，其原理是通过对比学习或交叉编码，将查询与文档映射到同一语义空间进行相似度计算。这类技术的价值在于显著提升了问答、对话系统的准确性与可靠性，被广泛应用于知识库、智能客服等场景。针对实际应用中模型微调、蒸馏与统一调用的工程难题，RAG-Retrieval项目提供了一个集训练、评估、推理于一体的开源框架，支持Em

多模态RAG（Multimodal RAG）本质是解决文本与图像等异构数据在统一语义空间中的对齐与协同检索问题。其核心原理在于跨模态嵌入归一化、混合schema建模与filter-aware向量搜索，技术价值体现在避免语义偏移、支持毫秒级混合查询路由，并显著提升图文联合召回准确率。典型应用场景包括产品手册智能检索、客服截图定位、技术文档图表问答等工业级知识管理任务。本文聚焦LanceDB作为vector store的深度实践，结合LangChain构建数据契约管道，详解CLIP与all-MiniLM双路em

多模态嵌入（multimodal embeddings）是实现图文语义对齐的核心技术，其本质是在统一向量空间中建模图像与文本的深层语义关联，而非简单拼接单模态特征。它通过跨模态对比学习或桥接式交互机制，弥合文本符号性与图像连续性之间的模态鸿沟，从而支撑精准的跨模态检索与理解。该技术已广泛应用于电商图文搜索、医疗报告-影像联合分析、工业故障图谱匹配等真实场景。本文聚焦工程落地关键——如何基于Bridge Tower模型构建鲁棒、可解释、可调试的多模态嵌入系统，涵盖预处理协同设计、低质图像适配、UMAP可视化诊

同时在 Softmax 里加入了 温度 \tau，并把生成的 I_{mix}​（先挑选出一些难度大的负样本 I_{hard}​, 再将正样本向量和负样本向量I_{hard}​做线性插值, 得到I_{mix}​）加入分母。传统检索方法难以满足这种个性化需求。召回时，以用户塔输出的向量与 H_{\text{item}} 进行内积打分，实现高效候选生成。对商品标题文本，先分词得到词序列，再对各词向量进行 Mean-Pooling，然后经线性变换和激活函数处理，最后与 [其他向量] 相加，得到商品表征向量。

检索增强生成（RAG）是一种将大语言模型与外部知识动态耦合的关键技术，其核心在于通过向量嵌入实现非结构化文本的语义相似度检索，并在生成阶段强制依据可溯源文档片段输出答案。它解决了大模型知识固化、幻觉严重、缺乏业务上下文等工程痛点，技术价值体现在可验证性、可控性与领域适配性上。典型应用场景包括企业私有知识库问答、合规文档智能解读、垂直领域智能助手构建等。本文深入解析RAG中嵌入模型选型、向量数据库应用及文本分块策略等关键实践环节，尤其聚焦中文场景下的OCR处理、语义分块与Prompt工程优化。

向量数据库是实现检索增强生成（RAG）的核心基础设施，其本质是将文本映射为高维语义向量，通过相似度计算跨越关键词搜索的语义鸿沟。相比传统倒排索引，向量检索能理解‘自动停一下’与‘服务熔断’的等价性，显著提升大模型对私有文档的理解准确率。ChromaDB凭借轻量架构、DuckDB+Parquet存储优化及与LangChain原生兼容等特性，成为中小规模RAG系统首选工具。本文聚焦工程落地细节，涵盖语义分块、嵌入模型选型、自适应查询、Prompt鲁棒设计及HNSW调优等关键实践，助力开发者快速构建可靠、可演进的

本文详细介绍了如何基于RAG（检索增强生成）技术实现智能客服系统。系统分为离线流程（构建向量数据库）和在线流程（用户交互）两部分：离线流程通过Embedding模型将文本向量化并存储到Chroma向量数据库，采用MD5技术防止重复上传；在线流程实现语义检索、提示词构建和大模型回答，支持对话历史存储。项目使用轻量级开源工具（SentenceTransformers、Chroma、LangChain等），完整代码已开源，可作为RAG技术的入门实践案例，也可扩展为更复杂的AI应用。文章逐步拆解了文本向量化、语义检

嵌入式检索（Embedding-Based Retrieval）是现代语义搜索与推荐系统的核心技术，其本质是将文本、行为、图谱等多源异构信息统一映射到稠密向量空间，通过向量相似度实现跨模态语义匹配。该技术突破了传统BM25等关键词匹配在语义等价性、意图理解与冷启动上的根本局限，显著提升点击率与转化率。其工程落地关键在于三大支柱：表达力（如复合模型与多任务学习）、一致性（嵌入版本强契约管理）、时效性（离线向量与实时特征融合）。典型应用场景涵盖职业社交平台的职位精准推荐、电商商品语义召回及内容平台的Feed个性

机器学习不是纯理论推导，而是高度依赖经验性决策的工程实践——选什么模型、如何调参、怎样处理数据噪声、为何某种增强在特定场景有效。这些隐性知识结构化、可复用、需跨任务精准召回。向量数据库因其语义理解与多维关联能力，成为承载ML经验的核心基础设施；而RAG范式必须升级为‘决策上下文全息图’检索，融合任务目标、数据特征、硬件约束与失败教训。本文聚焦真实产线中可复用的经验萃取、定制化向量化与工业级知识调度，解决LLM生成代码‘语法正确但跑不通’的根本痛点。

RAG（检索增强生成）是一种将外部知识库与大语言模型动态结合的技术范式，其核心原理在于通过向量检索精准定位相关文档片段，并交由LLM进行上下文感知的合成回答。技术价值体现在显著提升答案准确性、可追溯性与领域适配性，尤其在医疗、金融、法律等高可靠性要求场景中，能有效抑制幻觉、强化溯源、支持复杂推理。典型应用场景包括企业知识库问答、客服对话增强、技术文档智能检索及多源异构数据融合分析。本文聚焦高级RAG落地中的关键瓶颈——如chunking语义割裂、混合检索分数失准、上下文噪声干扰与查询意图模糊等问题，结合BG