好的，现在开始我们的讲座： 构建可观测的 RAG 数据链路监控系统：追踪召回衰减与漂移问题 今天，我们来深入探讨如何构建一个可观测的检索增强生成 (RAG) 数据链路监控系统，重点关注召回衰减与漂移问题。RAG 系统在处理复杂查询时，依赖于从外部知识库检索相关信息，然后将其与用户查询一同输入到大型语言模型 (LLM) 中。如果检索到的信息质量下降（召回衰减）或检索结果的分布发生变化（召回漂移），RAG 系统的性能将受到严重影响。 一、RAG 数据链路概览 首先，让我们快速回顾一下 RAG 数据链路的关键组成部分： 数据源 (Data Source): 原始知识来源，例如文档库、数据库、网页等。 数据预处理 (Data Preprocessing): 清理、转换和准备数据，以便进行索引。 向量化 (Embedding): 将文本数据转换为向量表示，以便进行语义搜索。常用模型包括 OpenAI embeddings, Sentence Transformers 等。 索引 (Index): 存储向量化后的数据，并提供高效的检索能力。 常见的索引类型包括 FAISS、Annoy、Milvus …