文章

发布于

Embedding模型的Matryoshka Representation Learning：训练可变维度嵌入以适应不同存储需求

Matryoshka Representation Learning：训练可变维度嵌入以适应不同存储需求 各位同学，大家好！今天我们来深入探讨一个在嵌入模型领域颇具创新性的技术——Matryoshka Representation Learning (MRL)。它解决了一个现实问题：如何在保证模型性能的前提下，根据不同的存储和计算资源限制，灵活调整嵌入向量的维度。 1. 嵌入模型与维度困境 嵌入模型，例如Word2Vec、GloVe、BERT等，已经成为自然语言处理 (NLP) 和其他机器学习任务中不可或缺的工具。它们将离散的符号 (例如单词、图像、用户) 映射到连续的向量空间，从而使得相似的符号在向量空间中彼此靠近。这些嵌入向量捕捉了符号之间的语义和关系，为下游任务提供了强大的特征表示。 然而，这些模型的嵌入向量通常具有固定的维度。高维嵌入可以更好地捕捉复杂的语义信息，从而提高模型性能。但高维嵌入也带来了两个主要挑战： 存储成本： 存储大量高维嵌入向量需要大量的内存空间，这在资源受限的设备上 (例如移动设备、嵌入式系统) 是一个严重的限制。 计算成本： 在下游任务中使用高维嵌入向量进 …

继续阅读“Embedding模型的Matryoshka Representation Learning：训练可变维度嵌入以适应不同存储需求”

发布于

Rerank模型蒸馏：将Cross-Encoder的能力蒸馏至Bi-Encoder以降低重排序延迟

Rerank模型蒸馏：将Cross-Encoder的能力蒸馏至Bi-Encoder以降低重排序延迟 各位同学，大家好！今天我们要讨论一个在信息检索和自然语言处理领域非常重要的技术：Rerank模型蒸馏，以及如何利用它来将Cross-Encoder的强大能力迁移到Bi-Encoder，从而显著降低重排序过程中的延迟。 1. 引言：检索系统的瓶颈与Rerank的必要性 现代信息检索系统，例如搜索引擎和推荐系统，通常遵循一个两阶段的架构：召回（Retrieval）和重排序（Reranking）。 召回阶段： 负责从海量的文档库中快速筛选出与用户查询相关的候选文档集合。为了追求速度，召回阶段通常采用一些轻量级的模型，例如基于关键词匹配的BM25算法或者基于向量相似度的Bi-Encoder模型。 重排序阶段： 负责对召回阶段返回的候选文档进行更精确的排序，以便将最相关的文档排在前面。这个阶段通常采用更复杂的模型，例如Cross-Encoder，它可以更深入地理解查询和文档之间的关系。 虽然Cross-Encoder在精度上表现出色，但它的计算复杂度也更高。对于每个候选文档，Cross-Encod …

继续阅读“Rerank模型蒸馏：将Cross-Encoder的能力蒸馏至Bi-Encoder以降低重排序延迟”

发布于

GraphRAG的社区检测：利用Leiden算法对知识图谱进行分层摘要生成的工程实现

好的，让我们开始吧。 GraphRAG中的社区检测：Leiden算法驱动的分层摘要生成 大家好，今天我们要深入探讨一个非常有趣且实用的主题：如何在GraphRAG（Graph-based Retrieval Augmented Generation）系统中利用社区检测算法，特别是Leiden算法，来进行知识图谱的分层摘要生成。这不仅能提升RAG系统的效率，也能让生成的内容更具结构性和相关性。 1. GraphRAG与知识图谱的简要回顾 首先，让我们快速回顾一下GraphRAG和知识图谱的概念。 GraphRAG: 是一种结合了图神经网络（GNN）和检索增强生成（Retrieval Augmented Generation）的架构。其核心思想是，利用图结构来表示知识，并利用图算法进行知识检索，然后将检索到的知识作为上下文信息，输入到大型语言模型（LLM）中，以生成更准确、更相关的回复。 知识图谱 (Knowledge Graph): 是一种结构化的知识表示形式，由实体（nodes）和关系（edges）组成。例如，“北京”和“中国”是实体，“位于”是它们之间的关系。知识图谱可以有效地存储和 …

继续阅读“GraphRAG的社区检测：利用Leiden算法对知识图谱进行分层摘要生成的工程实现”

发布于

Long Context vs RAG：在1M窗口下“迷失中间”（Lost-in-the-middle）现象的缓解策略

Long Context vs RAG：在1M窗口下“迷失中间”（Lost-in-the-middle）现象的缓解策略 各位早上好，今天我们来深入探讨一个在大型语言模型（LLM）领域日益重要的问题：长文本处理中的“迷失中间”（Lost-in-the-middle）现象，以及在1M上下文窗口下，如何利用Long Context模型和检索增强生成（RAG）来缓解这一现象。 1. 长文本处理的挑战：上下文窗口与“迷失中间” 近年来，LLM的发展日新月异，上下文窗口长度也呈指数级增长。最初的几百个token，发展到现在的几万甚至上百万token。理论上，更长的上下文窗口意味着模型可以处理更复杂、更依赖上下文的任务，例如： 长篇文档摘要： 提取长篇报告、论文或书籍的关键信息。 多轮对话： 记住对话历史，提供更连贯和个性化的回复。 代码生成： 理解大型代码库的结构和依赖关系，生成高质量的代码。 然而，实际应用中，我们发现LLM并非能够完美地利用所有上下文信息。一个显著的问题就是“迷失中间”现象。简单来说，模型在处理长文本时，往往更关注文本的开头和结尾部分，而忽略中间部分的内容。这意味着，即使关键信 …

继续阅读“Long Context vs RAG：在1M窗口下“迷失中间”（Lost-in-the-middle）现象的缓解策略”

发布于

Context Compression（上下文压缩）：利用LLMLingua通过困惑度筛选关键Token

Context Compression：利用LLMLingua通过困惑度筛选关键Token 各位朋友，大家好。今天我们来深入探讨一个在大型语言模型（LLM）应用中至关重要的问题：上下文压缩。随着LLM处理能力的不断提升，我们能够输入的上下文长度也随之增加。然而，并非所有上下文信息都同等重要。冗余或无关的信息不仅会增加计算成本，还可能降低模型的性能，这就是所谓的“Lost in the Middle”现象。因此，如何有效地压缩上下文，保留关键信息，就变得至关重要。 今天，我们将重点介绍一种基于困惑度的上下文压缩方法，并使用LLMLingua框架来实现它。我们将从背景知识入手，逐步深入到代码实现和实验分析，希望能够帮助大家更好地理解和应用这一技术。 1. 上下文压缩的必要性与挑战 在深入技术细节之前，我们首先要理解上下文压缩为什么如此重要。想象一下，你正在使用一个LLM来回答关于某个文档的问题。这个文档可能长达数百页，包含了大量的信息。如果我们将整个文档都作为上下文输入到LLM中，可能会遇到以下问题： 计算成本高昂：LLM的处理时间和内存消耗与输入长度成正比。处理长文本会显著增加计算成本， …

继续阅读“Context Compression（上下文压缩）：利用LLMLingua通过困惑度筛选关键Token”

发布于

向量数据库的分区策略（Partitioning）：IVF-PQ索引在十亿级数据下的查准率调优

向量数据库分区策略：IVF-PQ索引在十亿级数据下的查准率调优 大家好！今天我们来深入探讨向量数据库中，面对十亿级别海量数据时，如何通过精细的分区策略和参数调优来提升IVF-PQ索引的查准率。我们将从IVF-PQ索引的基本原理出发，逐步分析分区策略的选择、参数调优的方法，并结合代码示例，帮助大家更好地理解和应用。 1. IVF-PQ索引原理回顾 在深入分区策略之前，我们先快速回顾一下IVF-PQ索引的核心思想。IVF-PQ索引是一种近似最近邻搜索(Approximate Nearest Neighbor, ANN)算法，它通过两阶段的索引结构来实现高效的搜索： IVF (Inverted File): 将整个向量空间划分为若干个Voronoi单元（也称为簇）。每个单元都有一个中心向量。所有向量根据其与中心向量的距离被分配到最近的单元中。查询时，先找到与查询向量最近的若干个单元，然后在这些单元内部进行搜索。IVF相当于一个粗粒度的过滤。 PQ (Product Quantization): 在每个IVF单元内部，使用乘积量化技术对向量进行压缩。PQ将每个向量分割成M个子向量，然后对每个子 …

继续阅读“向量数据库的分区策略（Partitioning）：IVF-PQ索引在十亿级数据下的查准率调优”

发布于

混合检索（Hybrid Search）的加权策略：BM25稀疏向量与Embedding稠密向量的归一化融合

混合检索的加权策略：BM25稀疏向量与Embedding稠密向量的归一化融合 大家好，今天我们来深入探讨混合检索中的一个关键环节：加权策略，特别是针对BM25稀疏向量和Embedding稠密向量的归一化融合。混合检索旨在结合不同检索方法的优势，提升整体检索效果。而加权策略，则是将这些不同方法产生的排序结果有效融合的关键。 混合检索概述 在信息检索领域，我们通常会遇到两种主要的检索方法： 基于关键词的检索（Keyword-based Retrieval）: 这种方法依赖于用户查询中的关键词与文档中词项的匹配程度。经典的算法包括BM25（Best Matching 25）。 基于语义的检索（Semantic-based Retrieval）: 这种方法利用预训练语言模型（如BERT, Sentence-BERT等）将查询和文档编码成稠密向量，然后通过向量相似度（如余弦相似度）来衡量语义相关性。 这两种方法各有优缺点： 特性 BM25 (稀疏向量) Embedding (稠密向量) 优点 速度快，可解释性强，对精确匹配敏感 能捕捉语义相关性，对同义词、近义词有较好的处理能力 缺点 无法处理语 …

继续阅读“混合检索（Hybrid Search）的加权策略：BM25稀疏向量与Embedding稠密向量的归一化融合”

发布于

RAG中的查询重写（Query Rewriting）：利用HyDE生成假设性文档增强检索召回率

RAG中的查询重写：利用HyDE生成假设性文档增强检索召回率 大家好，今天我们来深入探讨一个在检索增强生成（RAG）系统中至关重要的技术：查询重写，并重点介绍一种名为HyDE（Hypothetical Document Embeddings）的方法，它通过生成假设性文档来显著提升检索召回率。 RAG的核心思想是利用外部知识库来增强语言模型的生成能力，避免模型“胡编乱造”或者依赖过时的信息。 然而，RAG系统的性能很大程度上取决于检索模块的准确性。如果检索模块无法找到与用户查询相关的文档，即使语言模型再强大，也无法给出满意的答案。 这就是查询重写技术发挥作用的地方。 查询重写的必要性 用户查询通常是简洁、直接的，但这种简洁性有时会成为检索的障碍。原因如下： 词汇鸿沟（Lexical Gap）： 用户使用的词汇可能与知识库中的文档使用的词汇不同，导致基于关键词匹配的检索失败。 语义模糊： 查询可能存在歧义，而简单的关键词匹配无法理解用户的真实意图。 信息不足： 查询可能缺少必要的上下文信息，导致检索系统难以找到相关的文档。 查询重写的目的就是解决这些问题，通过对原始查询进行转换，使其更适合 …

继续阅读“RAG中的查询重写（Query Rewriting）：利用HyDE生成假设性文档增强检索召回率”

发布于

Needle In A Haystack测试的局限性：多针检索（Multi-needle）与推理能力的解耦测试

Needle In A Haystack 测试的局限性：多针检索与推理能力的解耦测试 大家好，今天我们要深入探讨一个在评估大型语言模型（LLM）能力时常用的测试方法—— Needle In A Haystack (干草堆寻针)。虽然这个测试在衡量模型的信息检索能力方面很有价值，但它存在一些局限性，尤其是在区分多针检索和更复杂的推理能力时。本次讲座将详细分析这些局限性，并探讨如何设计更精细的测试来解耦这两种能力。 Needle In A Haystack 测试简介 首先，我们简单回顾一下 Needle In A Haystack 测试的基本原理。其核心思想是将一段需要模型检索的信息（“针”）插入到大量无关文本（“干草堆”）中。然后，向模型提出一个与“针”相关的问题，以此评估模型是否能够准确地检索并利用相关信息回答问题。 例如，我们可能将以下信息插入到一篇关于太空探索的维基百科文章中： Today is August 14, 2024. My favorite color is emerald green. 然后，我们向模型提问： What is my favorite color? 如果 …

继续阅读“Needle In A Haystack测试的局限性：多针检索（Multi-needle）与推理能力的解耦测试”

发布于

Soft MoE：利用软路由（Soft Routing）机制解决专家路由离散不可导的问题

Soft MoE：利用软路由解决专家路由离散不可导问题 大家好，今天我们来探讨一个在深度学习领域日益重要的概念：混合专家模型（Mixture of Experts, MoE）。MoE 是一种强大的模型架构，它通过组合多个“专家”网络来处理不同的输入，从而提高模型的容量和性能。然而，传统的 MoE 方法在专家路由机制上存在一个关键问题：离散性和不可导性。这使得模型的训练变得困难。今天，我们将深入研究一种解决这个问题的方法：软路由（Soft Routing）。 1. MoE 的基本概念与挑战 1.1 MoE 的核心思想 MoE 的核心思想是将一个大型的、单一的模型分解成多个更小的、更专业的“专家”模型。对于每一个输入，一个“门控网络”（Gating Network）会决定哪些专家应该处理这个输入，以及各个专家应该分配多少权重。 一个典型的 MoE 架构包含以下几个关键组件： 专家网络（Expert Networks）： 这些是独立的神经网络，每个网络都专注于处理特定类型的输入或执行特定的任务。 门控网络（Gating Network）： 这个网络负责根据输入来决定如何组合专家网络的输出。它 …

继续阅读“Soft MoE：利用软路由（Soft Routing）机制解决专家路由离散不可导的问题”