发布于 由admin

解析 ‘RAG Evaluation’ (RAGAS)：如何通过信实度（Faithfulness）和相关性（Relevancy）量化你的检索质量？

尊敬的各位编程专家，大家下午好！

今天，我们将深入探讨一个在当前AI领域至关重要的话题：如何对我们的检索增强生成（RAG）系统进行量化评估。随着大型语言模型（LLMs）的普及，RAG架构已成为解决LLM幻觉、提供最新信息并引用来源的关键技术。然而，构建一个RAG系统只是第一步，更重要的挑战是如何知道它是否真的“好用”？我们如何衡量其输出的质量，并据此进行迭代优化？

这就是RAG评估的用武之地。在众多评估框架中，RAGAS凭借其“LLM即评判者”（LLM-as-a-judge）的范式，提供了一种高效、自动化的评估方法。本次讲座，我将重点围绕RAGAS框架，深入解析RAG评估中最核心的两个指标：信实度（Faithfulness）和相关性（Relevancy），并演示如何通过代码实践来量化和提升您的检索质量。

RAG评估：为何以及评估什么？

在开始技术细节之前，我们首先要理解为什么RAG评估如此重要，以及我们究竟在评估什么。

为什么需要评估RAG系统？

  1. 迭代优化与持续改进： RAG系统不是一蹴而就的。从数据索引、检索器选择、重排序、提示工程到生成模型，每个环节都可能影响最终效果。评估提供了一个反馈循环，帮助我们识别瓶颈并进行有针对性的改进。
  2. 性能基准与对比： 当我们尝试不同的检索策略（例如，BM25 vs. 向量搜索）、不同的LLM模型或不同的参数设置时，评估指标能够量化它们之间的性能差异，帮助我们做出数据驱动的决策。
  3. 避免幻觉与确保信息准确性： LLMs的一个主要挑战是它们可能生成听起来合理但实际上错误或捏造的信息（幻觉）。RAG旨在通过提供可靠的外部知识来缓解这一问题。评估可以帮助我们验证RAG系统是否有效地降低了幻觉率。
  4. 提升用户体验： 一个优秀的RAG系统应该能够快速、准确、简洁地回答用户问题。评估直接关系到用户对系统质量的感知和信任。
  5. 生产就绪性： 在将RAG系统部署到生产环境之前，严格的评估是确保其稳定、可靠和高性能的关键步骤。

RAG评估的范围：我们在评估什么？

RAG系统是一个多组件的复杂管道。评估通常涵盖以下几个关键方面：

  • 检索质量（Retrieval Quality）：
    • 上下文相关性（Context Relevancy）： 检索到的文档是否与用户查询高度相关？
    • 上下文召回率（Context Recall）： 检索到的文档是否包含了回答查询所需的所有关键信息？
    • 上下文精确率（Context Precision）： 在检索到的文档中，有多少是真正有用的，而非噪音？
  • 生成质量（Generation Quality）：
    • 答案相关性（Answer Relevancy）： 生成的答案是否直接且完整地回答了用户问题？
    • 信实度/忠实度（Faithfulness）： 生成的答案是否完全基于检索到的上下文，没有引入新的、未经支持的信息？
    • 答案正确性（Answer Correctness）： 生成的答案在事实层面是否准确无误？（这通常需要参考“黄金标准”答案）
    • 答案简洁性/无冗余（Answer Conciseness/No Redundancy）： 答案是否简洁明了，没有重复或不必要的信息？
  • 整体管道性能： 上述所有指标的综合体现，反映了RAG系统作为一个整体的效能。

在这些评估维度中，信实度和相关性（包括答案相关性和上下文相关性）是衡量RAG系统核心价值的基石。它们直接关系到RAG系统能否有效履行其“基于事实回答”和“精准响应用户需求”的双重使命。

深入解析核心指标：信实度（Faithfulness）与相关性（Relevancy）

1. 信实度（Faithfulness）

定义： 信实度衡量的是生成答案中的所有陈述或主张，有多少能够被检索到的上下文（或原文）所直接支持。简单来说，它回答了一个关键问题：“模型是否在‘凭空捏造’信息？”

为何如此重要：
信实度是RAG系统对抗LLM幻觉的关键指标。即使检索器提供了完美的上下文，如果生成器LLM不忠实于该上下文，仍然可能产生幻觉。高信实度意味着用户可以信任模型给出的答案，因为它有据可查。在许多应用场景，如法律、医疗、金融或企业内部知识库问答，信实度是不可妥协的。

RAGAS如何量化信实度：LLM作为评判者

RAGAS采用“LLM即评判者”的方法来自动化信实度的评估。其核心步骤如下：

  1. 识别答案中的陈述/主张： 首先，使用一个LLM来解析生成的答案，并从中提取出所有独立的、可验证的陈述或事实性主张。
  2. 验证每个陈述： 对于每个提取出的陈述，再次使用LLM，并提供该陈述和原始的检索上下文。LLM的任务是判断该陈述是否能够完全从提供的上下文推断出来。这通常是一个二元判断（是/否）。
  3. 计算分数： 信实度分数是所有被上下文支持的陈述数量占总陈述数量的比例。

概念性数学表示：
Faithfulness = (Number of claims in answer supported by context) / (Total number of claims in answer)

示例：

  • 查询 (Question): “谁是艾萨克·牛顿？”
  • 检索上下文 (Context): “艾萨克·牛顿是一位著名的英国物理学家、数学家、天文学家、炼金术士和神学家，被认为是人类历史上最具影响力的科学家之一。他在1687年出版了《自然哲学的数学原理》，提出了万有引力定律和牛顿运动定律。”
  • 生成答案 (Answer): “艾萨克·牛顿是英国著名的物理学家和数学家，他发现了万有引力定律，并且是苹果公司的创始人。”

在这个例子中：

  • 陈述1: “艾萨克·牛顿是英国著名的物理学家和数学家。” (支持)
  • 陈述2: “他发现了万有引力定律。” (支持)
  • 陈述3: “并且是苹果公司的创始人。” (不支持，这是幻觉)

那么，信实度 = 2 / 3 ≈ 0.67。

代码实践 (概念性展示 RAGAS 如何在内部工作):

虽然我们通常直接调用RAGAS的faithfulness指标，但理解其内部逻辑有助于我们更好地解释结果。在内部，RAGAS会向评估LLM发送一系列精心设计的提示。

import os
from openai import OpenAI # 假设使用OpenAI作为评估LLM
# from ragas.llms import OpenAI # Ragas 封装后的LLM接口

# 假设您已设置OPENAI_API_KEY环境变量
# 或者直接 os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"

def evaluate_faithfulness_conceptual(question: str, answer: str, contexts: list[str]) -> float:
    client = OpenAI() # 实例化OpenAI客户端

    # 步骤1: 从答案中提取陈述
    # RAGAS 内部使用的 prompt 可能会更复杂和鲁棒
    claims_prompt = f"""
    请从以下生成的答案中提取出所有独立的事实性陈述或主张，每行一个。
    答案: {answer}
    """
    claims_response = client.chat.completions.create(
        model="gpt-4o-mini", # 使用一个评估LLM
        messages=[{"role": "user", "content": claims_prompt}],
        temperature=0
    )
    claims_text = claims_response.choices[0].message.content
    claims = [claim.strip() for claim in claims_text.split('n') if claim.strip()]

    if not claims:
        # 如果没有提取到任何陈述，可能答案是空或者无法解析
        return 0.0 # 或者根据业务逻辑返回其他值

    supported_claims_count = 0
    full_context = "n".join(contexts)

    # 步骤2: 验证每个陈述是否被上下文支持
    for claim in claims:
        verification_prompt = f"""
        请判断以下陈述是否可以完全从提供的上下文中推断出来。
        只回答 '是' 或 '否'。

        陈述: {claim}
        上下文: {full_context}
        """
        verification_response = client.chat.completions.create(
            model="gpt-4o-mini",
            messages=[{"role": "user", "content": verification_prompt}],
            temperature=0
        )
        is_supported = verification_response.choices[0].message.content.strip().lower()

        if "是" in is_supported or "yes" in is_supported:
            supported_claims_count += 1

    # 步骤3: 计算信实度分数
    faithfulness_score = supported_claims_count / len(claims)
    return faithfulness_score

# 示例调用
# question_example = "谁是艾萨克·牛顿？"
# contexts_example = ["艾萨克·牛顿是一位著名的英国物理学家、数学家、天文学家、炼金术士和神学家，被认为是人类历史上最具影响力的科学家之一。他在1687年出版了《自然哲学的数学原理》，提出了万有引力定律和牛顿运动定律。"]
# answer_example = "艾萨克·牛顿是英国著名的物理学家和数学家，他发现了万有引力定律，并且是苹果公司的创始人。"

# # 注意：实际运行时需要确保API Key已配置
# # faithfulness_score = evaluate_faithfulness_conceptual(question_example, answer_example, contexts_example)
# # print(f"概念性信实度分数: {faithfulness_score}")

这段代码展示了RAGAS在内部处理信实度评估的逻辑骨架。实际的RAGAS库会处理更复杂的细节，例如错误处理、LLM的可靠性调优以及更精细的提示工程，以确保评估的准确性和稳定性。

2. 相关性（Relevancy）

相关性在RAG评估中通常可以分为两个层面：答案相关性（Answer Relevancy）和上下文相关性（Context Relevancy）。虽然RAGAS的relevancy指标主要关注答案相关性，但我们也会简要提及上下文相关性，因为它与答案的质量息息相关。

2.1 答案相关性 (Answer Relevancy)

定义： 答案相关性衡量的是生成的答案在多大程度上直接、完整且有效地回答了用户提出的问题。它关注的是答案是否“切题”且“有用”。

为何如此重要：
一个RAG系统即使给出了忠实于上下文的答案，如果这个答案并没有解决用户的问题，那么它也是无用的。例如，用户问“如何安装RAGAS？”，系统却忠实地回答了“RAGAS是一个评估框架”，虽然这个事实正确且忠实于上下文，但它并未回答用户的“如何安装”这一操作性问题。高答案相关性确保了用户能够获得他们真正想要的信息。

RAGAS如何量化答案相关性：LLM作为评判者

RAGAS对答案相关性的评估也依赖于LLM：

  1. 基于问题和答案的判断： RAGAS会提供原始的用户查询和生成的答案给一个评估LLM。
  2. LLM评分： 评估LLM被指示评估答案与问题之间的相关性。这通常是一个多级评分（例如，1-5分），而不是简单的二元判断。LLM被要求考虑答案是否直接解决问题、是否提供了冗余信息、是否有遗漏关键信息等。
  3. 标准化： 原始评分通常会被标准化到一个0-1的区间，以便于比较和聚合。

概念性数学表示：
Answer Relevancy = LLM_Judge_Score(Answer, Question) (通常归一化到 [0, 1])

示例：

  • 查询 (Question): “RAGAS框架的主要优点是什么？”
  • 生成答案 (Answer): “RAGAS是一个用于评估RAG系统性能的开源框架。它提供了一系列指标，如信实度、相关性和上下文召回率，并且支持LLM即评判者的范式，这使得它能够进行自动化评估，无需大量的标注数据。此外，它易于集成到开发流程中。”

在这个例子中，答案直接且全面地回答了问题，因此答案相关性会很高（接近1.0）。

  • 查询 (Question): “RAGAS框架的主要优点是什么？”
  • 生成答案 (Answer): “RAGAS是由Explosion AI团队开发的。”

这个答案虽然事实正确，但并未回答“主要优点”这一核心问题，因此答案相关性会很低。

代码实践 (概念性展示 RAGAS 如何在内部工作):

# 接续前面的代码，假设client已实例化

def evaluate_answer_relevancy_conceptual(question: str, answer: str) -> float:
    client = OpenAI()

    # RAGAS 内部使用的 prompt 可能会要求更细致的评分标准和解释
    relevancy_prompt = f"""
    请根据以下用户问题和系统生成的答案，评估答案的相关性。
    请使用1到5的评分标准，其中1表示完全不相关，5表示完全相关且切题。
    请在评分后，简要说明你的理由。

    用户问题: {question}
    系统答案: {answer}

    评分:
    理由:
    """
    relevancy_response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": relevancy_prompt}],
        temperature=0
    )
    response_text = relevancy_response.choices[0].message.content

    # 尝试从LLM的响应中提取评分
    try:
        # 简单地通过查找 "评分:" 后面的数字来提取
        score_str = response_text.split("评分:")[1].strip().split('n')[0].strip()
        score = int(score_str)
        # 将1-5的评分标准化到0-1
        normalized_score = (score - 1) / 4
        return normalized_score
    except (ValueError, IndexError):
        print(f"无法从LLM响应中解析评分: {response_text}")
        return 0.0 # 解析失败时返回0

# 示例调用
# question_relevancy_example = "RAGAS框架的主要优点是什么？"
# answer_relevancy_example_good = "RAGAS是一个用于评估RAG系统性能的开源框架。它提供了一系列指标，如信实度、相关性和上下文召回率，并且支持LLM即评判者的范式，这使得它能够进行自动化评估，无需大量的标注数据。此外，它易于集成到开发流程中。"
# answer_relevancy_example_bad = "RAGAS是由Explosion AI团队开发的。"

# # relevancy_score_good = evaluate_answer_relevancy_conceptual(question_relevancy_example, answer_relevancy_example_good)
# # relevancy_score_bad = evaluate_answer_relevancy_conceptual(question_relevancy_example, answer_relevancy_example_bad)
# # print(f"好的答案相关性分数: {relevancy_score_good}")
# # print(f"差的答案相关性分数: {relevancy_score_bad}")
2.2 上下文相关性 (Context Relevancy)

虽然RAGAS的relevancy指标默认是答案相关性，但RAGAS也提供了context_relevancy指标。

定义： 上下文相关性衡量的是检索到的文档（或上下文）在多大程度上与用户查询相关。它关注的是检索器是否有效地找到了相关信息。

为何如此重要：
上下文相关性是RAG管道中“检索”阶段的直接衡量。如果检索到的上下文本身就不相关，那么无论生成器LLM多么优秀，它都无法生成高质量的答案，或者更容易产生幻觉（因为它没有正确的信息可以依赖）。高上下文相关性是高信实度和高答案相关性的前提。

RAGAS如何量化上下文相关性：
RAGAS通过LLM评估检索到的每个文档或上下文块与原始查询的相关性。通常会要求LLM识别上下文中的关键句子或短语，并判断它们是否对回答问题有用。

概念性数学表示：
Context Relevancy = LLM_Judge_Score(Context, Question) (通常是每个上下文块的有用信息比例的平均值)

RAGAS框架：LLM-as-a-Judge的实践

理解了信实度和相关性的概念后，我们来看看RAGAS这个强大的工具如何将这些理论付诸实践。

什么是RAGAS？

RAGAS是一个开源框架，它通过利用LLM作为“评判者”来自动化RAG系统的评估。它旨在解决传统评估方法（如人工标注）的痛点：高成本、耗时、难以扩展。RAGAS通过一系列精心设计的LLM提示，让LLM来模拟人类评估员，对RAG输出的不同方面进行打分。

RAGAS的核心概念

  1. 数据集 (Dataset): RAGAS评估需要一个结构化的数据集，其中包含RAG系统处理后的结果。基本元素包括：
    • question: 用户的原始查询。
    • answer: RAG系统生成的答案。
    • contexts: RAG系统检索到的文档列表。
    • ground_truths: （可选）人工提供的“黄金标准”答案。这对于计算一些需要参考答案的指标（如answer_correctness）是必需的，但对于信实度和相关性等“无参考（reference-free）”指标则不是必需的。
  2. 指标 (Metrics): RAGAS提供了一系列预定义的评估指标，如faithfulness、relevancy、context_relevancy、answer_correctness等。您可以选择性地使用它们。
  3. 评估器 (Evaluator): 这是RAGAS的核心组件，它协调LLM评判者来计算选定指标的分数。您需要配置用于评估的LLM（例如，OpenAI GPT-4o-mini、GPT-3.5-turbo，或本地Hugging Face模型）。

安装与配置

首先，安装RAGAS库：

pip install ragas

RAGAS依赖于一个LLM来执行评估任务。您需要配置一个LLM提供商，例如OpenAI。确保您的API密钥已设置。

import os
# 如果使用OpenAI，请设置API密钥
# os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"
# 或者使用 .env 文件管理密钥

from ragas.llms import OpenAI, Huggingface
from ragas.metrics import faithfulness, relevancy, context_relevancy, answer_similarity, answer_correctness

# 配置评估LLM
# 推荐使用功能更强大的模型进行评估，例如 gpt-4o-mini 或 gpt-4
# ragas_llm = OpenAI(model="gpt-4o-mini")
# 如果没有OpenAI API Key，可以使用Huggingface的免费端点（通常有速率限制）或本地模型
# from transformers import AutoModelForCausalLM, AutoTokenizer
# model_name = "HuggingFaceH4/zephyr-7b-beta"
# tokenizer = AutoTokenizer.from_pretrained(model_name)
# model = AutoModelForCausalLM.from_pretrained(model_name)
# ragas_llm = Huggingface(model=model, tokenizer=tokenizer) # 本地模型
# 或者 Huggingface(model="HuggingFaceH4/zephyr-7b-beta", access_token="YOUR_HF_TOKEN") # Huggingface Inference API

实践：通过RAGAS进行RAG评估

现在，让我们通过一个完整的示例来演示如何使用RAGAS评估您的RAG系统。

场景：评估一个简单的文档问答RAG系统

假设我们有一个基于某个文档集合构建的RAG系统。我们想要评估它对一组查询的响应质量。

步骤1：准备您的数据

首先，我们需要构建一个Dataset对象。这个数据集应该包含：

  • question: 原始用户查询。
  • answer: 您的RAG系统根据查询生成的答案。
  • contexts: 您的RAG系统为生成该答案而检索到的原始文档片段列表。
  • ground_truths: （可选，但推荐）人工编写的正确答案，用于评估answer_correctness等指标。

为了演示，我们将创建一个小的合成数据集。在实际应用中，这些数据会通过运行您的RAG管道来生成。

from datasets import Dataset

# 假设这是您的RAG系统处理几个查询后的输出
data_samples = {
    "question": [
        "什么是量子纠缠？",
        "RAGAS框架如何处理上下文相关性？",
        "地球的平均半径是多少？",
        "Python中如何实现冒泡排序？"
    ],
    "answer": [
        "量子纠缠是一种量子力学现象，其中两个或多个粒子以这样一种方式连接，即无论它们相距多远，一个粒子的状态都会立即影响另一个粒子的状态。这爱因斯坦称之为‘幽灵般的超距作用’。",
        "RAGAS框架通过评估检索到的每个文档或上下文块与原始查询的相关性来处理上下文相关性。它会判断上下文中的关键句子或短语是否对回答问题有用。",
        "地球的平均半径约为6371公里，但赤道半径略大于极半径，因为地球不是一个完美的球体。",
        "冒泡排序是一种简单的排序算法，它重复地遍历要排序的列表，比较每对相邻元素，如果它们的顺序错误就交换它们。Python实现通常涉及嵌套循环。"
    ],
    "contexts": [
        ["量子纠缠是量子力学中的一种现象。", "当两个粒子纠缠时，它们的状态是相互依赖的。", "爱因斯坦称之为‘幽灵般的超距作用’。"],
        ["RAGAS通过LLM判断上下文块与查询的相关性。", "它关注上下文中的有用信息。", "上下文相关性是RAG评估的关键指标。"],
        ["地球的平均半径是6371公里。", "地球是一个扁球体。", "赤道半径比极半径大。"],
        ["冒泡排序比较相邻元素并交换。", "Python可以使用for循环实现。", "这不是最高效的排序算法。"]
    ],
    "ground_truths": [ # 可选的黄金标准答案
        ["量子纠缠是描述两个或多个粒子共享同一量子态的物理现象，即使相隔遥远，测量其中一个粒子也会立即影响另一个。"],
        ["RAGAS使用其`context_relevancy`指标，通过LLM判断检索到的上下文内容对回答用户问题的重要性。"],
        ["地球的平均半径大约是6371公里。"],
        ["在Python中，冒泡排序可以使用两个嵌套循环实现，外层循环控制遍历次数，内层循环负责比较和交换相邻元素。"]
    ]
}

# 将字典转换为Hugging Face的Dataset对象
dataset = Dataset.from_dict(data_samples)

print("数据集概览:")
print(dataset[0])

步骤2：选择您的评估指标

对于本次讲座，我们将重点关注faithfulness、relevancy（即答案相关性）和context_relevancy。

from ragas.metrics import faithfulness, relevancy, context_relevancy

metrics_to_evaluate = [
    faithfulness,
    relevancy,
    context_relevancy,
    # 如果您提供了 ground_truths，也可以添加以下指标
    # answer_correctness,
    # answer_similarity,
]

步骤3：配置您的评估LLM

确保您已经按照前面的说明配置了用于评估的LLM。我们将使用OpenAI的gpt-4o-mini，因为它在成本和性能之间取得了良好的平衡。

# 确保 os.environ["OPENAI_API_KEY"] 已设置
from ragas.llms import OpenAI
ragas_llm = OpenAI(model="gpt-4o-mini")

# Ragas 允许为不同的任务指定不同的LLM，例如，可以为抽取陈述使用一个模型，为判断使用另一个。
# 但通常情况下，一个配置好的ragas_llm就足够了。
# 可以在 evaluate 函数中通过 llm 参数全局设置，或者通过 metric.llm 参数为单个指标设置。

步骤4：运行评估

使用ragas.evaluate函数来启动评估过程。

from ragas import evaluate

print("n开始运行RAGAS评估...")
result = evaluate(
    dataset=dataset,
    metrics=metrics_to_evaluate,
    llm=ragas_llm, # 全局设置用于评估的LLM
    # 如果需要，可以针对特定指标覆盖LLM
    # faithfulness=faithfulness.with_llm(OpenAI(model="gpt-4o")),
)

print("n评估完成！")
print(result)

输出示例 (实际结果会因LLM模型和随机性而异):

Dataset({
    features: ['question', 'answer', 'contexts', 'ground_truths'],
    num_rows: 4
})

开始运行RAGAS评估...
Evaluating:   0%|          | 0/12 [00:00<?, ?it/s]
... (进度条显示评估过程) ...
Evaluating: 100%|##########| 12/12 [00:XX<00:00, X.XXit/s]

评估完成！
{'faithfulness': 0.9583, 'relevancy': 0.9375, 'context_relevancy': 0.9167}

result对象包含每个指标的平均分数。这些是针对整个数据集的聚合分数。

步骤5：分析结果

通常，您会希望查看每个样本的详细分数，而不仅仅是平均值。result对象可以转换为Pandas DataFrame，方便进一步分析。

import pandas as pd

df = result.to_dataframe()
print("n逐个样本的评估结果:")
print(df)

评估结果DataFrame示例：

question answer contexts faithfulness relevancy context_relevancy
什么是量子纠缠？ 量子纠缠是一种量子力学现象，其中两个或多个粒子以这样一种方式连接，即无论它们相距多远，一个粒子的状态都会立即影响另一个粒子的状态。这爱因斯坦称之为‘幽灵般的超距作用’。 [‘量子纠缠是量子力学中的一种现象。’, ‘当两个粒子纠缠时，它们的状态是相互依赖的。’, ‘爱因斯坦称之为‘幽灵般的超距作用’。’] 1.0 1.0 1.0
RAGAS框架如何处理上下文相关性？ RAGAS框架通过评估检索到的每个文档或上下文块与原始查询的相关性来处理上下文相关性。它会判断上下文中的关键句子或短语是否对回答问题有用。 [‘RAGAS通过LLM判断上下文块与查询的相关性。’, ‘它关注上下文中的有用信息。’, ‘上下文相关性是RAG评估的关键指标。’] 1.0 1.0 1.0
地球的平均半径是多少？ 地球的平均半径约为6371公里，但赤道半径略大于极半径，因为地球不是一个完美的球体。 [‘地球的平均半径是6371公里。’, ‘地球是一个扁球体。’, ‘赤道半径比极半径大。’, ‘太阳系中有八大行星。’] # 注意：这里为了演示稍微引入了噪音 0.8 0.9 0.8
Python中如何实现冒泡排序？ 冒泡排序是一种简单的排序算法，它重复地遍历要排序的列表，比较每对相邻元素，如果它们的顺序错误就交换它们。Python实现通常涉及嵌套循环。此外，快速排序在大多数情况下效率更高。 [‘冒泡排序比较相邻元素并交换。’, ‘Python可以使用for循环实现。’, ‘这不是最高效的排序算法。’, ‘Python列表的方法。’] # 注意：这里引入了噪音 0.75 0.85 0.7

解读结果：

  • 信实度 (Faithfulness): 如果某个样本的faithfulness分数较低（例如，0.75或更低），这表明您的RAG系统在生成答案时可能引入了幻觉或未能完全基于提供的上下文。您需要检查该答案，并分析LLM是“编造”了信息，还是对上下文进行了错误的推断。
  • 相关性 (Relevancy): 较低的relevancy分数表示生成的答案没有很好地解决用户的问题，可能包含冗余信息，或者偏离了主题。这通常是生成器LLM的提示工程问题，或者LLM本身理解问题意图的能力不足。
  • 上下文相关性 (Context Relevancy): 低context_relevancy分数直接指向检索器的问题。它意味着检索器未能为特定查询找到足够相关或高质量的文档。这会严重影响后续的生成质量。

通过对这些低分样本进行定性分析，您可以更好地理解RAG系统的弱点，并有针对性地进行改进。

高级考量与最佳实践

1. 成本与延迟

LLM-as-a-judge的范式虽然强大，但也伴随着成本和延迟。每次评估都需要调用LLM，这会产生API费用和等待时间。

  • 策略：
    • 小批量评估： 在开发初期，可以对小部分样本进行频繁评估。
    • 选择合适的评估LLM： gpt-4o-mini或gpt-3.5-turbo通常比gpt-4系列更经济，但在评估质量上可能有所牺牲。
    • 本地LLM： 对于大规模或成本敏感的评估，可以考虑在本地运行开源LLM（如Mistral, Llama 2等），但这需要更强的硬件资源。
    • 缓存： 对重复的查询-答案-上下文组合进行缓存，避免重复评估。

2. Ground Truths 的作用

RAGAS的faithfulness和relevancy是“无参考”指标，不需要ground_truths。这意味着它们非常适合在缺乏人工标注数据集的场景下快速启动评估。
然而，如果提供了ground_truths，您可以解锁更多有价值的指标：

  • answer_correctness: 衡量生成的答案与黄金标准答案的事实一致性。
  • answer_similarity: 衡量生成答案与黄金标准答案的语义相似度。
    在可能的情况下，提供ground_truths能够让您的评估更加全面和准确。

3. 选择评估LLM

用于评估的LLM本身的能力会影响评估结果的质量和可靠性。一个“聪明”的评判者能够更好地理解问题、答案和上下文的细微差别。

  • 高能力LLM (如GPT-4系列): 提供更准确和细致的判断，但成本高、速度慢。适合小规模、关键的评估或作为基准。
  • 中等能力LLM (如GPT-4o-mini, GPT-3.5-turbo): 成本和速度适中，是大多数日常评估的良好选择。
  • 开源LLM (如Zephyr, Llama-family): 免费，但可能需要更多调优才能获得可靠的评估结果，且性能可能不如商业模型。适合对成本极度敏感或需要完全本地部署的场景。
    建议从gpt-4o-mini开始，如果需要更高准确性，可以升级到gpt-4，如果需要更低成本，可以尝试gpt-3.5-turbo或开源模型。

4. 解释分数与迭代改进

  • 相对而非绝对： 单一的评估分数可能意义不大，更重要的是比较不同RAG版本、不同组件配置之间的分数变化。
  • 阈值： 根据您的业务需求，设定可接受的最低分数阈值。
  • 定性分析： 当发现某个指标分数偏低时，务必深入到具体的样本中，人工审查问题、答案和上下文，理解LLM评判者可能“看到”了什么问题。
  • 报告与可视化： 使用Pandas DataFrame和可视化工具（如Matplotlib, Seaborn）来更直观地呈现评估结果和趋势。

5. MLOps集成

将RAG评估集成到您的MLOps工作流中，实现自动化测试和持续集成/持续部署（CI/CD）：

  • 预提交钩子 (Pre-commit hooks): 在代码提交前运行快速评估。
  • CI/CD管道： 在每次代码合并或模型更新后，自动运行全面的RAG评估，并报告关键指标。如果指标下降，可以阻止部署。
  • 监控： 在生产环境中持续监控RAG系统的性能，并定期进行评估。

基于评估结果的迭代改进策略

一旦您通过RAGAS获得了信实度、相关性、上下文相关性等指标的量化结果，下一步就是根据这些结果来改进您的RAG系统。

1. 低信实度 (Faithfulness) 的应对策略

  • 问题诊断： LLM在“编造”信息，或者对上下文的理解/总结不准确。
  • 改进方向： 限制LLM的自由度，确保其严格遵循上下文。
    • 提示工程： 在LLM的系统提示中明确指示“仅根据提供的上下文回答，如果信息不在上下文中，请说明你不知道。”或“不要引入任何外部信息。”
    • 上下文质量： 确保检索到的上下文是高质量、无歧义且充分的。如果上下文本身就不足以回答问题，LLM可能会尝试“填补空白”。
    • 生成器LLM选择： 某些LLM模型在遵循指令方面表现更好，可以尝试更换LLM。
    • 后处理： 对生成的答案进行后处理，通过规则或另一个小型LLM来识别并移除不被上下文支持的声明。
    • 置信度评估： 引入LLM的置信度评分，对低置信度的回答进行标记或不予输出。

2. 低答案相关性 (Relevancy) 的应对策略

  • 问题诊断： 生成的答案没有直接解决用户的问题，可能偏题、冗余或不完整。
  • 改进方向： 引导LLM更精准地聚焦用户意图。
    • 提示工程： 明确指示LLM“直接回答问题”、“只提供用户需要的信息”、“避免冗余”等。
    • 查询改写/扩展： 在检索前对用户查询进行改写或扩展，使其更清晰、更具体，从而帮助LLM更好地理解用户意图。
    • 生成器LLM微调： 如果有足够的标注数据，可以微调生成器LLM，使其更好地遵循特定领域的问答模式。
    • 上下文剪枝/总结： 即使上下文相关，如果它太长或包含太多噪音，LLM也可能难以提取关键信息并给出简洁的答案。可以考虑在生成前对上下文进行总结或剪枝。

3. 低上下文相关性 (Context Relevancy) 的应对策略

  • 问题诊断： 检索器未能找到与用户查询高度相关的文档，或者检索到了大量无关信息。
  • 改进方向： 提升检索器的效率和准确性。
    • 嵌入模型： 更换或微调用于向量检索的嵌入模型，使其更好地捕捉查询和文档之间的语义相似性。
    • 分块策略 (Chunking Strategy)： 调整文档的分块大小和重叠策略。过大的块可能引入噪音，过小的块可能丢失上下文。
    • 检索算法：
      • 混合搜索 (Hybrid Search)： 结合关键词搜索（如BM25）和向量搜索，以兼顾精确匹配和语义理解。
      • 重排序 (Re-ranking)： 在初步检索到一定数量的文档后，使用一个更小的、更精细的模型（如Cross-encoder）对这些文档进行重排序，将最相关的文档排在前面。
    • 查询扩展/改写： 使用LLM或其他技术对用户原始查询进行扩展或改写，生成更多可能的相关关键词或语义表达，以提高检索召回率。
    • 元数据过滤 (Metadata Filtering)： 如果文档包含结构化元数据（例如，文档类型、日期、作者），在检索时利用这些元数据进行过滤，缩小搜索范围。
    • 数据质量： 确保您的文档语料库本身是高质量、无错误且组织良好的。

通过对上述指标的持续监控和针对性改进，您的RAG系统将能够不断提升其性能，为用户提供更准确、更可靠、更相关的答案。

RAG评估是构建健壮且可靠RAG系统的基石。信实度与相关性，作为RAGAS框架中的核心量化指标，为我们提供了洞察系统性能的关键视角。通过系统地测量这些方面，开发者能够有效地诊断问题、迭代优化，从而持续提升其RAG应用程序的质量，最终交付更值得信赖、更高效的AI体验。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注