RAG 项目中如何利用日志特征构建召回衰减的早期预警与模型重训触发 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

RAG 项目中利用日志特征构建召回衰减的早期预警与模型重训触发

大家好，今天我们来聊聊如何在 RAG (Retrieval Augmented Generation) 项目中，利用日志特征构建召回衰减的早期预警系统，并以此触发模型重训。这是一个非常实际且有价值的话题，尤其是在 RAG 系统长期运行，知识库不断更新的情况下，召回效果的稳定性和准确性至关重要。

1. 问题定义：召回衰减及其影响

RAG 系统的核心在于从知识库中检索相关文档，并将其作为上下文提供给生成模型。随着时间的推移，知识库的内容会发生变化，新的文档被添加，旧的文档被修改或删除。这种变化会导致以下问题：

语义漂移： 新增文档的语义与现有嵌入空间可能不一致，导致检索结果的相关性下降。
数据过时： 旧文档可能包含过时信息，导致检索结果的准确性下降。
向量空间退化： 如果知识库更新策略不合理，可能导致向量空间的质量下降，影响召回效果。

这些问题最终会导致召回衰减，即检索到的文档与用户查询的相关性和准确性逐渐降低。召回衰减会直接影响 RAG 系统的整体性能，导致生成模型的输出质量下降，用户体验变差。

2. 日志特征提取：监控 RAG 系统的健康状况

为了监测召回衰减，我们需要从 RAG 系统的日志中提取有用的特征。以下是一些关键的日志特征：

查询日志： 记录用户查询的内容，可以分析查询的分布和变化趋势。
召回日志： 记录检索到的文档 ID、相似度得分、检索时间等信息，可以评估召回效果。
用户反馈日志： 记录用户对检索结果的反馈（例如，点击、采纳、拒绝），可以作为召回效果的直接指标。
生成日志： 虽然不是直接的召回指标，但生成模型的输出质量可以间接反映召回效果。

基于这些日志，我们可以提取以下统计特征：

2.1. 日志特征提取：


import pandas as pd
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
from datetime import datetime, timedelta

# 假设日志数据保存在 CSV 文件中
# 查询日志包含 query_id, user_id, query_text, timestamp
# 召回日志包含 query_id, doc_id, score, timestamp
# 用户反馈日志包含 query_id, doc_id, feedback (1: 采纳, 0: 拒绝), timestamp

# 加载日志数据
query_logs = pd.read_csv("query_logs.csv")
recall_logs = pd.read_csv("recall_logs.csv")
feedback_logs = pd.read_csv("feedback_logs.csv")

# 将时间戳转换为 datetime 对象
query_logs['timestamp'] = pd.to_datetime(query_logs['timestamp'])
recall_logs['timestamp'] = pd.to_datetime(recall_logs['timestamp'])
feedback_logs['timestamp'] = pd.to_datetime(feedback_logs['timestamp'])

# 数据预处理：确保 query_id 和 doc_id 的数据类型一致
recall_logs['query_id'] = recall_logs['query_id'].astype(int)
feedback_logs['query_id'] = feedback_logs['query_id'].astype(int)
recall_logs['doc_id'] = recall_logs['doc_id'].astype(int)
feedback_logs['doc_id'] = feedback_logs['doc_id'].astype(int)

# 特征提取函数
def extract_features(query_logs, recall_logs, feedback_logs, window_size=7):
    """
    提取日志特征.

    Args:
        query_logs: 查询日志 DataFrame
        recall_logs: 召回日志 DataFrame
        feedback_logs: 用户反馈日志 DataFrame
        window_size: 滑动窗口大小（天）

    Returns:
        包含提取特征的 DataFrame
    """

    today = datetime.now()
    start_date = today - timedelta(days=window_size)

    # 筛选指定时间窗口内的数据
    query_logs_window = query_logs[query_logs['timestamp'] >= start_date]
    recall_logs_window = recall_logs[recall_logs['timestamp'] >= start_date]
    feedback_logs_window = feedback_logs[feedback_logs['timestamp'] >= start_date]

    # 1

RAG 项目中利用日志特征构建召回衰减的早期预警与模型重训触发

发表回复 取消回复

发表回复取消回复