发布于 由admin

Redis `Vector Search` 在 AI 大模型中的应用潜力

好的，没问题，直接进入正题！

各位老铁，大家好！我是今天的主讲人，一位略懂编程的专家（不敢自称大师，怕被打）。今天咱们聊点硬核的，但保证通俗易懂，那就是Redis Vector Search在AI大模型中的应用潜力。

啥是AI大模型？简单说，就是那些参数贼多，能干很多事儿的神经网络，比如生成文本、翻译、写代码等等。 这些模型需要海量的数据才能训练出来，训练好了之后，怎么用它来快速找到我们想要的信息，这就是个大问题。

传统数据库，像MySQL，找精确匹配还行，但要找“相似”的东西，就有点力不从心了。 这时候，Vector Search就派上用场了。

一、 什么是向量搜索？别怕，不难！

向量搜索，顾名思义，就是把东西都变成向量，然后在向量空间里找距离最近的。

  • 向量是什么？ 向量就是一个数字列表。比如，[1.2, 3.4, -0.5, 0.8]就是一个4维向量。
  • 怎么把东西变成向量？ 这就得靠AI模型了。 比如，你可以用一个文本嵌入模型（比如Sentence Transformers）把一段文本变成一个向量，这个向量就代表了这段文本的含义。 类似的，图像、音频、视频也都可以通过相应的模型变成向量。
  • 距离是什么？ 向量之间的距离有很多种计算方式，最常用的是余弦相似度（Cosine Similarity）。余弦相似度越大，表示两个向量越相似。 简单来说，就是向量夹角越小，越相似。

二、 Redis Vector Search：让向量搜索飞起来！

Redis，大家都知道，是一个很快的内存数据库。 但Redis不只是个Key-Value存储，它还提供了强大的向量搜索功能！ 这是Redis Stack模块提供的。

Redis Vector Search的优势：

  • 快！ Redis本来就快，向量搜索也做了专门的优化。
  • 简单！ 用起来很方便，不用搞复杂的配置。
  • 灵活！ 支持多种向量索引算法，可以根据你的需求选择。
  • 支持各种距离计算方式！ 比如欧几里得距离，余弦相似度，点积等等

三、 Redis Vector Search的核心概念

  • Index（索引）： 存储向量的地方。 你需要先创建一个索引，然后才能把向量放进去。
  • Schema（模式）： 定义索引的结构，包括向量的维度、距离计算方式等等。
  • Vector（向量）： 要存储和搜索的数据。
  • Query（查询）： 用来搜索的向量。
  • Algorithm (算法): 向量索引算法。 比如：FLAT, HNSW 等等

四、 代码演示：用Python玩转Redis Vector Search

咱们用Python来演示一下，怎么用Redis Vector Search来做文本搜索。

1. 安装依赖

pip install redis redis-om sentence-transformers

2. 连接Redis

import redis
from redis.commands.search.field import VectorField, TextField
from redis.commands.search.indexDefinition import IndexDefinition, IndexType
from redis.commands.search.query import Query
from sentence_transformers import SentenceTransformer

# Redis连接信息
REDIS_HOST = "localhost"
REDIS_PORT = 6379
REDIS_PASSWORD = None  # 如果你的Redis有密码，请设置

# 连接Redis
redis_client = redis.Redis(host=REDIS_HOST, port=REDIS_PORT, password=REDIS_PASSWORD, decode_responses=True)

# 检查Redis连接
try:
    redis_client.ping()
    print("成功连接到Redis！")
except redis.exceptions.ConnectionError as e:
    print(f"连接Redis失败: {e}")
    exit()

3. 创建索引

INDEX_NAME = "my_index"
VECTOR_DIM = 384  # Sentence Transformers all-MiniLM-L6-v2 的向量维度
PREFIX = "doc:" # Key 前缀
DISTANCE_METRIC = "COSINE" # 距离度量方法

# 删除索引，如果存在
try:
    redis_client.ft(INDEX_NAME).dropindex()
    print(f"成功删除索引 {INDEX_NAME}")
except:
    print(f"索引 {INDEX_NAME} 不存在，创建新的索引")

# 创建索引
schema = (
    TextField("title"), # 文档标题
    VectorField("content_embedding", "FLAT", { # FLAT 是暴力搜索，适合小数据集
        "TYPE": "FLOAT32",
        "DIM": VECTOR_DIM,
        "DISTANCE_METRIC": DISTANCE_METRIC
    })
)

index_definition = IndexDefinition(prefix=[PREFIX], index_type=IndexType.HASH)

try:
    redis_client.ft(INDEX_NAME).create_index(
        fields=schema,
        definition=index_definition
    )
    print(f"成功创建索引 {INDEX_NAME}")
except Exception as e:
    print(f"创建索引 {INDEX_NAME} 失败: {e}")
    exit()

4. 准备数据

# 初始化 Sentence Transformers 模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 文档数据
documents = [
    {"id": "doc:1", "title": "人工智能的未来", "content": "人工智能将在未来改变我们的生活方式。"},
    {"id": "doc:2", "title": "机器学习算法", "content": "机器学习算法是人工智能的核心组成部分。"},
    {"id": "doc:3", "title": "深度学习的应用", "content": "深度学习在图像识别、自然语言处理等领域有广泛应用。"},
    {"id": "doc:4", "title": "数据科学入门", "content": "数据科学是利用数据解决问题的科学。"},
    {"id": "doc:5", "title": "云计算的优势", "content": "云计算提供了灵活、可扩展的计算资源。"},
]

# 将文档数据存储到 Redis 中
for doc in documents:
    # 计算文档内容的向量
    embedding = model.encode(doc["content"]).astype("float32").tobytes()
    # 存储文档数据
    redis_client.hset(doc["id"], mapping={
        "title": doc["title"],
        "content_embedding": embedding
    })

print("成功存储文档数据到 Redis")

5. 执行搜索

# 搜索query
query_text = "人工智能"

# 计算搜索 query 的向量
query_embedding = model.encode(query_text).astype("float32").tobytes()

# 构建搜索语句
query = Query(
    f"*=>[KNN 3 @content_embedding $vec as score]" # KNN 3 表示返回最相似的3个结果
).sort_by("score", asc=False).dialect(2).param("vec", query_embedding)

# 执行搜索
results = redis_client.ft(INDEX_NAME).search(query)

# 打印搜索结果
print(f"找到 {results.total} 个结果:")
for i, doc in enumerate(results.docs):
    print(f"  {i+1}. 标题: {doc['title']}, 相似度: {doc['score']}")

完整的代码：

import redis
from redis.commands.search.field import VectorField, TextField
from redis.commands.search.indexDefinition import IndexDefinition, IndexType
from redis.commands.search.query import Query
from sentence_transformers import SentenceTransformer

# Redis连接信息
REDIS_HOST = "localhost"
REDIS_PORT = 6379
REDIS_PASSWORD = None  # 如果你的Redis有密码，请设置

# 连接Redis
redis_client = redis.Redis(host=REDIS_HOST, port=REDIS_PORT, password=REDIS_PASSWORD, decode_responses=True)

# 检查Redis连接
try:
    redis_client.ping()
    print("成功连接到Redis！")
except redis.exceptions.ConnectionError as e:
    print(f"连接Redis失败: {e}")
    exit()

INDEX_NAME = "my_index"
VECTOR_DIM = 384  # Sentence Transformers all-MiniLM-L6-v2 的向量维度
PREFIX = "doc:" # Key 前缀
DISTANCE_METRIC = "COSINE" # 距离度量方法

# 删除索引，如果存在
try:
    redis_client.ft(INDEX_NAME).dropindex()
    print(f"成功删除索引 {INDEX_NAME}")
except:
    print(f"索引 {INDEX_NAME} 不存在，创建新的索引")

# 创建索引
schema = (
    TextField("title"), # 文档标题
    VectorField("content_embedding", "FLAT", { # FLAT 是暴力搜索，适合小数据集
        "TYPE": "FLOAT32",
        "DIM": VECTOR_DIM,
        "DISTANCE_METRIC": DISTANCE_METRIC
    })
)

index_definition = IndexDefinition(prefix=[PREFIX], index_type=IndexType.HASH)

try:
    redis_client.ft(INDEX_NAME).create_index(
        fields=schema,
        definition=index_definition
    )
    print(f"成功创建索引 {INDEX_NAME}")
except Exception as e:
    print(f"创建索引 {INDEX_NAME} 失败: {e}")
    exit()

# 初始化 Sentence Transformers 模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 文档数据
documents = [
    {"id": "doc:1", "title": "人工智能的未来", "content": "人工智能将在未来改变我们的生活方式。"},
    {"id": "doc:2", "title": "机器学习算法", "content": "机器学习算法是人工智能的核心组成部分。"},
    {"id": "doc:3", "title": "深度学习的应用", "content": "深度学习在图像识别、自然语言处理等领域有广泛应用。"},
    {"id": "doc:4", "title": "数据科学入门", "content": "数据科学是利用数据解决问题的科学。"},
    {"id": "doc:5", "title": "云计算的优势", "content": "云计算提供了灵活、可扩展的计算资源。"},
]

# 将文档数据存储到 Redis 中
for doc in documents:
    # 计算文档内容的向量
    embedding = model.encode(doc["content"]).astype("float32").tobytes()
    # 存储文档数据
    redis_client.hset(doc["id"], mapping={
        "title": doc["title"],
        "content_embedding": embedding
    })

print("成功存储文档数据到 Redis")

# 搜索query
query_text = "人工智能"

# 计算搜索 query 的向量
query_embedding = model.encode(query_text).astype("float32").tobytes()

# 构建搜索语句
query = Query(
    f"*=>[KNN 3 @content_embedding $vec as score]" # KNN 3 表示返回最相似的3个结果
).sort_by("score", asc=False).dialect(2).param("vec", query_embedding)

# 执行搜索
results = redis_client.ft(INDEX_NAME).search(query)

# 打印搜索结果
print(f"找到 {results.total} 个结果:")
for i, doc in enumerate(results.docs):
    print(f"  {i+1}. 标题: {doc['title']}, 相似度: {doc['score']}")

运行结果示例：

成功连接到Redis！
成功删除索引 my_index
索引 my_index 不存在，创建新的索引
成功创建索引 my_index
成功存储文档数据到 Redis
找到 3 个结果:
  1. 标题: 人工智能的未来, 相似度: 0.7692171931266785
  2. 标题: 机器学习算法, 相似度: 0.6989821791648865
  3. 标题: 深度学习的应用, 相似度: 0.5970627665519714

五、 Redis Vector Search在AI大模型中的应用场景

  • 语义搜索： 不再是简单的关键词匹配，而是根据文本的含义来搜索。 比如，用户搜索“推荐一些关于自然语言处理的书籍”，可以返回相关书籍，即使这些书籍的标题或描述中没有明确包含“自然语言处理”这个关键词。
  • 推荐系统： 根据用户的历史行为和偏好，推荐相似的商品或内容。 比如，用户购买了一件商品，可以推荐其他与该商品相似的商品。
  • 问答系统： 根据用户的问题，从知识库中找到最相关的答案。 比如，用户提问“什么是人工智能？”，可以从知识库中找到关于人工智能的定义和介绍。
  • 图像搜索： 根据图像的内容来搜索相似的图像。 比如，用户上传一张照片，可以找到其他包含类似场景或物体的照片。
  • 代码搜索： 根据代码的功能或逻辑来搜索相似的代码片段。 这对于代码重用和代码理解非常有帮助。

六、 性能优化建议

  • 选择合适的向量索引算法： FLAT算法适合小数据集，HNSW算法适合大数据集。
  • 调整HNSW算法的参数： M和efConstruction参数会影响索引的构建速度和搜索精度。
  • 使用Pipeline批量插入数据： 可以显著提高数据插入速度。
  • 合理设置查询参数： K值（KNN搜索的邻居数）会影响搜索精度和速度。
  • 使用Redis Cluster： 如果数据量太大，单机Redis无法满足需求，可以使用Redis Cluster来扩展存储容量和吞吐量。

七、 总结

Redis Vector Search为AI大模型提供了强大的向量搜索能力，可以帮助我们快速找到相似的信息，从而实现各种智能应用。 虽然还有一些需要注意的地方，比如向量索引算法的选择和参数调整，但总体来说，Redis Vector Search是一个非常实用和高效的工具。

特性 描述
快速 基于内存的数据库，搜索速度非常快。
简单易用 API简单，容易上手。
灵活 支持多种向量索引算法和距离计算方式。
可扩展 可以使用Redis Cluster来扩展存储容量和吞吐量。
应用广泛 适用于语义搜索、推荐系统、问答系统、图像搜索、代码搜索等多种场景。

希望今天的分享对大家有所帮助！ 如果大家有什么问题，欢迎提问。 谢谢！

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注