Redis 数据迁移工具：`redis-rdb-tools`, `redis-shake` 的应用

各位朋友，大家好！今天咱们聊聊 Redis 数据迁移这事儿，主角就是两员大将：redis-rdb-tools 和 redis-shake。别害怕，虽然名字听起来像什么秘密武器，但其实用起来挺接地气的。

先来个开场白：为啥要迁移？

想象一下，你的 Redis 服务器就像一个繁忙的餐厅。

• 餐厅扩张： 容量不够用了，得换个更大的地方，数据也得跟着搬家。
• 厨房升级： 要升级 Redis 版本，可能需要把数据从旧版本迁移到新版本。
• 换个地段： 从本地服务器迁移到云服务器，或者在不同的云平台之间搬家。
• 备份与恢复： 为了安全起见，定期备份数据，万一出了问题，可以迅速恢复。

总之，迁移的理由千千万，但目标只有一个：平稳过渡，数据不丢。

主角一：redis-rdb-tools – RDB 文件分析师

redis-rdb-tools 可不是个直接搬运工，它更像一个 RDB 文件的分析师。RDB 文件是 Redis 的一种持久化方式，它把内存中的数据定期保存到硬盘上。redis-rdb-tools 可以帮你：

1. 分析 RDB 文件： 看看里面都存了些啥，比如 Key 的数量、大小分布等等。
2. 转换 RDB 文件： 可以把 RDB 文件转换成 JSON 格式，方便你阅读和处理。
3. 生成 Redis 命令： 可以根据 RDB 文件生成一系列 Redis 命令，用于恢复数据。

安装 redis-rdb-tools

这个工具是用 Python 写的，所以你需要先安装 Python 环境。然后，用 pip 安装：

pip install rdbtools

常用命令：

命令	功能
rdb --command help	查看帮助文档，了解所有可用命令。
rdb -c memory rdb文件路径	分析 RDB 文件，输出每个 Key 占用的内存大小，可以帮你找出“大胖子”Key。
rdb -c json rdb文件路径 > output.json	将 RDB 文件转换成 JSON 格式，方便你查看里面的数据。
rdb -c redis rdb文件路径 -p 6379 -h 127.0.0.1	将 RDB 文件中的数据恢复到 Redis 服务器。这里 -p 指定端口，-h 指定主机。
rdb -c diff rdb文件1 rdb文件2	比较两个 RDB 文件的差异，找出新增、修改或删除的 Key。
rdb -c protocol rdb文件路径 > redis_commands.txt	将 RDB 文件转换成 Redis 命令序列，可以用于手动恢复数据。

例子：分析 RDB 文件

假设你有一个名为 dump.rdb 的 RDB 文件，你想看看里面都存了些啥。你可以用以下命令：

rdb -c memory dump.rdb

输出结果会告诉你每个 Key 占用的内存大小，你可以根据这个信息来优化你的数据结构。

例子：转换成 JSON

rdb -c json dump.rdb > dump.json

这个命令会把 dump.rdb 转换成 dump.json 文件，你可以用文本编辑器打开它，看看里面的数据。

例子：恢复数据

rdb -c redis dump.rdb -p 6379 -h 127.0.0.1

这个命令会把 dump.rdb 中的数据恢复到本地 Redis 服务器（端口 6379）。

注意：

• 恢复数据时，目标 Redis 服务器必须是空的，否则可能会出现数据冲突。
• RDB 文件比较大时，转换和恢复过程可能会比较慢。
• redis-rdb-tools 主要用于离线数据分析和恢复，不适合在线实时迁移。

主角二：redis-shake – 在线数据搬运工

redis-shake 是一个真正的搬运工，它可以把数据从一个 Redis 服务器实时迁移到另一个 Redis 服务器。它支持：

1. 全量同步： 把源 Redis 服务器的所有数据都复制到目标 Redis 服务器。
2. 增量同步： 实时监听源 Redis 服务器的修改，把新增、修改或删除的数据同步到目标 Redis 服务器。
3. 多种同步模式： 支持单向同步、双向同步、多源同步等。

安装 redis-shake

redis-shake 是用 Go 写的，你需要先安装 Go 环境。然后，从 GitHub 上下载源代码，编译生成可执行文件。

git clone https://github.com/alibaba/RedisShake.git
cd RedisShake
go build

配置 redis-shake

redis-shake 的配置是通过一个 YAML 文件来完成的。你需要创建一个配置文件，指定源 Redis 服务器和目标 Redis 服务器的地址、端口、密码等信息。

一个简单的配置文件 shake.yml 可能长这样：

source:
  address: 127.0.0.1:6379  # 源 Redis 服务器地址
  password: your_password   # 源 Redis 服务器密码 (如果需要)
  # db: 0                   # 源 Redis 服务器 DB (默认是0)
  type: redis

target:
  address: 127.0.0.1:6380  # 目标 Redis 服务器地址
  password: your_password   # 目标 Redis 服务器密码 (如果需要)
  # db: 0                   # 目标 Redis 服务器 DB (默认是0)
  type: redis

sync:
  type: sync  # 全量同步 + 增量同步
  #filter:
  #  databases: "0,1,2" # 只同步哪些库
  #  keys: "user*,order*" # 只同步匹配这些 pattern 的 key

常用配置项：

配置项	说明
source.address	源 Redis 服务器的地址，格式为 host:port。
source.password	源 Redis 服务器的密码，如果不需要密码，可以留空。
target.address	目标 Redis 服务器的地址，格式为 host:port。
target.password	目标 Redis 服务器的密码，如果不需要密码，可以留空。
sync.type	同步类型，可以是 sync（全量同步 + 增量同步）, rdb (全量同步), increment (增量同步)。
filter.databases	指定要同步的数据库，用逗号分隔，例如 "0,1,2"。 如果不指定，则同步所有数据库。
filter.keys	指定要同步的 Key 的 pattern，用逗号分隔，例如 "user*,order*"。 如果不指定，则同步所有 Key。

运行 redis-shake

有了配置文件，就可以运行 redis-shake 了：

./redis-shake -conf shake.yml

redis-shake 会根据配置文件，把数据从源 Redis 服务器同步到目标 Redis 服务器。

同步模式

• sync (全量 + 增量): 先进行全量同步，把源 Redis 服务器的所有数据都复制到目标 Redis 服务器。然后，实时监听源 Redis 服务器的修改，把新增、修改或删除的数据同步到目标 Redis 服务器。这是最常用的同步模式。
• rdb (全量): 只进行全量同步，不进行增量同步。适用于只需要一次性复制数据的场景。
• increment (增量): 只进行增量同步，不进行全量同步。适用于已经有部分数据在目标 Redis 服务器，只需要同步新增、修改或删除的数据的场景。

例子：全量 + 增量同步

假设你想把本地 Redis 服务器（端口 6379）的数据同步到另一个本地 Redis 服务器（端口 6380）。你可以创建一个 shake.yml 文件，内容如下：

source:
  address: 127.0.0.1:6379
  type: redis

target:
  address: 127.0.0.1:6380
  type: redis

sync:
  type: sync

然后，运行 redis-shake：

./redis-shake -conf shake.yml

redis-shake 会先把 6379 端口的数据复制到 6380 端口，然后实时监听 6379 端口的修改，把修改同步到 6380 端口。

高级用法：

• 多源同步： 可以把多个 Redis 服务器的数据同步到一个 Redis 服务器。
• 双向同步： 可以实现两个 Redis 服务器之间的数据同步。
• 数据过滤： 可以根据 Key 的 pattern 或数据库来过滤要同步的数据。
• 自定义转换： 可以编写 Lua 脚本来转换同步的数据。

redis-shake 的优势：

• 在线迁移： 可以在 Redis 服务器运行期间进行数据迁移，不需要停机。
• 实时同步： 可以实时同步数据，保证数据的一致性。
• 灵活配置： 可以根据不同的场景选择不同的同步模式和配置。

redis-shake 的局限性：

• 需要一定的资源： 运行 redis-shake 需要一定的 CPU 和内存资源。
• 可能影响性能： 在线迁移可能会对源 Redis 服务器的性能产生一定的影响。
• 复杂配置： 高级配置可能比较复杂，需要一定的学习成本。

redis-rdb-tools vs. redis-shake：

特性	redis-rdb-tools	redis-shake
迁移方式	离线迁移	在线迁移
适用场景	数据备份、离线分析、版本升级	数据迁移、数据同步、异地容灾
实时性	非实时	实时
复杂性	简单	相对复杂
对源服务器影响	小	可能有一定影响
功能	RDB 文件分析、转换、生成 Redis 命令	全量同步、增量同步、多源同步、双向同步、数据过滤、自定义转换

总结：

• redis-rdb-tools 适合离线数据分析和恢复，比如备份数据、版本升级。
• redis-shake 适合在线数据迁移和同步，比如服务器迁移、异地容灾。

选择哪个工具，取决于你的具体需求和场景。

最佳实践：

1. 评估风险： 在进行数据迁移之前，一定要评估风险，做好备份。
2. 选择合适的工具： 根据实际情况选择合适的工具。
3. 充分测试： 在生产环境进行迁移之前，一定要在测试环境进行充分的测试。
4. 监控迁移过程： 在迁移过程中，要密切监控 Redis 服务器的性能和数据同步情况。
5. 验证数据： 迁移完成后，要验证数据的完整性和一致性。

好了，今天的分享就到这里。希望这些信息能帮助你更好地理解和使用 redis-rdb-tools 和 redis-shake。 记住，数据迁移是个严肃的事情，一定要小心谨慎，做好充分的准备。祝大家迁移顺利！