Redis 内存碎片整理：一场内存空间的“断舍离”大戏 🎭
各位观众，各位看官，欢迎来到今天的“Redis 内存优化脱口秀”！我是你们的“内存空间整理大师”——Redis君（化名）。今天，我们要聊聊Redis里一个非常重要的，但又常常被我们忽略的话题：内存碎片整理，也就是Redis的 ACTIVEDEFRAG。
想象一下，你家的衣柜，刚开始整整齐齐，衣服叠得像豆腐块。但经过一段时间的“疯狂购物”和“随手乱扔”，衣柜是不是变得一团糟？袜子和领带“私奔”了，衬衫和裤子“离家出走”了，整个衣柜变得臃肿不堪，明明还有空间，却塞不进新衣服了。
Redis的内存空间，也面临着类似的挑战。随着数据的频繁增删改查，内存空间会被切割成许多小块，这些小块之间可能散落着一些“无家可归”的碎片，这就是我们今天要讨论的“内存碎片”。
什么是内存碎片？为什么它是个“坏家伙”？ 😈
简单来说，内存碎片就是指那些无法被有效利用的内存空间。它们就像衣柜里的碎布头，占着地方，却毫无用处。
更具体地说，内存碎片分为两种：
- 内部碎片： 这是由于内存分配器的最小分配单元大于实际需要存储的数据大小而造成的。比如，你只想存一个字节的数据，但分配器最小只能分配8个字节，那剩下的7个字节就成了内部碎片。
- 外部碎片： 这是由于内存中存在许多小的、不连续的空闲块，导致无法满足较大的内存分配请求而造成的。就像你衣柜里有很多小空隙，但放不下一件大衣。
那么，内存碎片为什么是个“坏家伙”呢？
- 降低内存利用率： 碎片越多，可用的连续内存空间就越少，即使总的可用内存足够，也可能因为找不到足够大的连续空间而导致分配失败，从而降低了内存利用率。就像你明明还有很多钱，但因为没有足够的现金，买不起心仪的商品。
- 影响性能： 当Redis需要分配一大块连续内存时，如果碎片过多，就需要花费更多的时间来寻找合适的内存块，甚至可能需要进行内存整理，这会影响Redis的性能。就像你要参加一个重要的会议，却因为找不到一件合适的衣服而耽误了时间。
- 可能导致OOM（Out of Memory）： 在极端情况下，大量的内存碎片可能导致Redis误认为内存不足，从而触发OOM，导致服务崩溃。 这就像你银行卡里明明还有钱，但因为取款机故障，无法取出，导致无法支付账单。
Redis 的 ACTIVEDEFRAG：内存空间整理的“神器” 🛠️
为了解决内存碎片的问题，Redis 2.8.1 版本引入了 ACTIVEDEFRAG 功能，它就像一个“内存空间整理机器人”，可以自动地扫描和整理内存碎片，释放无用的空间，提高内存利用率。
ACTIVEDEFRAG 的工作原理是怎样的呢？
ACTIVEDEFRAG 的核心思想是“复制-移动”。它会扫描Redis中的键，如果发现某个键对应的对象存在碎片，就会将该对象复制到新的内存空间，然后释放旧的内存空间。
具体步骤如下：
- 扫描键空间：
ACTIVEDEFRAG会定期扫描Redis的键空间，寻找需要整理的键。 - 判断是否需要整理： 对于每个键，
ACTIVEDEFRAG会根据一些策略（例如，碎片率）来判断是否需要进行整理。 - 复制对象： 如果需要整理，
ACTIVEDEFRAG会将该键对应的对象复制到新的内存空间。 - 更新指针： 复制完成后，
ACTIVEDEFRAG会更新键的指针，指向新的内存空间。 - 释放旧空间： 最后，
ACTIVEDEFRAG会释放旧的内存空间，从而消除碎片。
可以用一个生动的例子来形容这个过程：
假设你的书架上摆满了书，但有些书被压扁了，有些书的书页脱落了，书架显得杂乱无章。ACTIVEDEFRAG 就像一个图书管理员，它会把那些破损的书籍复制到新的书本上，然后把旧书扔掉，最后把新书整齐地摆放在书架上，让书架焕然一新。
ACTIVEDEFRAG 的优点：
- 自动整理： 无需人工干预，可以自动地扫描和整理内存碎片。
- 在线整理： 可以在Redis运行期间进行整理，无需停止服务。
- 可配置： 可以通过配置参数来控制整理的频率、强度等。
ACTIVEDEFRAG 的缺点：
- 消耗CPU资源： 整理过程会消耗一定的CPU资源，可能会影响Redis的性能。
- 可能导致阻塞： 如果整理的键对象过大，可能会导致Redis阻塞一段时间。
如何配置和使用 ACTIVEDEFRAG ？ ⚙️
ACTIVEDEFRAG 的配置参数主要集中在 redis.conf 文件中，或者通过 CONFIG SET 命令进行动态配置。 常见的配置参数如下：
| 配置参数 | 描述 | 默认值 |
|---|---|---|
activedefrag yes/no |
启用或禁用 ACTIVEDEFRAG 功能。 |
no |
active-defrag-cycle-min |
每次整理周期的最小时间（单位：毫秒）。 | 5 |
active-defrag-cycle-max |
每次整理周期的最大时间（单位：毫秒）。 | 75 |
active-defrag-threshold-lower |
触发整理的碎片率下限（百分比）。当碎片率超过这个值时，才会进行整理。 | 10 |
active-defrag-threshold-upper |
停止整理的碎片率上限（百分比）。当碎片率低于这个值时，会停止整理。 | 100 |
active-defrag-max-scan-fields |
每次扫描的哈希表字段数量。 | 1000 |
active-defrag-ignore-key-len |
忽略整理的键的最大长度。如果键的长度超过这个值，就不会进行整理。 | 16 |
active-defrag-running-limit |
整理操作占用的CPU时间百分比上限。 | 75 |
举个例子：
# 启用 ACTIVEDEFRAG 功能
activedefrag yes
# 每次整理周期的最小时间为 10 毫秒
active-defrag-cycle-min 10
# 每次整理周期的最大时间为 100 毫秒
active-defrag-cycle-max 100
# 触发整理的碎片率下限为 30%
active-defrag-threshold-lower 30
# 停止整理的碎片率上限为 70%
active-defrag-threshold-upper 70
# 每次扫描的哈希表字段数量为 500
active-defrag-max-scan-fields 500
# 忽略整理的键的最大长度为 32
active-defrag-ignore-key-len 32
# 整理操作占用的CPU时间百分比上限为 80%
active-defrag-running-limit 80如何动态配置：
redis-cli config set activedefrag yes
redis-cli config set active-defrag-cycle-min 10
redis-cli config set active-defrag-cycle-max 100
# ... 其他配置
redis-cli config rewrite # 将配置写入redis.conf文件需要注意的是：
ACTIVEDEFRAG功能会消耗一定的CPU资源，因此需要根据实际情况调整配置参数，避免影响Redis的性能。- 如果Redis服务器的CPU资源比较紧张，可以适当降低
active-defrag-cycle-max和active-defrag-running-limit的值。 - 如果Redis服务器的内存比较充足，可以适当提高
active-defrag-threshold-lower的值，减少整理的频率。
如何评估 ACTIVEDEFRAG 的效果？ 📊
评估 ACTIVEDEFRAG 的效果，主要关注以下几个指标：
-
内存碎片率： 这是最直接的指标，可以通过
INFO memory命令查看mem_fragmentation_ratio的值。mem_fragmentation_ratio的值越接近 1，说明内存碎片越少。redis-cli info memory# Memory used_memory:1073741824 used_memory_human:1.00G used_memory_rss:1105920 used_memory_rss_human:1.05M used_memory_peak:1073741824 used_memory_peak_human:1.00G used_memory_peak_perc:100.00% used_memory_overhead:164063984 used_memory_data:909677840 used_memory_lua:0 used_memory_lua_human:0B used_memory_scripts:0 used_memory_scripts_human:0B number_of_cached_scripts:0 used_memory_external:0 used_memory_external_human:0B used_memory_shared:0 used_memory_shared_human:0B mem_fragmentation_ratio:1.02 mem_allocator:jemalloc-5.1.0观察
mem_fragmentation_ratio的变化，如果开启ACTIVEDEFRAG后，该值明显下降，说明整理效果良好。 - CPU 使用率：
ACTIVEDEFRAG会消耗CPU资源，因此需要监控CPU使用率，确保不会影响Redis的性能。可以使用top命令或者其他的监控工具来查看CPU使用率。 -
Redis 性能：
ACTIVEDEFRAG的最终目的是提高Redis的性能，因此需要监控Redis的响应时间、吞吐量等指标。可以使用redis-benchmark命令或者其他的性能测试工具来测试Redis的性能。redis-benchmark -q -n 100000 -c 50 -t set,get比较开启
ACTIVEDEFRAG前后的性能指标，如果开启后性能有所提升，或者至少没有明显下降，说明整理效果良好。 - 内存分配情况: 观察Redis使用的内存分配器 (例如 jemalloc, tcmalloc) 的统计信息。 这些工具通常会提供更细粒度的内存使用情况，例如不同大小的内存块的分配和释放情况，可以帮助更深入的了解内存碎片的情况。
总结一下，评估 ACTIVEDEFRAG 效果的步骤如下：
- 开启
ACTIVEDEFRAG功能。 - 使用
INFO memory命令查看mem_fragmentation_ratio的值。 - 使用
top命令或者其他的监控工具来查看CPU使用率。 - 使用
redis-benchmark命令或者其他的性能测试工具来测试Redis的性能。 - 根据以上指标，判断
ACTIVEDEFRAG的效果是否良好，并根据实际情况调整配置参数。
ACTIVEDEFRAG 的一些注意事项 ⚠️
- 并非所有场景都适合开启
ACTIVEDEFRAG： 如果Redis服务器的内存非常充足，且碎片率很低，那么开启ACTIVEDEFRAG的意义不大，反而会增加CPU的负担。 - 需要根据实际情况调整配置参数：
ACTIVEDEFRAG的配置参数需要根据Redis服务器的硬件配置、数据规模、访问模式等因素进行调整，才能达到最佳的效果。 - 注意监控Redis的性能： 在开启
ACTIVEDEFRAG后，需要密切监控Redis的性能，确保不会受到影响。
总结：让 Redis 内存空间“焕然一新” 🎉
ACTIVEDEFRAG 是 Redis 提供的一个非常有用的内存碎片整理功能，它可以自动地扫描和整理内存碎片，释放无用的空间，提高内存利用率，从而提升 Redis 的性能。
但是，ACTIVEDEFRAG 并非“万能药”，需要根据实际情况合理配置和使用。只有真正理解了 ACTIVEDEFRAG 的原理和使用方法，才能让 Redis 的内存空间“焕然一新”，为你的应用程序提供更稳定、更高效的服务。
好了，今天的“Redis 内存优化脱口秀”就到这里，希望大家有所收获！ 谢谢大家！ 🙏