大家好，我是今天的主讲人，江湖人称“内存清道夫”。今天咱们来聊聊 Redis 的“小秘密”之一：jemalloc 内存碎片，以及如何用 jemalloc 统计命令来“扒一扒”它的底裤，最后再分享一些“独家秘笈”来优化它。
一、jemalloc 是个啥？为啥 Redis 要用它？
首先，jemalloc 不是什么新型洗发水，而是一个内存分配器。简单来说，它就像一个负责管理内存空间的大管家。
Redis 默认情况下使用 jemalloc 作为内存分配器，而不是系统自带的 malloc，这是有原因的：
- 更高效的内存分配：
jemalloc在多线程环境下表现更出色，能减少锁竞争，提高内存分配速度。Redis 可是个高并发选手，这点很重要。 - 更好的碎片控制：
jemalloc的设计目标之一就是减少内存碎片，这能提高内存利用率，避免 Redis 因为内存碎片过多而崩溃。
那么，什么是内存碎片呢？想象一下你玩拼图，玩完后把拼图块随意扔在桌子上。虽然所有拼图块都在，但它们分散各处，占据了很大空间，这就是内存碎片。如果内存碎片过多，即使总内存足够，程序也可能因为找不到连续的足够大的内存块而分配失败。
二、jemalloc 统计命令：窥探内存的“秘密花园”
jemalloc 提供了丰富的统计命令，我们可以用它们来了解 Redis 的内存使用情况，尤其是内存碎片情况。这些命令需要通过 Redis 的 INFO 命令来访问。
关键的 INFO 命令包括：
INFO memory：这是最常用的命令，包含了大量的内存相关信息，其中就包括jemalloc的统计数据。INFO stats：这个命令会输出 Redis 的各种统计信息，也可能包含一些jemalloc相关的信息，具体取决于 Redis 的版本和配置。
从 INFO memory 的输出中，我们可以找到以 jemalloc. 开头的键值对，这些就是 jemalloc 提供的统计数据。下面是一些比较重要的指标：
| 指标 | 描述 | 重要性 |
|---|---|---|
jemalloc.allocated |
jemalloc 分配的总内存量（字节）。这是 Redis 实际使用的内存，不包括被释放但尚未归还给操作系统的内存。 |
非常重要。这是了解 Redis 内存使用情况的基础。 |
jemalloc.active |
jemalloc 从操作系统获取的总内存量（字节）。这包括已分配的内存和未分配的内存。 |
重要。与 allocated 结合使用，可以了解 Redis 内存的预留情况。 |
jemalloc.resident |
Redis 进程实际使用的物理内存量（字节）。这包括 jemalloc 分配的内存，以及 Redis 其他部分（例如代码、数据结构）使用的内存。 |
重要。反映了 Redis 进程对系统资源的实际占用。 |
jemalloc.mapped |
jemalloc 通过 mmap 系统调用映射的内存量（字节）。mmap 是一种将文件或设备映射到进程地址空间的机制。 |
一般。了解 jemalloc 的内存映射方式。 |
jemalloc.retained |
jemalloc 释放但尚未归还给操作系统的内存量（字节）。这部分内存可以被 jemalloc 重新利用。 |
重要。反映了 jemalloc 的内存缓存情况。 |
jemalloc.dirty_decay |
通过 malloc_decay 参数设置的脏页衰减策略。脏页是指已经被修改但尚未写回磁盘的内存页。 |
一般。与内存回收策略相关。 |
jemalloc.background_thread.num_threads |
jemalloc 后台线程的数量。jemalloc 使用后台线程来执行一些内存管理任务，例如内存回收。 |
一般。了解 jemalloc 的后台线程配置。 |
mem_fragmentation_ratio |
内存碎片率。计算公式：resident / allocated。理想情况下，这个值应该接近 1。如果远大于 1，则表示存在大量内存碎片。 |
非常重要。这是评估内存碎片情况的关键指标。 |
mem_allocator |
当前使用的内存分配器，通常是 jemalloc。 |
用于确认 Redis 正在使用 jemalloc。 |
举个例子：
假设 INFO memory 输出如下：
# Memory
used_memory:104857600
used_memory_human:100.00M
used_memory_rss:134217728
used_memory_rss_human:128.00M
mem_fragmentation_ratio:1.28
mem_allocator:jemalloc-5.1.0
jemalloc.allocated:104857600
jemalloc.active:117964800
jemalloc.resident:134217728
jemalloc.mapped:268435456
jemalloc.retained:0从这个例子中，我们可以看到：
used_memory(allocated): Redis 分配了 100MB 的内存。used_memory_rss(resident): Redis 进程实际占用了 128MB 的物理内存。mem_fragmentation_ratio: 内存碎片率是 1.28。这意味着 Redis 进程占用的物理内存比实际分配的内存多 28%。这可能是由内存碎片造成的。mem_allocator: 确认了 Redis 使用的是jemalloc。
三、内存碎片率：警惕的红灯
mem_fragmentation_ratio 是一个关键指标，它反映了内存碎片的情况。
- 理想情况：
mem_fragmentation_ratio接近 1。这意味着 Redis 进程占用的物理内存与实际分配的内存基本一致，没有明显的内存碎片。 - 危险信号：
mem_fragmentation_ratio远大于 1，例如 1.5 甚至更高。这意味着存在严重的内存碎片，Redis 可能会因为找不到连续的内存块而崩溃。 - 特殊情况： 在某些情况下，即使
mem_fragmentation_ratio略小于 1，也可能存在问题。这可能是因为操作系统将部分内存交换到磁盘上，导致 Redis 进程实际占用的物理内存小于分配的内存。
四、内存碎片从哪儿来？
内存碎片产生的原因有很多，以下是一些常见的：
- 频繁的分配和释放： Redis 频繁地创建和销毁对象（例如字符串、列表、哈希表），导致内存空间中出现很多小的、不连续的空闲块。
- 对象大小差异大： Redis 存储的对象大小差异很大，这使得
jemalloc难以有效地管理内存空间。 - 长时间运行： Redis 运行时间越长，内存碎片积累的可能性就越大。
五、优化内存碎片：我的“独家秘笈”
既然找到了问题，接下来就是解决问题了。以下是一些优化 Redis 内存碎片的“独家秘笈”：
-
定期重启 Redis：
这是最简单粗暴，也是最有效的解决方法。重启 Redis 可以释放所有内存，并重新整理内存空间，从而消除内存碎片。
- 优点： 简单、有效。
- 缺点： 会造成服务中断。
因此，这种方法只适用于可以容忍短暂中断的场景。建议在业务低峰期进行重启。
代码示例（使用 Linux
systemctl命令）：sudo systemctl restart redis或者，你也可以使用 Redis 的
SHUTDOWN命令，然后手动启动 Redis：redis-cli SHUTDOWN redis-server /path/to/redis.conf注意替换
/path/to/redis.conf为你的 Redis 配置文件路径。 -
使用 Redis 的数据结构优化：
合理地使用 Redis 的数据结构可以减少内存碎片。
- 尽量使用整数类型的键： 整数类型的键比字符串类型的键更节省内存，并且可以避免内存碎片。
- 使用
ziplist和intset： 对于小的列表和集合，Redis 会使用ziplist和intset编码方式，这些编码方式比普通的列表和集合更节省内存。 - 避免存储过大的对象： 尽量将大的对象拆分成小的对象，或者使用 Redis 的流（Streams）数据结构。
代码示例（使用
ziplist优化）：如果你的列表长度很小，并且元素都是小整数，可以调整 Redis 的配置参数，强制使用
ziplist编码：list-max-ziplist-entries 128 list-max-ziplist-value 64这两个参数分别控制
ziplist编码的最大元素数量和最大元素长度。 -
调整
jemalloc的配置参数：jemalloc提供了很多配置参数，可以用来调整其内存管理策略。malloc_conf参数： 可以通过修改 Redis 的配置文件或者使用CONFIG SET命令来调整jemalloc的配置参数。
常用的
malloc_conf参数：参数 描述 影响 dirty_decay控制脏页的衰减速度。脏页是指已经被修改但尚未写回磁盘的内存页。较小的 dirty_decay值会导致更快的脏页衰减，从而释放更多的内存。可能会增加 CPU 负载，但可以减少内存占用。 narenas控制 jemalloc使用的 arena 的数量。Arena 是jemalloc用于管理内存的区域。增加 arena 的数量可以减少锁竞争，提高并发性能，但也可能会增加内存碎片。提高并发性能，但可能会增加内存碎片。 background_thread是否启用 jemalloc的后台线程。jemalloc使用后台线程来执行一些内存管理任务，例如内存回收。启用后台线程可以减少主线程的负载。减少主线程负载，但可能会增加 CPU 负载。 代码示例（使用
CONFIG SET修改malloc_conf）：CONFIG SET activedefrag yes CONFIG SET active-defrag-threshold-lower 10 CONFIG SET active-defrag-threshold-upper 100 CONFIG SET active-defrag-cycle-min 5 CONFIG SET active-defrag-cycle-max 75这些命令启用了 Redis 的自动内存碎片整理功能。
active-defrag-threshold-lower和active-defrag-threshold-upper参数控制整理的触发条件，active-defrag-cycle-min和active-defrag-cycle-max参数控制整理的执行速度。注意： 调整
jemalloc的配置参数需要谨慎，错误的配置可能会导致 Redis 性能下降甚至崩溃。建议在测试环境中进行充分的测试后再应用到生产环境。 -
使用 Redis Enterprise 的 Active Defrag:
Redis Enterprise 版本提供了一个名为 Active Defrag 的功能，可以自动进行内存碎片整理，而无需手动重启 Redis。
这个功能可以有效地减少内存碎片，提高 Redis 的性能。
六、总结
内存碎片是 Redis 运行过程中不可避免的问题，但是我们可以通过各种手段来减少内存碎片，提高 Redis 的性能和稳定性。
希望今天的分享对大家有所帮助！记住，保持对 Redis 内存的“关注”，及时发现并解决内存碎片问题，才能让你的 Redis 跑得更快、更稳！