Redis `jemalloc` 内存分配器：性能与内存效率的平衡

大家好，我是今天的讲师，今天咱们聊聊 Redis 的内存分配器，特别是大名鼎鼎的 jemalloc。这玩意儿可不是个简单的角色，它在 Redis 的性能和内存效率之间玩了个漂亮的平衡木。

一、Redis 的内存分配：不只是 malloc 那么简单

首先，咱们得明白，Redis 存储的是各种各样的数据，从简单的字符串到复杂的数据结构，这些数据都得在内存里安家。内存的分配和管理，直接影响 Redis 的性能和稳定性。

最基础的内存分配当然是 C 语言自带的 malloc 和 free。但是，直接用 malloc 有几个问题：

碎片化： 频繁地分配和释放小块内存，容易产生内存碎片，导致可用内存不连续，降低内存利用率。
性能开销： malloc 通常是通用的内存分配器，为了适应各种场景，它的实现比较复杂，性能上可能不是最优。
缺乏监控： 难以监控内存的使用情况，定位内存泄漏等问题。

所以，Redis 并没有直接依赖系统的 malloc，而是可以选择不同的内存分配器，其中 jemalloc 就是一个非常受欢迎的选择。

二、jemalloc：Facebook 出品的内存分配神器

jemalloc (pronounced "jay-malloc") 是 Facebook 开源的一款通用内存分配器，专门为高并发、多线程环境设计。它在内存分配效率、碎片化控制、内存监控等方面都表现出色。

jemalloc 的主要特点包括：

Arena-Based Allocation： jemalloc 将内存划分为多个 Arena（竞技场）。每个线程通常会分配到一个或多个 Arena，线程在自己的 Arena 中进行内存分配，减少了线程间的锁竞争，提高了并发性能。
Size Classes： jemalloc 将内存块按照大小划分为不同的 Size Classes。当请求分配特定大小的内存时，jemalloc 会找到最合适的 Size Class，避免了浪费。
Fragmentation Control： jemalloc 通过多种机制来控制内存碎片化，例如 coalescing（合并）相邻的空闲块，以及使用不同的分配策略来避免产生碎片。
Extensive Statistics： jemalloc 提供了丰富的统计信息，可以监控内存的使用情况，例如已分配的内存、空闲的内存、碎片率等。这对于诊断内存问题非常有帮助。

三、jemalloc 如何在 Redis 中发挥作用？

Redis 可以通过配置来选择使用 jemalloc 作为内存分配器。具体来说，编译 Redis 的时候会链接 jemalloc 库。

使用 jemalloc 带来的好处：

提高性能： jemalloc 的 Arena-Based Allocation 减少了锁竞争，提高了并发性能。特别是在多核 CPU 的服务器上，效果更明显。
减少碎片化： jemalloc 的 Size Classes 和碎片化控制机制，减少了内存碎片，提高了内存利用率。
方便监控： jemalloc 提供的统计信息，可以帮助我们监控 Redis 的内存使用情况，及时发现和解决内存问题。

四、jemalloc 的核心概念：Arena、Size Classes、Chunk

要理解 jemalloc 的工作原理，我们需要了解几个核心概念：

Arena： 内存分配的单位。jemalloc 将内存划分为多个 Arena，每个线程通常会分配到一个或多个 Arena。线程在自己的 Arena 中分配内存，减少了锁竞争。
Size Classes： jemalloc 将内存块按照大小划分为不同的 Size Classes。例如，8 字节、16 字节、32 字节等。当请求分配特定大小的内存时，jemalloc 会找到最合适的 Size Class。
Chunk： Arena 中的一块大的连续内存区域。jemalloc 从 Chunk 中划分出小的内存块来满足分配请求。

可以用一个表格来概括这些概念：

概念	描述	作用
Arena	内存分配的单位，每个线程通常分配到一个或多个 Arena	减少线程间的锁竞争，提高并发性能
Size Classes	将内存块按照大小划分为不同的类别，例如 8 字节、16 字节、32 字节等	避免内存浪费，提高内存利用率
Chunk	Arena 中的一块大的连续内存区域，`jemalloc` 从 Chunk 中划分出小的内存块来满足分配请求	提供内存分配的基础

五、 jemalloc 的代码示例 (C 语言)

虽然我们不用直接写 jemalloc 的代码，但是了解一下它的 API 可以帮助我们更好地理解它的工作方式。

#include <stdio.h>
#include <stdlib.h>
#include <jemalloc/jemalloc.h>

int main() {
    // 使用 jemalloc 分配内存
    void *ptr = malloc(1024); // 这里实际上调用的是 jemalloc 的 malloc
    if (ptr == NULL) {
        fprintf(stderr, "Memory allocation failed!n");
        return 1;
    }

    printf("Allocated memory at: %pn", ptr);

    // 使用 jemalloc 释放内存
    free(ptr); // 这里实际上调用的是 jemalloc 的 free

    printf("Memory freed.n");

    // 获取 jemalloc 的统计信息
    size_t sz;
    uint64_t epoch = 1;

    sz = sizeof(epoch);
    if (mallctl("epoch", &epoch, NULL, NULL, 0)) {
        fprintf(stderr, "Error in mallctl epoch updaten");
        return 1;
    }

    uint64_t allocated;
    sz = sizeof(allocated);
    if (mallctl("stats.allocated", &allocated, &sz, NULL, 0)) {
        fprintf(stderr, "Error in mallctl stats.allocatedn");
        return 1;
    }

    printf("Allocated bytes by jemalloc: %lun", allocated);

    return 0;
}

这段代码演示了如何使用 jemalloc 分配和释放内存，以及如何获取 jemalloc 的统计信息。注意，要编译这段代码，需要链接 jemalloc 库。

编译命令类似这样：

gcc -o jemalloc_example jemalloc_example.c -ljemalloc

六、Redis 如何配置 jemalloc？

Redis 默认情况下会尝试使用 jemalloc，如果没有找到 jemalloc 库，则会回退到系统的 malloc。

如果你想显式地指定 Redis 使用 jemalloc，可以在编译 Redis 的时候指定 --with-jemalloc 选项。

make MALLOC=jemalloc

或者在 redis.conf 配置文件中，可以设置 jemalloc-arena-max 参数来控制 Arena 的数量。这个参数的默认值是 4，表示最多使用 4 个 Arena。

七、jemalloc 的优缺点：没有银弹

jemalloc 并非完美无缺，它也有一些缺点：

优点：

高性能： 减少锁竞争，提高并发性能。
低碎片化： 提高内存利用率。
可监控： 提供丰富的统计信息。

缺点：

内存占用： jemalloc 为了管理内存，会引入一些额外的内存开销。
复杂性： jemalloc 的实现比较复杂，需要一定的学习成本。

总的来说，jemalloc 在性能和内存效率之间做了一个很好的平衡，非常适合 Redis 这种对性能和内存要求都很高的应用。

八、如何监控 Redis 的 jemalloc 内存使用？

Redis 提供了 INFO memory 命令来查看内存使用情况。其中，used_memory_allocator 字段会显示 Redis 使用的内存分配器。

redis-cli info memory

输出结果中会包含类似这样的信息：

# Memory
used_memory:123456789
used_memory_human:117.74M
used_memory_rss:135168
used_memory_rss_human:132.00M
used_memory_peak:140123456
used_memory_peak_human:133.63M
used_memory_peak_perc:88.11%
used_memory_allocator:jemalloc-5.2.1

另外，jemalloc 自身也提供了丰富的统计信息，可以通过 mallctl 函数来获取。Redis 并没有直接暴露 mallctl 函数，但是可以通过一些工具来间接获取 jemalloc 的统计信息，例如 jeprof。

九、一些实用的建议：让 jemalloc 更好地为 Redis 服务

合理配置 Arena 数量： jemalloc-arena-max 参数控制 Arena 的数量。通常情况下，默认值 4 就足够了。如果你的服务器 CPU 核心数很多，可以适当增加 Arena 的数量，以提高并发性能。但是，Arena 数量过多也会增加内存开销。
监控内存使用情况： 定期使用 INFO memory 命令监控 Redis 的内存使用情况，特别是 used_memory_rss 和 used_memory_allocator 字段。如果发现内存使用异常，可以考虑使用 jeprof 等工具来进一步分析。
注意内存碎片： 虽然 jemalloc 可以有效地控制内存碎片化，但是长时间运行的 Redis 实例仍然可能出现内存碎片。可以考虑定期重启 Redis 实例，或者使用 Redis 的 AOF rewrite 功能来整理内存。
了解 Redis 的数据结构： Redis 的数据结构对内存使用有很大的影响。例如，使用 hash 数据结构存储大量小字段可能会导致内存碎片化。可以根据实际情况选择合适的数据结构，以提高内存利用率。

十、总结：jemalloc 是 Redis 的得力助手

jemalloc 作为 Redis 的内存分配器，在性能和内存效率之间取得了很好的平衡。通过了解 jemalloc 的工作原理和配置选项，我们可以更好地利用 jemalloc 来提高 Redis 的性能和稳定性。当然，选择哪种内存分配器，最终还是要根据实际情况来决定。没有一种方案是万能的，只有最适合你的才是最好的。

好了，今天的讲座就到这里，希望对大家有所帮助！谢谢！

发表回复 取消回复

发表回复取消回复