标签： jemalloc

发布于

C++ `jemalloc` / `tcmalloc` 的线程局部缓存（Thread-Local Cache）原理

哈喽，各位好！今天咱们来聊聊 C++ 里那些内存分配器中的线程局部缓存（Thread-Local Cache，简称 TLC）。这玩意儿听起来玄乎，但实际上是内存分配器为了提升性能，耍的一个小聪明。咱们以 jemalloc 和 tcmalloc 为例，深入浅出地扒一扒它的原理。 一、内存分配器的前世今生：从malloc到jemalloc/tcmalloc 话说当年，C 语言横行天下，malloc 和 free 这对好基友几乎成了动态内存分配的代名词。但随着应用越来越复杂，多线程编程越来越普及，malloc 的缺点也暴露出来了： 锁的争用： malloc 内部通常使用全局锁来保护堆，多个线程同时申请内存时，必须排队等锁，效率低下。想象一下，只有一个厕所，大家都要上，那酸爽… 内存碎片： 频繁的分配和释放会导致堆中出现很多小的、不连续的空闲块，导致大块内存无法分配，明明还有总容量，却不能分配，这是内存碎片化。 为了解决这些问题，各种高级内存分配器应运而生，比如 jemalloc (Facebook 出品)，tcmalloc (Google 出品)，还有 mimalloc (Mic …

继续阅读“C++ `jemalloc` / `tcmalloc` 的线程局部缓存（Thread-Local Cache）原理”

发布于

C++ `jemalloc` / `tcmalloc` 在多线程环境下的内存分配性能

哈喽，各位好！今天咱们来聊聊C++多线程环境下内存分配那点事儿。特别是 jemalloc 和 tcmalloc 这两位大神，它们是如何在多线程的世界里大显身手的。 前言：内存分配，你别小看它！ 在单线程程序里，内存分配就像是你自己在家收拾东西，想怎么搞就怎么搞，效率很高。但是，到了多线程程序里，这就好比一家人（多个线程）共用一个储物间（堆），如果大家不排队、不协调，那肯定乱成一锅粥，效率直线下降。 所以，多线程环境下的内存分配，绝对是性能瓶颈的大户。如果分配器效率不高，线程们就会频繁地争抢锁，导致程序卡顿，CPU利用率低下。 主角登场：jemalloc 和 tcmalloc jemalloc (Facebook出品) 和 tcmalloc (Google出品) 都是专门为多线程环境优化的内存分配器。它们的核心思想都是：减少锁的竞争，提高并发度。 核心思想：分而治之 这两位大神都采用了“分而治之”的思想，将整个堆分成多个小的区域，让不同的线程在不同的区域里分配内存，从而减少锁的竞争。 jemalloc 的秘密武器： arenas jemalloc 使用了 arenas 的概念。你可以把 …

继续阅读“C++ `jemalloc` / `tcmalloc` 在多线程环境下的内存分配性能”

发布于

Redis `jemalloc` 内存碎片率分析与优化：`jemalloc` 统计命令

大家好，我是今天的主讲人，江湖人称“内存清道夫”。今天咱们来聊聊 Redis 的“小秘密”之一：jemalloc 内存碎片，以及如何用 jemalloc 统计命令来“扒一扒”它的底裤，最后再分享一些“独家秘笈”来优化它。 一、jemalloc 是个啥？为啥 Redis 要用它？ 首先，jemalloc 不是什么新型洗发水，而是一个内存分配器。简单来说，它就像一个负责管理内存空间的大管家。 Redis 默认情况下使用 jemalloc 作为内存分配器，而不是系统自带的 malloc，这是有原因的： 更高效的内存分配： jemalloc 在多线程环境下表现更出色，能减少锁竞争，提高内存分配速度。Redis 可是个高并发选手，这点很重要。 更好的碎片控制： jemalloc 的设计目标之一就是减少内存碎片，这能提高内存利用率，避免 Redis 因为内存碎片过多而崩溃。 那么，什么是内存碎片呢？想象一下你玩拼图，玩完后把拼图块随意扔在桌子上。虽然所有拼图块都在，但它们分散各处，占据了很大空间，这就是内存碎片。如果内存碎片过多，即使总内存足够，程序也可能因为找不到连续的足够大的内存块而分配失败。 …

继续阅读“Redis `jemalloc` 内存碎片率分析与优化：`jemalloc` 统计命令”

发布于

`jemalloc` 与 `tcmalloc`：Redis 内存分配器的选择与性能影响

好嘞，既然大家想听我唠唠嗑儿，那咱们今天就来聊聊 Redis 这位“内存大户”背后的那些“管家”们——jemalloc 和 tcmalloc，顺便扒一扒它们是如何影响 Redis 的性能的。 各位都知道，Redis 性能杠杠的，快如闪电，但再快的闪电也离不开能量的支撑。而内存，就是 Redis 这台高性能机器的能量源泉！ 内存分配器，就像是给 Redis 供应能量的“食堂大妈”，它负责把内存这块“大饼”切成一块块小块，分给 Redis 内部的各种数据结构使用。 这“大妈”手艺好不好，直接影响到 Redis 吃得饱不饱，跑得快不快。 一、内存分配器：幕后英雄登场！ 首先，咱们得搞清楚，啥是内存分配器？简单来说，它就是一个负责管理内存的库，专门处理内存的申请 (allocate) 和释放 (free) 操作。 想象一下，你开了家小饭馆，来了客人要点菜，你得去厨房拿食材吧？内存分配器就相当于你的厨房，Redis 要存储数据，就得跟它“申请食材”（内存）。用完了，再把“盘子”还回去（释放内存）。 常见的内存分配器有很多，比如： glibc malloc: 这是 Linux 系统默认的内存分配器 …

继续阅读“`jemalloc` 与 `tcmalloc`：Redis 内存分配器的选择与性能影响”