CPU Pinning与PHP-FPM：在高并发下减少进程间上下文切换与缓存失效

CPU Pinning与PHP-FPM：在高并发下减少进程间上下文切换与缓存失效

大家好，今天我们来深入探讨一个在高并发PHP应用中，优化性能的关键技术：CPU Pinning与PHP-FPM的协同。在高负载环境下，频繁的进程上下文切换和缓存失效是导致性能瓶颈的常见原因。通过合理地配置CPU Pinning，我们可以有效地缓解这些问题，从而提升应用的整体性能和稳定性。

1. 背景：高并发下的性能挑战

在高并发场景下，PHP-FPM作为PHP的进程管理器，会启动多个worker进程来处理并发请求。每个请求都需要分配一个worker进程来执行PHP代码。然而，操作系统（OS）通常会动态地调度这些进程到不同的CPU核心上执行，导致以下问题：

• 频繁的进程上下文切换： 当一个worker进程从一个CPU核心切换到另一个核心时，需要保存当前进程的状态（包括寄存器、程序计数器、堆栈指针等），并加载新核心上之前进程的状态。这种切换操作会消耗大量的CPU时间，降低CPU的有效利用率。

• 缓存失效： 每个CPU核心都有自己的高速缓存（L1、L2、L3 Cache）。当一个worker进程从一个核心切换到另一个核心时，它之前在第一个核心缓存中的数据就失效了。这意味着该进程需要重新从内存甚至硬盘读取数据，增加了延迟。

这些问题在高并发下会被放大，导致应用的响应时间变长，吞吐量下降。

2. CPU Pinning：将进程绑定到特定的CPU核心

CPU Pinning（也称为CPU affinity）是一种技术，允许我们将进程或线程绑定到特定的CPU核心上执行。通过将PHP-FPM的worker进程绑定到不同的核心，我们可以减少进程在不同核心之间迁移的次数，从而减少上下文切换和缓存失效的发生。

2.1 CPU Pinning的原理

操作系统使用调度器来决定哪个进程在哪个CPU核心上运行。默认情况下，调度器会尽可能地平衡各个核心的负载，以便最大限度地利用CPU资源。CPU Pinning通过修改进程的CPU affinity mask，告诉调度器该进程只能在指定的CPU核心上运行。

CPU affinity mask是一个位掩码，其中每一位代表一个CPU核心。如果某个位被设置为1，则表示该进程可以在对应的核心上运行；如果某个位被设置为0，则表示该进程不能在该核心上运行。

例如，如果我们的系统有4个CPU核心，编号为0、1、2、3，并且我们希望将一个进程绑定到核心0和核心2上，那么该进程的CPU affinity mask应该是 1010 (二进制)，即十进制的 10。

2.2 CPU Pinning的优势

• 减少上下文切换： 通过将进程绑定到特定的核心，可以减少进程在不同核心之间迁移的次数，从而减少上下文切换的开销。

• 提高缓存命中率： 当进程始终在同一个核心上运行时，它可以利用该核心的缓存来加速数据访问。这可以显著提高缓存命中率，减少延迟。

• 改善NUMA架构下的性能： 在NUMA（Non-Uniform Memory Access）架构下，不同的CPU核心访问不同的内存区域的延迟是不同的。通过将进程绑定到距离其所需内存区域最近的核心，可以减少内存访问延迟。

2.3 CPU Pinning的缺点

• 可能导致负载不均衡： 如果CPU Pinning配置不当，可能会导致某些核心负载过重，而其他核心空闲。因此，需要仔细地规划CPU Pinning策略，并监控各个核心的负载情况。

• 增加管理的复杂性： 配置和管理CPU Pinning需要一定的专业知识。需要了解系统的CPU核心数量、拓扑结构，以及各个进程的资源需求。

3. 配置PHP-FPM的CPU Pinning

PHP-FPM本身并不直接支持CPU Pinning。我们需要借助操作系统的工具来实现。以下是一些常用的方法：

3.1 使用taskset命令

taskset 是一个Linux命令，可以用来设置或获取进程的CPU affinity mask。

示例：

假设我们要将PHP-FPM的master进程绑定到CPU核心0，可以执行以下命令：

taskset -c 0 $(pidof php-fpm)

解释：

• taskset -c 0：设置CPU affinity mask为0，表示只允许进程在核心0上运行。
• $(pidof php-fpm)：获取PHP-FPM master进程的PID。

要将一个worker进程绑定到CPU核心1，可以先找到该worker进程的PID，然后执行类似的命令。

问题：

这种方法需要手动找到每个worker进程的PID，并分别设置CPU affinity mask，非常繁琐。而且，当PHP-FPM重启或worker进程被回收时，需要重新设置。

3.2 使用numactl命令

numactl 是另一个Linux命令，主要用于管理NUMA系统。它也可以用来设置进程的CPU affinity mask。

示例：

假设我们要将PHP-FPM的master进程和所有worker进程绑定到CPU核心0和核心1，可以创建一个脚本，在启动PHP-FPM之前执行：

#!/bin/bash

# 获取PHP-FPM master进程的PID
master_pid=$(pidof php-fpm)

# 设置master进程的CPU affinity mask
numactl --cpunodebind=0,1 --membind=0,1 -- $(which php-fpm) -F

# 循环设置worker进程的CPU affinity mask (需要监控FPM启动后的进程)
# 这是一个示例，实际脚本可能需要更复杂的逻辑来监控worker进程
while true; do
  worker_pids=$(pgrep -P $master_pid | grep -v $master_pid)
  if [ -n "$worker_pids" ]; then
    for pid in $worker_pids; do
      numactl --cpunodebind=0,1 --membind=0,1 -- /bin/sleep 1 &  #短暂休眠，防止脚本过于消耗资源
    done
    break # 退出循环，假设进程已经启动
  fi
  sleep 1  # 等待一段时间，直到worker进程启动
done

echo "PHP-FPM with CPU Pinning started."

解释：

• numactl --cpunodebind=0,1 --membind=0,1：设置CPU affinity mask和内存 affinity mask。--cpunodebind=0,1 表示只允许进程在CPU核心0和核心1上运行。--membind=0,1表示只允许进程使用NUMA节点0和1的内存。
• $(which php-fpm) -F：启动PHP-FPM，-F 参数表示以 foreground 模式运行。

问题：

这种方法仍然需要编写脚本来监控worker进程，并设置CPU affinity mask。而且，对NUMA架构的理解要求较高。

3.3 使用Systemd

Systemd 是一种Linux系统和服务管理器。我们可以使用Systemd来配置PHP-FPM的CPU Pinning。

步骤：

1. 找到PHP-FPM的Systemd配置文件。 通常位于 /etc/systemd/system/php-fpm.service 或 /usr/lib/systemd/system/php-fpm.service。

2. 编辑配置文件，添加 CPUAffinity 指令。

   [Service]
   ExecStart=/usr/sbin/php-fpm --nodaemonize --fpm-config /etc/php/7.4/fpm/php-fpm.conf
   CPUAffinity=0 1 2 3  # 将PHP-FPM绑定到CPU核心0, 1, 2, 3

   CPUAffinity 指令接受一个空格分隔的CPU核心列表。

3. 重新加载Systemd配置并重启PHP-FPM。

   systemctl daemon-reload
   systemctl restart php-fpm

优点：

• 配置简单，易于管理。
• Systemd会自动管理进程的CPU affinity mask，无需手动编写脚本。

缺点：

• 只能设置全局的CPU affinity mask，无法为不同的worker进程设置不同的affinity mask。
• 需要Systemd的支持。

3.4 使用扩展（PECL）

可以编写一个PHP扩展，利用操作系统提供的API来设置进程的CPU affinity mask。

示例（C语言）：

#ifdef HAVE_CONFIG_H
#include "config.h"
#endif

#include "php.h"
#include "php_ini.h"
#include "ext/standard/info.h"
#include <sched.h>
#include <errno.h>

PHP_FUNCTION(set_cpu_affinity);

ZEND_BEGIN_ARG_INFO_EX(arginfo_set_cpu_affinity, 0, 0, 1)
    ZEND_ARG_INFO(0, cpu_mask)
ZEND_END_ARG_INFO()

const zend_function_entry cpu_affinity_functions[] = {
    PHP_FE(set_cpu_affinity, arginfo_set_cpu_affinity)
    PHP_FE_END
};

zend_module_entry cpu_affinity_module_entry = {
    STANDARD_MODULE_HEADER,
    "cpu_affinity",
    cpu_affinity_functions,
    NULL,
    NULL,
    NULL,
    NULL,
    NULL,
    PHP_CPU_AFFINITY_VERSION,
    STANDARD_MODULE_PROPERTIES
};

#ifdef COMPILE_DL_CPU_AFFINITY
#ifdef ZTS
ZEND_TSRMLS_CACHE_DEFINE()
#endif
ZEND_GET_MODULE(cpu_affinity)
#endif

PHP_FUNCTION(set_cpu_affinity)
{
    zend_long cpu_mask;

    ZEND_PARSE_PARAMETERS_START(1, 1)
        Z_PARAM_LONG(cpu_mask)
    ZEND_PARSE_PARAMETERS_END();

    cpu_set_t mask;
    CPU_ZERO(&mask);

    for (int i = 0; i < sizeof(cpu_mask) * 8; i++) {
        if ((cpu_mask >> i) & 1) {
            CPU_SET(i, &mask);
        }
    }

    if (sched_setaffinity(0, sizeof(mask), &mask) == -1) {
        php_error_docref(NULL, E_WARNING, "sched_setaffinity failed: %s", strerror(errno));
        RETURN_FALSE;
    }

    RETURN_TRUE;
}

编译并安装扩展：

phpize
./configure
make
make install

在 php.ini 中启用扩展：

extension=cpu_affinity.so

在PHP代码中使用：

<?php

// 将当前进程绑定到CPU核心0和核心1 (mask = 3)
if (set_cpu_affinity(3)) {
    echo "CPU affinity set successfully.n";
} else {
    echo "Failed to set CPU affinity.n";
}

?>

优点：

• 可以在PHP代码中动态地设置CPU affinity mask。
• 可以为不同的worker进程设置不同的affinity mask。

缺点：

• 需要编写和维护C语言扩展。
• 需要了解操作系统的API。
• 安全性风险，需要仔细验证输入参数。

总结：不同方法的比较

方法	优点	缺点	适用场景
taskset	简单易用，适用于临时测试或手动设置。	需要手动找到PID，无法持久化，重启后失效。	临时测试，调试。
numactl	可以同时设置CPU affinity和内存affinity。	脚本编写复杂，NUMA架构理解要求高。	NUMA架构下的优化。
Systemd	配置简单，易于管理，自动管理进程的CPU affinity mask。	只能设置全局的CPU affinity mask，无法为不同的worker进程设置不同的affinity mask。	简单的CPU Pinning需求，不需要为不同worker进程设置不同的affinity mask。
PHP扩展 (PECL)	可以在PHP代码中动态地设置CPU affinity mask，可以为不同的worker进程设置不同的affinity mask，灵活性高。	需要编写和维护C语言扩展，需要了解操作系统的API，安全性风险。	需要高度定制化的CPU Pinning策略，例如根据请求的类型或用户的ID将worker进程绑定到不同的核心。

4. CPU Pinning策略：如何选择合适的CPU核心

选择合适的CPU核心是CPU Pinning的关键。以下是一些常见的策略：

• 均匀分配： 将worker进程均匀地分配到所有的CPU核心上。这可以最大限度地利用CPU资源，避免某些核心负载过重。

• 隔离关键进程： 将关键的进程（例如数据库服务器、缓存服务器）与PHP-FPM的worker进程隔离到不同的核心上。这可以避免这些进程之间的相互干扰。

• NUMA优化： 在NUMA架构下，将worker进程绑定到距离其所需内存区域最近的核心上。这可以减少内存访问延迟。

• 根据请求类型分配： 根据请求的类型（例如静态资源请求、动态内容请求）将worker进程绑定到不同的核心上。这可以针对不同的请求类型进行优化。

在选择CPU Pinning策略时，需要考虑系统的硬件架构、应用的负载情况以及性能瓶颈所在。

5. 监控与调优

配置CPU Pinning后，需要持续地监控系统的性能，并根据实际情况进行调优。以下是一些常用的监控指标：

• CPU利用率： 监控各个CPU核心的利用率，确保负载均衡。
• 上下文切换次数： 监控进程的上下文切换次数，确保CPU Pinning有效地减少了上下文切换。
• 缓存命中率： 监控CPU缓存的命中率，确保CPU Pinning提高了缓存命中率。
• 响应时间： 监控应用的响应时间，确保CPU Pinning改善了应用的性能。
• 吞吐量： 监控应用的吞吐量，确保CPU Pinning提高了应用的吞吐量。

可以使用 top、htop、vmstat、perf 等工具来监控这些指标。

6. 代码示例：基于PHP扩展的动态CPU Pinning

以下是一个简单的示例，演示如何使用PHP扩展来实现动态的CPU Pinning。

（1）修改之前的扩展代码

#ifdef HAVE_CONFIG_H
#include "config.h"
#endif

#include "php.h"
#include "php_ini.h"
#include "ext/standard/info.h"
#include <sched.h>
#include <errno.h>
#include <unistd.h> // for getpid()

PHP_FUNCTION(set_cpu_affinity);

ZEND_BEGIN_ARG_INFO_EX(arginfo_set_cpu_affinity, 0, 0, 1)
    ZEND_ARG_INFO(0, cpu_mask)
ZEND_END_ARG_INFO()

const zend_function_entry cpu_affinity_functions[] = {
    PHP_FE(set_cpu_affinity, arginfo_set_cpu_affinity)
    PHP_FE_END
};

zend_module_entry cpu_affinity_module_entry = {
    STANDARD_MODULE_HEADER,
    "cpu_affinity",
    cpu_affinity_functions,
    NULL,
    NULL,
    NULL,
    NULL,
    NULL,
    PHP_CPU_AFFINITY_VERSION,
    STANDARD_MODULE_PROPERTIES
};

#ifdef COMPILE_DL_CPU_AFFINITY
#ifdef ZTS
ZEND_TSRMLS_CACHE_DEFINE()
#endif
ZEND_GET_MODULE(cpu_affinity)
#endif

PHP_FUNCTION(set_cpu_affinity)
{
    zend_long cpu_mask;

    ZEND_PARSE_PARAMETERS_START(1, 1)
        Z_PARAM_LONG(cpu_mask)
    ZEND_PARSE_PARAMETERS_END();

    cpu_set_t mask;
    CPU_ZERO(&mask);

    for (int i = 0; i < sizeof(cpu_mask) * 8; i++) {
        if ((cpu_mask >> i) & 1) {
            CPU_SET(i, &mask);
        }
    }

    pid_t pid = getpid();  // 获取当前进程的PID

    if (sched_setaffinity(pid, sizeof(mask), &mask) == -1) {
        php_error_docref(NULL, E_WARNING, "sched_setaffinity failed: %s", strerror(errno));
        RETURN_FALSE;
    }

    RETURN_TRUE;
}

（2）修改PHP-FPM配置

在 php-fpm.conf 或 pool 配置文件中，添加一个自定义指令，用于设置worker进程的CPU affinity mask。

; php-fpm.conf 或 pool 配置文件

[www]

; ... 其他配置 ...

env[CPU_AFFINITY_MASK] = 3  ; 设置默认的CPU affinity mask为3 (核心0和核心1)

（3）在PHP代码中使用

<?php

// 获取环境变量中的CPU affinity mask
$cpu_mask = getenv('CPU_AFFINITY_MASK');

// 如果没有设置环境变量，则使用默认值
if ($cpu_mask === false) {
    $cpu_mask = 1; // 默认绑定到核心0
}

// 设置CPU affinity
if (set_cpu_affinity((int)$cpu_mask)) {
    echo "CPU affinity set to " . $cpu_mask . " successfully.n";
} else {
    echo "Failed to set CPU affinity.n";
}

// 执行其他PHP代码
echo "Hello, world!n";

?>

在这个示例中，我们首先获取环境变量 CPU_AFFINITY_MASK 的值，如果环境变量没有设置，则使用默认值。然后，我们调用 set_cpu_affinity() 函数来设置CPU affinity。

通过这种方式，我们可以根据不同的请求或不同的worker进程，动态地设置CPU affinity，从而实现更精细的性能优化。

7. 注意事项

• 测试是关键： 在生产环境中应用CPU Pinning之前，一定要进行充分的测试，评估其对性能的影响。
• 监控是必要的： 持续监控系统的性能，并根据实际情况进行调优。
• 了解硬件架构： 了解系统的CPU核心数量、拓扑结构，以及NUMA架构等信息，可以帮助你选择合适的CPU Pinning策略。
• 考虑安全因素： 如果使用PHP扩展来实现CPU Pinning，需要仔细验证输入参数，避免安全漏洞。

总结：提升并发性能，降低资源争用

CPU Pinning通过将PHP-FPM的worker进程绑定到特定的CPU核心，可以有效地减少进程上下文切换和缓存失效，从而提升高并发PHP应用的性能。结合操作系统工具或编写PHP扩展，可以实现灵活的CPU Pinning策略。持续监控和调优是确保CPU Pinning发挥最佳效果的关键。