PHP 内核级进程监控：使用 perf 分析 PHP-FPM Worker 的 Syscall 频率分布
大家好！今天我们来聊聊如何利用内核级的 perf 工具来深入分析 PHP-FPM Worker 进程的系统调用（Syscall）频率分布。这对于性能优化、问题诊断以及安全分析都非常有价值。
为什么需要内核级监控？
PHP 应用程序的性能瓶颈往往隐藏在代码表面之下。例如，缓慢的数据库查询、频繁的文件操作、阻塞的网络调用等等。虽然我们可以通过 PHP 的内置函数、Xdebug 或者 APM 工具来监测一部分性能指标，但这些工具往往只能提供应用层的视角。
内核级监控的优势在于：
- 更底层的视角: 能够观察到 PHP 应用程序在执行过程中调用的所有系统调用，包括文件 I/O、网络 I/O、内存分配等等。
- 更精准的定位: 可以精确地定位到导致性能瓶颈的系统调用类型，例如
read、write、select、epoll_wait等。 - 更全面的分析: 可以分析系统调用的频率、耗时以及调用栈，从而更全面地了解 PHP 应用程序的行为。
perf 工具简介
perf 是 Linux 内核自带的性能分析工具，它可以用来收集各种系统层面的性能数据，包括 CPU 使用率、内存使用率、磁盘 I/O、网络 I/O 以及系统调用等等。perf 工具的强大之处在于它可以深入到内核层面，无需修改应用程序的代码即可进行性能分析。
perf 工具主要包括以下几个子命令：
perf record: 用于记录性能数据。perf report: 用于生成性能报告。perf top: 用于实时显示性能数据。perf stat: 用于统计性能数据。
准备工作
在开始之前，我们需要确保以下几点：
-
Linux 系统:
perf工具是 Linux 内核自带的，所以我们需要在一个 Linux 系统上进行操作。 -
root 权限:
perf工具需要 root 权限才能访问内核数据。 -
debuginfo: 为了能够看到函数名而不是地址，我们需要安装 PHP 的 debuginfo 包。例如，在 Debian/Ubuntu 系统上，可以使用以下命令安装：
sudo apt-get install php-dev php-dbg sudo apt-get install libpcre3-dbg # 如果用到PCRE相关的Syscall在 CentOS/RHEL 系统上，可以使用以下命令安装：
sudo yum install php-devel php-debuginfo sudo debuginfo-install pcre # 如果用到PCRE相关的Syscall注意: 安装 debuginfo 包后，需要重启 PHP-FPM 进程才能生效。
-
perf工具: 确保perf工具已经安装。 通常情况下，它与 kernel-tools 包一起提供。 如果没有，请使用您的发行版软件包管理器安装它。
步骤一：确定 PHP-FPM Worker 进程 ID
首先，我们需要找到 PHP-FPM Worker 进程的 ID。可以使用以下命令来查找：
ps aux | grep php-fpm该命令会列出所有包含 "php-fpm" 字符串的进程，我们需要找到 Worker 进程的 PID。通常，Master 进程的用户名是 root，而 Worker 进程的用户名是 www-data 或者其他运行 PHP-FPM 的用户。
假设我们找到一个 Worker 进程的 PID 是 12345。
步骤二：使用 perf record 记录 Syscall 数据
接下来，我们使用 perf record 命令来记录 Worker 进程的 Syscall 数据。
sudo perf record -e syscalls:sys_enter -p 12345 -g --call-graph dwarf -o perf.data这个命令的含义是：
sudo: 使用 root 权限运行perf命令。perf record: 告诉perf工具记录性能数据。-e syscalls:sys_enter: 指定要记录的事件类型为系统调用入口。-p 12345: 指定要监控的进程 ID 为12345。-g --call-graph dwarf: 记录调用栈信息，方便我们分析系统调用的来源。dwarf是一种常用的调用栈信息格式。-o perf.data: 指定输出文件为perf.data。
运行该命令后，perf 工具会开始记录 PID 为 12345 的进程的系统调用数据，直到我们手动停止它。为了收集到足够的数据，建议运行一段时间，例如 10 秒到 1 分钟。
停止 perf record 命令，可以按下 Ctrl + C 键。
步骤三：使用 perf report 生成报告
在停止 perf record 命令后，我们会得到一个名为 perf.data 的文件，这个文件包含了我们记录的所有性能数据。接下来，我们可以使用 perf report 命令来生成性能报告。
sudo perf report -i perf.data --stdio这个命令的含义是：
sudo: 使用 root 权限运行perf命令。perf report: 告诉perf工具生成性能报告。-i perf.data: 指定输入文件为perf.data。--stdio: 将报告输出到标准输出。
运行该命令后，perf 工具会解析 perf.data 文件，并生成一个包含系统调用频率、调用栈等信息的报告。报告会输出到终端。
步骤四：分析报告
perf report 生成的报告会按照系统调用的频率进行排序，频率最高的系统调用会排在最前面。我们可以通过分析报告来了解 PHP-FPM Worker 进程最常调用的系统调用类型。
一个典型的报告片段可能如下所示：
Samples: 1K of event 'syscalls:sys_enter'
Percent | Command | Pid | Shared Object | Symbol
--------+-------------+-------+------------------------+--------------------------------------------------------------------
25.00% | php-fpm: pool | 12345 | [kernel.kallsyms] | __x64_sys_epoll_wait
15.00% | php-fpm: pool | 12345 | /lib/x86_64-linux-gnu/libc-2.31.so | read
10.00% | php-fpm: pool | 12345 | /lib/x86_64-linux-gnu/libc-2.31.so | write
8.00% | php-fpm: pool | 12345 | /lib/x86_64-linux-gnu/libc-2.31.so | select
5.00% | php-fpm: pool | 12345 | /lib/x86_64-linux-gnu/libc-2.31.so | fstat
...这个报告显示：
__x64_sys_epoll_wait系统调用占总系统调用次数的 25%。这通常表示进程在等待 I/O 事件。read系统调用占总系统调用次数的 15%。这通常表示进程在读取数据。write系统调用占总系统调用次数的 10%。这通常表示进程在写入数据。select系统调用占总系统调用次数的 8%。这也是一种 I/O 多路复用机制。fstat系统调用占总系统调用次数的 5%。这通常表示进程在获取文件状态。
通过分析这些数据，我们可以初步了解 PHP-FPM Worker 进程的行为。
深入分析调用栈
perf report 还可以显示每个系统调用的调用栈信息。我们可以通过按 Enter 键来展开某个系统调用的调用栈，从而了解这个系统调用是从哪个函数调用的。
例如，如果我们展开 read 系统调用的调用栈，可能会看到类似下面的信息：
25.00% php-fpm: pool [kernel.kallsyms] __x64_sys_read
|
--- __x64_sys_read
|
|-- do_syscall_64
| |
| |-- __GI___libc_read
| | |
| | |-- php_stream_read
| | | |
| | | |-- zend_stream_read
| | | | |
| | | | |-- php_fopen_wrapper_read
| | | | | |
| | | | | |-- MyCustomExtension_readFile <-- 我的扩展代码
| | | | | | |
| | | | | | |-- ...这个调用栈信息告诉我们，read 系统调用最终是由 MyCustomExtension_readFile 函数调用的。这可以帮助我们快速定位到导致性能瓶颈的代码。
示例：分析文件 I/O 瓶颈
假设我们发现 read 和 write 系统调用的频率很高，这可能表示 PHP 应用程序存在文件 I/O 瓶颈。为了进一步分析问题，我们可以使用以下命令来过滤出与文件 I/O 相关的系统调用：
sudo perf record -e syscalls:sys_enter -p 12345 -g --call-graph dwarf -o perf.data -fsudo perf report -i perf.data --stdio | grep 'read|write|open|close'这个命令会列出所有包含 "read"、"write"、"open" 或者 "close" 字符串的系统调用，从而帮助我们更聚焦地分析文件 I/O 相关的性能问题。
示例：分析网络 I/O 瓶颈
类似地，如果我们发现 select、epoll_wait、recv 和 send 系统调用的频率很高，这可能表示 PHP 应用程序存在网络 I/O 瓶颈。我们可以使用以下命令来过滤出与网络 I/O 相关的系统调用：
sudo perf record -e syscalls:sys_enter -p 12345 -g --call-graph dwarf -o perf.data -fsudo perf report -i perf.data --stdio | grep 'select|epoll|recv|send'注意事项
- 性能开销:
perf工具会带来一定的性能开销，尤其是在记录调用栈信息时。因此，建议只在测试环境或者非高峰时段使用perf工具。 - 数据量:
perf record命令会产生大量的数据，尤其是在长时间运行或者监控多个进程时。因此，需要注意磁盘空间的使用情况。 - 权限问题:
perf工具需要 root 权限才能访问内核数据。 - 符号解析: 确保安装了 PHP 的 debuginfo 包，否则
perf report命令只能显示地址而不是函数名。 - 动态库: 如果你的PHP应用使用了动态链接库（例如扩展），确保这些库的debuginfo也已安装，这样才能完整解析调用栈。
代码示例
下面是一个简单的 PHP 脚本，用于模拟高频率的文件 I/O 操作：
<?php
for ($i = 0; $i < 10000; $i++) {
$filename = '/tmp/test.txt';
file_put_contents($filename, "This is a test line " . $i . "n", FILE_APPEND);
$content = file_get_contents($filename);
}
echo "Done!n";
?>我们可以使用 perf 工具来分析这个脚本的性能：
- 运行脚本：
php test.php - 使用
perf record记录 Syscall 数据：sudo perf record -e syscalls:sys_enter -p $(pidof php) -g --call-graph dwarf -o perf.data - 使用
perf report生成报告：sudo perf report -i perf.data --stdio
通过分析报告，我们可以看到 read 和 write 系统调用的频率很高，并且可以追踪到这些系统调用是从 file_get_contents 和 file_put_contents 函数调用的。
表格：常用 Syscall 与其含义
| Syscall | 含义 | 可能的性能问题 |
|---|---|---|
read |
从文件或者 socket 读取数据 | 磁盘 I/O 瓶颈，网络 I/O 延迟 |
write |
向文件或者 socket 写入数据 | 磁盘 I/O 瓶颈，网络 I/O 拥塞 |
open |
打开文件 | 文件句柄耗尽，权限问题 |
close |
关闭文件 | 文件句柄泄漏 |
select |
I/O 多路复用，等待多个文件描述符就绪 | 连接数过多，阻塞 |
epoll_wait |
高效的 I/O 多路复用，等待多个文件描述符就绪 | 连接数过多，阻塞 |
recv |
从 socket 接收数据 | 网络 I/O 延迟，数据包丢失 |
send |
向 socket 发送数据 | 网络 I/O 拥塞，数据包丢失 |
malloc |
分配内存 | 内存泄漏，频繁的内存分配和释放 |
free |
释放内存 | 内存碎片 |
fstat |
获取文件状态 | 频繁的文件状态查询 |
connect |
建立网络连接 | 连接超时，连接拒绝 |
accept |
接受网络连接 | 服务器负载过高，连接队列溢出 |
futex_wait |
用户空间互斥锁等待 | 线程竞争激烈，死锁 |
futex_wake |
用户空间互斥锁唤醒 | 线程竞争激烈 |
从内核视角发现代码中的问题
通过使用 perf 工具分析 PHP-FPM Worker 进程的系统调用频率分布，我们可以从内核视角深入了解 PHP 应用程序的行为，从而更精准地定位性能瓶颈、发现潜在的问题，并最终优化应用程序的性能。这个工具非常强大，可以帮助我们更深入地理解底层操作。
结束语
perf 工具是一个非常强大的性能分析工具，它可以帮助我们深入了解 PHP 应用程序的行为，从而更精准地定位性能瓶颈、发现潜在的问题，并最终优化应用程序的性能。希望今天的分享对大家有所帮助！感谢大家的聆听！