eBPF基础应用：利用内核工具追踪PHP-FPM进程的阻塞I/O与系统调用开销

eBPF基础应用：利用内核工具追踪PHP-FPM进程的阻塞I/O与系统调用开销

大家好，今天我们来聊聊如何利用 eBPF（Extended Berkeley Packet Filter）来追踪 PHP-FPM 进程的阻塞 I/O 与系统调用开销。这个主题对于性能优化和故障排查至关重要，因为 PHP-FPM 进程的性能瓶颈往往隐藏在这些底层操作中。

1. 为什么我们需要追踪阻塞I/O和系统调用？

PHP-FPM 作为 PHP 的 FastCGI 进程管理器，负责处理 Web 服务器（如 Nginx 或 Apache）转发过来的 PHP 请求。在处理请求的过程中，PHP-FPM 进程会频繁地进行 I/O 操作（如读取文件、访问数据库、网络请求）和系统调用（如 read、write、open、close 等）。

• 阻塞 I/O：当 PHP-FPM 进程进行阻塞 I/O 操作时，它会等待 I/O 操作完成才能继续执行。如果 I/O 操作耗时较长，会导致进程阻塞，从而影响整体性能。例如，读取一个大文件、访问一个响应缓慢的数据库，都可能导致阻塞。
• 系统调用开销：系统调用是用户态程序与内核态之间的接口。每次进行系统调用，都需要进行上下文切换，这会带来一定的开销。频繁的系统调用也会降低 PHP-FPM 进程的性能。

因此，通过追踪阻塞 I/O 和系统调用，我们可以了解 PHP-FPM 进程的性能瓶颈所在，从而进行针对性的优化。

2. eBPF 简介

eBPF 是一种内核技术，允许我们在内核中运行用户自定义的代码，而无需修改内核源码或加载内核模块。它具有以下优点：

• 安全：eBPF 程序需要经过内核的验证器验证，确保程序的安全性。
• 高效：eBPF 程序运行在内核中，可以避免用户态和内核态之间的频繁切换。
• 灵活：eBPF 可以用于各种用途，包括网络监控、安全审计、性能分析等。

3. 追踪阻塞 I/O

我们可以使用 tracepoint 或 kprobe 来追踪阻塞 I/O。这里我们使用 tracepoint，因为它更加稳定，不容易受到内核版本的影响。

• tracepoint:syscalls:sys_enter_read 和 tracepoint:syscalls:sys_exit_read: 追踪 read 系统调用的入口和出口。
• tracepoint:syscalls:sys_enter_write 和 tracepoint:syscalls:sys_exit_write: 追踪 write 系统调用的入口和出口。
• 其他类似的 I/O 相关系统调用: open, close, recv, send, pread, pwrite等

下面是一个使用 bpftrace 追踪 read 系统调用的例程：

#!/usr/bin/env bpftrace

#include <linux/sched.h>

tracepoint:syscalls:sys_enter_read
{
  @start[pid] = nsecs;
}

tracepoint:syscalls:sys_exit_read
/@start[pid]/
{
  $duration = nsecs - @start[pid];
  delete(@start[pid]);

  @io_latency[comm, pid] = hist($duration / 1000); // 微秒
}

END
{
  clear();
  printf("Read Latency (us):n");
  print(@io_latency);
}

这个脚本的解释如下：

• #include <linux/sched.h>: 包含内核头文件，用于获取进程信息。
• tracepoint:syscalls:sys_enter_read: 在 read 系统调用入口处执行的代码。
  • @start[pid] = nsecs;: 记录当前进程的 PID 和时间戳。
• tracepoint:syscalls:sys_exit_read: 在 read 系统调用出口处执行的代码。
  • /@start[pid]/: 只有当 @start[pid] 存在时，才执行下面的代码。
  • $duration = nsecs - @start[pid];: 计算 read 系统调用的耗时。
  • delete(@start[pid]);: 删除 @start[pid]，防止内存泄漏。
  • @io_latency[comm, pid] = hist($duration / 1000);: 将耗时记录到直方图中，以微秒为单位。comm 是进程名。
• END: 在脚本结束时执行的代码。
  • clear();: 清空屏幕。
  • printf("Read Latency (us):n");: 打印标题。
  • print(@io_latency);: 打印直方图。

要运行这个脚本，需要安装 bpftrace 工具。例如，在 Ubuntu 上可以使用以下命令安装：

sudo apt-get update
sudo apt-get install bpftrace

然后，将脚本保存为 read_latency.bt，并使用以下命令运行：

sudo bpftrace read_latency.bt

运行后，bpftrace 会开始追踪 read 系统调用，并输出直方图，显示 read 系统调用的耗时分布。

你可以修改这个脚本，追踪其他的 I/O 相关系统调用，例如 write、open、close 等。

4. 追踪系统调用开销

除了追踪阻塞 I/O，我们还可以追踪系统调用的开销。这可以帮助我们找到频繁的系统调用，从而进行优化。

我们可以使用 tracepoint:raw_syscalls:sys_enter 和 tracepoint:raw_syscalls:sys_exit 来追踪所有的系统调用。

下面是一个使用 bpftrace 追踪系统调用开销的例程：

#!/usr/bin/env bpftrace

#include <linux/sched.h>

tracepoint:raw_syscalls:sys_enter
{
  @start[pid] = nsecs;
  @syscall[pid] = args->id;
}

tracepoint:raw_syscalls:sys_exit
/@start[pid]/
{
  $duration = nsecs - @start[pid];
  $syscall_id = @syscall[pid];
  delete(@start[pid]);
  delete(@syscall[pid]);

  @syscall_latency[comm, $syscall_id] = hist($duration / 1000); // 微秒
}

END
{
  clear();
  printf("System Call Latency (us):n");
  print(@syscall_latency);
}

这个脚本的解释如下：

• tracepoint:raw_syscalls:sys_enter: 在系统调用入口处执行的代码。
  • @start[pid] = nsecs;: 记录当前进程的 PID 和时间戳。
  • @syscall[pid] = args->id;: 记录系统调用的 ID。
• tracepoint:raw_syscalls:sys_exit: 在系统调用出口处执行的代码。
  • /@start[pid]/: 只有当 @start[pid] 存在时，才执行下面的代码。
  • $duration = nsecs - @start[pid];: 计算系统调用的耗时。
  • $syscall_id = @syscall[pid];: 获取系统调用的 ID。
  • delete(@start[pid]);: 删除 @start[pid]，防止内存泄漏。
  • delete(@syscall[pid]);: 删除 @syscall[pid]，防止内存泄漏。
  • @syscall_latency[comm, $syscall_id] = hist($duration / 1000);: 将耗时记录到直方图中，以微秒为单位。
• END: 在脚本结束时执行的代码。
  • clear();: 清空屏幕。
  • printf("System Call Latency (us):n");: 打印标题。
  • print(@syscall_latency);: 打印直方图。

运行这个脚本，可以得到每个系统调用的耗时分布。你可以根据系统调用的 ID，查阅系统调用的名称。例如，可以使用 man syscall 命令查看系统调用的 ID 和名称的对应关系。

5. 过滤 PHP-FPM 进程

上面的脚本会追踪所有的进程。为了只追踪 PHP-FPM 进程，我们需要添加过滤条件。可以使用 pid 或 comm 过滤。

例如，假设 PHP-FPM 进程的名称是 php-fpm，可以使用以下脚本只追踪 php-fpm 进程的阻塞 I/O：

#!/usr/bin/env bpftrace

#include <linux/sched.h>

tracepoint:syscalls:sys_enter_read
/comm == "php-fpm"/
{
  @start[pid] = nsecs;
}

tracepoint:syscalls:sys_exit_read
/@start[pid] && comm == "php-fpm"/
{
  $duration = nsecs - @start[pid];
  delete(@start[pid]);

  @io_latency[comm, pid] = hist($duration / 1000); // 微秒
}

END
{
  clear();
  printf("Read Latency (us):n");
  print(@io_latency);
}

这个脚本添加了 /comm == "php-fpm"/ 的过滤条件，只追踪进程名为 php-fpm 的进程。

如果已知 PHP-FPM 进程的 PID，可以使用以下脚本只追踪指定 PID 的进程：

#!/usr/bin/env bpftrace

#include <linux/sched.h>

BEGIN
{
  $target_pid = pid; // 获取bpftrace命令的pid参数，例如 sudo bpftrace -p <pid> script.bt
}

tracepoint:syscalls:sys_enter_read
/pid == $target_pid/
{
  @start[pid] = nsecs;
}

tracepoint:syscalls:sys_exit_read
/@start[pid] && pid == $target_pid/
{
  $duration = nsecs - @start[pid];
  delete(@start[pid]);

  @io_latency[comm, pid] = hist($duration / 1000); // 微秒
}

END
{
  clear();
  printf("Read Latency (us):n");
  print(@io_latency);
}

这个脚本使用 pid 过滤，只追踪指定 PID 的进程。运行脚本时需要指定 -p 参数，例如：

sudo bpftrace -p <pid> read_latency.bt

其中 <pid> 是 PHP-FPM 进程的 PID。

6. 更高级的应用：跟踪特定函数内部的I/O

有时候，我们不仅仅想知道哪个进程在进行I/O，更想知道是PHP代码中的哪个函数调用导致了I/O。 这需要更高级的技巧，例如使用uprobe来跟踪PHP-FPM进程中的特定函数。

首先，需要确定你想跟踪的PHP函数。 假设你想跟踪file_get_contents函数的I/O行为。你需要找到file_get_contents函数在PHP-FPM进程中的内存地址。 这可以通过gdb或者objdump等工具来实现。

假设你找到了file_get_contents函数的地址是0x7f4a8c1b5000。 那么你可以使用下面的bpftrace脚本来跟踪该函数内部的I/O行为：

#!/usr/bin/env bpftrace

#include <linux/sched.h>

BEGIN
{
  $target_pid = pid;
  $func_addr = 0x7f4a8c1b5000; // file_get_contents的地址，需要根据实际情况修改
}

uprobe:/proc/$target_pid/exe:$func_addr
{
  printf("Entering file_get_contents, PID: %dn", pid);
  @func_calls[pid] = count();
}

tracepoint:syscalls:sys_enter_read
/pid == $target_pid/
{
  @start[pid] = nsecs;
  @in_func[pid] = @func_calls[pid] > 0; // 标记是否在file_get_contents函数内部
}

tracepoint:syscalls:sys_exit_read
/@start[pid] && pid == $target_pid && @in_func[pid]/
{
  $duration = nsecs - @start[pid];
  delete(@start[pid]);
  delete(@in_func[pid]);

  @io_latency[pid] = hist($duration / 1000);
}

uretprobe:/proc/$target_pid/exe:$func_addr
{
  printf("Exiting file_get_contents, PID: %dn", pid);
  @func_calls[pid] = 0; // 清除标记
}

END
{
  clear();
  printf("Read Latency inside file_get_contents (us):n");
  print(@io_latency);
}

这个脚本做了以下几件事：

1. BEGIN: 获取目标PID和file_get_contents的地址。
2. uprobe:/proc/$target_pid/exe:$func_addr: 在file_get_contents函数入口处插入探针。
   • 记录函数调用次数 @func_calls[pid] = count();
3. tracepoint:syscalls:sys_enter_read: 在read系统调用入口处插入探针。
   • 记录开始时间戳 @start[pid] = nsecs;
   • 通过检查@func_calls[pid]的值来判断是否在file_get_contents函数内部。
4. tracepoint:syscalls:sys_exit_read: 在read系统调用出口处插入探针。
   • 只有当read调用发生在file_get_contents函数内部时，才计算延迟。
5. uretprobe:/proc/$target_pid/exe:$func_addr: 在file_get_contents函数出口处插入探针。
   • 清除函数调用标记 @func_calls[pid] = 0;
6. END: 打印结果。

注意：

• $func_addr 需要替换成实际的file_get_contents函数的地址。
• 这个方法依赖于PHP-FPM的具体的版本和编译选项。不同的版本和编译选项可能导致函数地址不同。
• 使用uprobe需要更高的权限。

7. 数据分析与优化建议

得到追踪数据后，我们需要进行分析，并提出相应的优化建议。

• I/O 阻塞分析：
  • 如果发现大量的 I/O 阻塞发生在文件读取上，可以考虑使用缓存、优化文件读取方式（例如使用 mmap）。
  • 如果发现大量的 I/O 阻塞发生在数据库访问上，可以考虑优化 SQL 查询、使用连接池、增加数据库服务器的资源。
  • 如果发现大量的 I/O 阻塞发生在网络请求上，可以考虑优化网络连接、使用异步 I/O。
• 系统调用开销分析：
  • 如果发现大量的系统调用是文件操作，可以考虑减少文件操作的次数、使用批量操作。
  • 如果发现大量的系统调用是内存分配，可以考虑使用对象池、优化内存管理。

表格：优化建议示例

性能瓶颈	可能原因	优化建议
文件读取阻塞	读取大文件、频繁读取小文件	使用缓存、优化文件读取方式（mmap）、使用异步 I/O
数据库访问阻塞	SQL 查询慢、连接数不足	优化 SQL 查询、使用连接池、增加数据库服务器的资源、使用缓存
网络请求阻塞	网络连接慢、网络带宽不足	优化网络连接、使用异步 I/O、增加网络带宽、使用 CDN
频繁的文件操作	大量的 open、close、read、write	减少文件操作次数、使用批量操作、使用文件缓存
频繁的内存分配	大量的对象创建、销毁	使用对象池、优化内存管理、减少对象创建销毁的次数
频繁的系统调用	不必要的上下文切换	尽量使用批量操作，减少用户态和内核态之间的切换。

8. 选择合适的工具

• bpftrace: 高级 tracing 语言，易于使用，适合快速原型开发和动态分析。
• bcc (BPF Compiler Collection): Python 工具包，提供了更多的底层控制和灵活性，适合复杂的 tracing 场景。
• perf: Linux 内置的性能分析工具，可以与 eBPF 结合使用。
• kubectl trace: Kubernetes 提供的 eBPF tracing 工具，可以用于分析 Kubernetes 集群的性能。

9. 安全性考虑

在使用 eBPF 时，需要注意安全性。eBPF 程序运行在内核中，如果程序存在漏洞，可能会导致系统崩溃或安全问题。

• 使用内核验证器: 确保 eBPF 程序通过内核的验证器验证。
• 限制 eBPF 程序的权限: 避免 eBPF 程序拥有过高的权限。
• 定期审查 eBPF 程序: 定期审查 eBPF 程序的代码，确保程序的安全性。

I/O 和系统调用开销追踪的重要性

追踪阻塞I/O和系统调用开销对于理解PHP-FPM进程的性能至关重要。通过定位性能瓶颈，可以进行针对性的优化，提升Web应用的性能。

eBPF 提供了强大的追踪能力

eBPF技术为我们提供了在内核层面进行安全、高效且灵活的性能追踪能力。结合 bpftrace 或 bcc 等工具，可以方便地编写和运行 eBPF 程序。

安全性和选择合适的工具至关重要

在使用 eBPF 时，需要注意安全性，并根据实际需求选择合适的工具。通过持续的监控和优化，可以有效地提升PHP-FPM进程的性能，提高Web应用的响应速度和吞吐量。