PHP应用的实时指标采集：使用StatsD或InfluxDB实现自定义业务监控 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

PHP 应用实时指标采集：StatsD 与 InfluxDB 实现自定义业务监控

大家好，今天我们来聊聊如何为 PHP 应用构建实时指标采集系统，利用 StatsD 和 InfluxDB 实现自定义业务监控。监控对于应用的稳定性和性能至关重要，它可以帮助我们及时发现问题、优化代码，并更好地了解用户行为。

一、为什么需要自定义业务监控？

传统的基础设施监控（CPU、内存、磁盘 I/O 等）固然重要，但很多时候，仅仅依靠这些指标无法全面了解应用的真实运行状况。我们需要关注更具体的业务指标，例如：

请求处理时间（不同接口、不同用户类型）：用于识别慢接口、优化用户体验。
特定业务操作的成功/失败率：例如注册成功率、支付成功率，用于评估业务健康程度。
特定资源的消耗量：例如缓存命中率、数据库查询次数，用于发现潜在的性能瓶颈。
用户行为统计：例如登录用户数、活跃用户数，用于分析用户行为模式。
队列长度：用于监控异步任务处理情况。

通过自定义业务监控，我们可以更精准地定位问题，优化代码，并更好地理解用户行为，从而提升应用的整体质量。

二、监控架构选择：StatsD + InfluxDB

在众多的监控方案中，StatsD + InfluxDB 是一个轻量级、高性能且易于集成的选择。

StatsD: 是一个简单的 UDP 协议守护进程，用于收集和聚合指标数据。它的主要优点是低开销，不会对应用性能产生明显影响。客户端将指标数据发送给 StatsD，StatsD 会定期将数据聚合并发送给后端存储系统。
InfluxDB: 是一个时序数据库，专门用于存储和查询时间序列数据。它具有高性能、可扩展性和易于使用的特点，非常适合存储监控指标数据。

架构图：

+---------------------+    UDP    +---------------------+    TCP    +---------------------+
| PHP Application   | --------> |       StatsD        | --------> |      InfluxDB       |
+---------------------+          +---------------------+          +---------------------+
      (Metrics)                     (Aggregation)                    (Storage)

优点：

解耦： 应用与存储系统解耦，应用只需发送指标数据，无需关心存储细节。
低开销： StatsD 使用 UDP 协议，发送指标数据的开销很小。
可扩展性： InfluxDB 具有良好的可扩展性，可以处理大规模的指标数据。
灵活的查询： InfluxDB 提供了强大的查询语言，可以方便地查询和分析指标数据。

三、环境搭建

安装 StatsD:

# 使用 npm 安装
npm install -g statsd
statsd

或者使用 Docker：

docker run -d --name statsd -p 8125:8125/udp -p 8126:8126 graphiteapp/statsd

安装 InfluxDB:
- 官方文档：https://docs.influxdata.com/influxdb/v2.7/install/
- 使用 Docker：
```
docker run -d --name influxdb -p 8086:8086 -v influxdb_data:/var/lib/influxdb influxdb:2.7
```
启动 InfluxDB 后，需要配置数据源，以及token，用于权限校验。
在浏览器中访问http://localhost:8086，按照提示进行初始化设置。
配置 StatsD 将数据发送到 InfluxDB:

StatsD 的配置文件通常位于 /etc/statsd/config.js。我们需要修改配置文件，将 InfluxDB 配置为后端存储。
```
{
  port: 8125,
  backends: ["./backends/influxdb"],
  influxdb: {
    host: "localhost",
    port: 8086,
    database: "mydb",
    protocol: "http",
    username: "", // 根据你的 InfluxDB 配置
    password: "", // 根据你的 InfluxDB 配置
    retentionPolicy: 'autogen'
  },
  debug: false,
  dumpMessages: false,
  graphitePort: 2003,
  graphiteHost: "127.0.0.1"
}
```
注意: database 参数指定 InfluxDB 的数据库名称。需要根据你的 InfluxDB 配置进行修改。如果使用了InfluxDB v2版本，需要配置token和组织机构。

修改后，重启 StatsD 服务。

四、PHP 代码实现指标采集

我们需要一个 PHP 客户端库来发送指标数据到 StatsD。有很多现成的库可以使用，例如：

domnikl/statsd (推荐)
ezimuel/metrics

这里我们使用 domnikl/statsd 作为例子。

安装 PHP StatsD 客户端:
```
composer require domnikl/statsd
```

代码示例:

<?php

require 'vendor/autoload.php';

use DomniklStatsdClient;

// StatsD 配置
$statsd = new Client([
    'host' => 'localhost',
    'port' => 8125,
    'namespace' => 'my_app' // 命名空间，用于区分不同的应用
]);

// 示例 1: 计数器 (Increment/Decrement)
$statsd->increment('page_views'); // 页面浏览量 +1
$statsd->decrement('errors');     // 错误数 -1

// 示例 2: 计时器 (Timing)
$start = microtime(true);
// 模拟耗时操作
usleep(rand(1000, 10000));
$end = microtime(true);
$statsd->timing('db_query_time', ($end - $start) * 1000); // 记录数据库查询耗时，单位毫秒

// 示例 3: 仪表盘 (Gauge)
$statsd->gauge('queue_length', rand(0, 100)); // 记录队列长度

// 示例 4: 集合 (Set)
$statsd->set('unique_users', 'user_' . rand(1, 1000)); // 记录唯一用户，用于统计独立用户数

// 示例 5:带标签的指标(注意：StatsD本身不支持标签，需要后端存储系统支持，如InfluxDB)
$statsd->increment('api.request', 1, ['route' => '/users', 'method' => 'GET']);
$statsd->timing('response_time', 123, ['route' => '/items', 'method' => 'POST']);

$statsd->close(); // 关闭连接，可选

echo "Metrics sent to StatsD!n";
?>

代码解释：

$statsd = new Client([...]);：创建 StatsD 客户端实例，配置 StatsD 服务器地址、端口和命名空间。命名空间用于区分不同的应用或环境。
$statsd->increment('page_views');：递增 page_views 指标。
$statsd->timing('db_query_time', ($end - $start) * 1000);：记录 db_query_time 指标，计算数据库查询耗时（毫秒）。
$statsd->gauge('queue_length', rand(0, 100));：设置 queue_length 指标的值。
$statsd->set('unique_users', 'user_' . rand(1, 1000));：记录唯一用户，用于统计独立用户数。
$statsd->increment('api.request', 1, ['route' => '/users', 'method' => 'GET']);: 记录带标签的指标，这里的标签是route和method。

五、在 InfluxDB 中查询数据

运行上面的 PHP 代码后，指标数据将被发送到 StatsD，然后 StatsD 会将数据聚合并发送到 InfluxDB。我们可以使用 InfluxDB 的查询语言（InfluxQL 或 Flux）来查询数据。

InfluxQL 示例：

-- 查询最近 5 分钟的页面浏览量
SELECT sum(count) FROM "my_app.counters" WHERE name = 'page_views' AND time > now() - 5m;

-- 查询最近 1 小时内平均数据库查询耗时
SELECT mean(mean) FROM "my_app.timers" WHERE name = 'db_query_time' AND time > now() - 1h;

-- 查询最近 1 天的最大队列长度
SELECT max(value) FROM "my_app.gauges" WHERE name = 'queue_length' AND time > now() - 1d;

-- 查询最近 1 天的独立用户数
SELECT count(distinct(value)) FROM "my_app.sets" WHERE name = 'unique_users' AND time > now() - 1d;

-- 查询带有标签的指标
SELECT sum(count) FROM "my_app.counters" WHERE name = 'api.request' AND route = '/users' AND method = 'GET' AND time > now() - 1h;

Flux 示例 (InfluxDB 2.0+):

from(bucket: "my_bucket")
  |> range(start: -5m)
  |> filter(fn: (r) => r._measurement == "my_app.counters" and r._field == "count" and r.name == "page_views")
  |> sum()

from(bucket: "my_bucket")
  |> range(start: -1h)
  |> filter(fn: (r) => r._measurement == "my_app.timers" and r._field == "mean" and r.name == "db_query_time")
  |> mean()

from(bucket: "my_bucket")
  |> range(start: -1d)
  |> filter(fn: (r) => r._measurement == "my_app.gauges" and r._field == "value" and r.name == "queue_length")
  |> max()

from(bucket: "my_bucket")
  |> range(start: -1d)
  |> filter(fn: (r) => r._measurement == "my_app.sets" and r._field == "value" and r.name == "unique_users")
  |> distinct()
  |> count()

from(bucket: "my_bucket")
  |> range(start: -1h)
  |> filter(fn: (r) => r._measurement == "my_app.counters" and r._field == "count" and r.name == "api.request" and r.route == "/users" and r.method == "GET")
  |> sum()

注意:

my_bucket 是 InfluxDB 2.0+ 的概念，对应于 1.x 版本的 database。
_measurement 类似于表名，由 StatsD 自动生成，通常是 命名空间.指标类型。
_field 是指标的值的字段名，例如 count, mean, value。

六、自定义指标的策略与最佳实践

明确监控目标： 在添加任何指标之前，先明确监控的目标。你想了解什么？你想解决什么问题？例如，你想监控用户注册成功率，那么你需要添加注册成功的计数器和注册总数的计数器。
指标命名规范： 使用清晰、一致的指标命名规范。例如：
- app_name.metric_type.metric_name.optional_tags
- my_app.counters.user_registrations.success
- my_app.timers.api_request_time.users.GET

选择合适的指标类型： 根据指标的特性选择合适的指标类型。

指标类型	描述	示例
计数器	用于记录事件发生的次数，只能增加或减少。	页面浏览量、错误数、订单创建数
计时器	用于记录操作的耗时。	数据库查询时间、API 请求时间、渲染时间
仪表盘	用于记录某个时刻的值。	队列长度、CPU 使用率、内存使用量
集合	用于记录唯一值的集合，用于统计独立用户数等。	独立用户 ID、唯一 IP 地址
聚合分布	用于记录值的分布情况，例如请求大小的分布。	请求大小、响应大小

合理设置采样率： 对于高频指标，可以适当降低采样率，以减少对应用性能的影响。例如，只记录 1% 的请求耗时。
```
// 示例：只记录 1% 的请求耗时
if (rand(1, 100) == 1) {
    $statsd->timing('api_request_time', $time_taken);
}
```
使用标签 (Tags)： 使用标签可以为指标添加额外的维度，方便进行更细粒度的分析。例如，可以为 api_request_time 指标添加 route 和 method 标签，以便按不同的 API 路由和 HTTP 方法进行分析。
避免高基数标签： 避免使用基数过高的标签，例如用户 ID、订单 ID。高基数标签会导致指标数据量爆炸，影响查询性能。如果需要监控特定用户或订单，可以考虑使用日志系统。
监控关键业务流程： 重点监控关键业务流程，例如用户注册、登录、支付、下单等。这些流程的健康状况直接影响应用的收入和用户体验。
设置告警： 根据监控指标设置告警规则，及时发现异常情况。例如，当错误率超过 5% 时发送告警。
定期审查： 定期审查监控指标，删除不再需要的指标，添加新的指标，调整告警规则。

七、高级用法与优化

使用缓冲： PHP StatsD 客户端通常会提供缓冲功能，可以先将指标数据缓冲起来，然后批量发送到 StatsD 服务器，以减少网络开销。
异步发送： 可以使用异步方式发送指标数据，避免阻塞主线程。例如，可以使用消息队列（如 Redis、RabbitMQ）来异步发送指标数据。
自定义 StatsD 后端： 如果需要更高级的功能，可以自定义 StatsD 后端，例如将数据发送到多个存储系统，或者对数据进行预处理。
使用 Grafana 可视化： 可以使用 Grafana 将 InfluxDB 中的指标数据可视化，创建仪表盘，方便监控和分析。
使用 Prometheus 作为替代方案: 考虑使用 Prometheus 作为监控方案的替代方案，特别是当你已经在使用 Kubernetes 等云原生技术时。Prometheus 具有强大的自动发现、多维数据模型和灵活的查询语言，适合构建大规模的监控系统。虽然与 StatsD + InfluxDB 相比，Prometheus 的配置和部署可能更复杂一些，但它可以提供更全面的监控能力。

八、常见问题与排错

指标数据没有显示在 InfluxDB 中：
- 检查 StatsD 配置文件是否正确，确保 InfluxDB 的地址、端口、数据库名称、用户名和密码配置正确。
- 检查 StatsD 服务是否正在运行。
- 检查 InfluxDB 服务是否正在运行。
- 检查网络连接是否正常，确保 StatsD 可以连接到 InfluxDB。
- 检查 PHP 代码是否正确发送指标数据。
查询 InfluxDB 时出现错误：
- 检查 InfluxQL 或 Flux 语句是否正确。
- 检查 InfluxDB 的版本是否与查询语句兼容。
- 检查 InfluxDB 的数据模式是否正确。
StatsD 占用过多资源：
- 检查 StatsD 的配置，降低采样率，减少指标数据量。
- 考虑使用更轻量级的 StatsD 实现。
标签数据没有显示在 InfluxDB 中：
- 确保 StatsD 后端支持标签，例如 InfluxDB 后端。
- 确保 InfluxDB 的数据模式支持标签。
- 检查查询语句是否正确使用了标签。

代码示例:

<?php

require 'vendor/autoload.php';

use DomniklStatsdClient;

class StatsDClient {

    private static $instance = null;
    private $client;

    private function __construct() {
        $this->client = new Client([
            'host' => 'localhost',
            'port' => 8125,
            'namespace' => 'my_app'
        ]);
    }

    public static function getInstance() {
        if (self::$instance == null) {
            self::$instance = new StatsDClient();
        }
        return self::$instance;
    }

    public function increment(string $key, int $sampleRate = 1, array $tags = []) {
        $this->client->increment($key, $sampleRate, $tags);
    }

     public function decrement(string $key, int $sampleRate = 1, array $tags = []) {
        $this->client->decrement($key, $sampleRate, $tags);
    }

    public function timing(string $key, float $time, int $sampleRate = 1, array $tags = []) {
        $this->client->timing($key, $time, $sampleRate, $tags);
    }

    public function gauge(string $key, float $value, array $tags = []) {
        $this->client->gauge($key, $value, $tags);
    }

    public function set(string $key, string $value, array $tags = []) {
        $this->client->set($key, $value, $tags);
    }

    public function close() {
        $this->client->close();
    }
}

// 使用示例
$statsd = StatsDClient::getInstance();
$statsd->increment('api.requests', 1, ['route' => '/users', 'method' => 'GET']);
$start = microtime(true);
usleep(rand(1000, 10000));
$end = microtime(true);
$statsd->timing('api.response_time', ($end - $start) * 1000, 1, ['route' => '/users', 'method' => 'GET']);
$statsd->gauge('queue.length', rand(0, 100));

?>

九、总结：指标采集，监控优化，持续改进

我们讨论了如何使用 StatsD 和 InfluxDB 为 PHP 应用构建实时指标采集系统，包括环境搭建、代码实现、查询数据、自定义指标策略和最佳实践。通过自定义业务监控，我们可以更精准地定位问题，优化代码，并更好地理解用户行为，从而提升应用的整体质量。持续优化监控策略和指标，根据业务发展进行调整，才能更好地保障应用的稳定性和性能。

PHP 应用实时指标采集：StatsD 与 InfluxDB 实现自定义业务监控

发表回复 取消回复

发表回复取消回复