Prometheus 与 Grafana：构建微服务监控平台 – 让你的服务不再“裸奔”
各位技术大佬、准大佬、以及正在努力成为大佬的同学们，今天我们来聊聊一个非常重要的话题：如何让你的微服务不再“裸奔”，而是穿上“监控战甲”，时刻掌握它们的健康状况。
在微服务架构中，应用被拆解成一个个小型、独立的服务。这带来了更高的灵活性和可伸缩性，但也让监控变得更加复杂。想象一下，你有一支足球队，每个队员都独立行动，如果你只关注总比分，而不知道每个队员的状态，那赢球就只能靠运气了。
这就是为什么我们需要构建一个强大的监控平台。而 Prometheus 和 Grafana 这对黄金搭档，正是我们打造监控平台的利器。
一、 什么是 Prometheus？ – 监控界的“数据收割机”
Prometheus，你可以把它想象成一个勤劳的“数据收割机”。它会定期从你的各个微服务“收割”指标数据（metrics），并将这些数据存储起来。
1.1 Prometheus 的工作原理
- 指标采集 (Scraping): Prometheus 通过 HTTP 协议，定期从预定义的 targets（你的微服务）拉取指标数据。这些 targets 暴露一个 HTTP 端点，返回特定格式的指标数据。
- 数据存储 (Storage): Prometheus 将收集到的指标数据存储在时间序列数据库 (Time Series Database, TSDB) 中。TSDB 专门为存储时间序列数据而设计，具有高效的存储和查询性能。
- 查询语言 (PromQL): Prometheus 提供了一种强大的查询语言 PromQL，用于查询和分析存储的指标数据。你可以使用 PromQL 来构建各种监控图表、告警规则等。
- 告警管理 (Alerting): Prometheus 可以根据预定义的规则，在指标数据超过或低于阈值时触发告警。这些告警可以通过邮件、短信、Slack 等方式通知运维人员。
1.2 Prometheus 的指标类型
Prometheus 支持四种主要的指标类型：
- Counter: 计数器，用于记录单调递增的指标，例如请求总数、错误总数等。
- Gauge: 仪表盘，用于记录可以上下波动的指标，例如 CPU 使用率、内存使用率等。
- Histogram: 直方图，用于记录数据的分布情况，例如请求延迟的分布情况。
- Summary: 摘要，类似于直方图，但提供了分位数计算功能，例如请求延迟的 95 分位数。
1.3 Prometheus 的安装与配置
你可以通过 Docker、二进制文件或包管理器等方式安装 Prometheus。这里以 Docker 为例：
docker pull prom/prometheus:latest
docker run -d --name prometheus -p 9090:9090 -v prometheus_data:/prometheus prom/prometheus:latest --config.file=/etc/prometheus/prometheus.yml这个命令会下载 Prometheus 的 Docker 镜像，并在后台运行一个名为 prometheus 的容器。Prometheus 的配置文件是 prometheus.yml，你需要在这个文件中配置 Prometheus 的 targets 和告警规则等。
一个简单的 prometheus.yml 示例：
global:
scrape_interval: 15s # 设置全局的抓取间隔
scrape_configs:
- job_name: 'my-service' # 定义一个抓取任务
static_configs:
- targets: ['my-service:8080'] # 指定要抓取的 targets，这里假设你的微服务在 my-service:8080 暴露了指标数据1.4 如何让你的微服务暴露指标数据？
你的微服务需要暴露一个 HTTP 端点，返回 Prometheus 可以识别的指标数据。你可以使用各种 Prometheus 客户端库来实现这一点。
例如，如果你使用 Spring Boot 构建微服务，可以使用 spring-boot-starter-actuator 和 micrometer-registry-prometheus 来暴露指标数据。
首先，在你的 pom.xml 文件中添加以下依赖：
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>io.micrometer</groupId>
<artifactId>micrometer-registry-prometheus</artifactId>
</dependency>然后，在你的 application.yml 文件中启用 Prometheus 端点：
management:
endpoints:
web:
exposure:
include: prometheus现在，你的微服务应该可以通过 /actuator/prometheus 端点暴露指标数据了。
二、 什么是 Grafana？ – 监控数据的“颜值担当”
Grafana，你可以把它想象成一个精美的“监控数据仪表盘”。它可以连接到 Prometheus 等数据源，并以各种图表、表格等形式展示监控数据。
2.1 Grafana 的工作原理
- 数据源 (Data Source): Grafana 可以连接到各种数据源，例如 Prometheus、InfluxDB、Elasticsearch 等。
- 面板 (Panel): Grafana 使用面板来展示监控数据。面板可以是图表、表格、文本、仪表盘等。
- 仪表盘 (Dashboard): Grafana 使用仪表盘来组织和展示多个面板。你可以创建各种仪表盘来监控不同的指标。
- 告警 (Alerting): Grafana 可以根据预定义的规则，在指标数据超过或低于阈值时触发告警。
2.2 Grafana 的安装与配置
你可以通过 Docker、二进制文件或包管理器等方式安装 Grafana。这里以 Docker 为例：
docker pull grafana/grafana:latest
docker run -d --name grafana -p 3000:3000 -v grafana_data:/var/lib/grafana grafana/grafana:latest这个命令会下载 Grafana 的 Docker 镜像，并在后台运行一个名为 grafana 的容器。Grafana 的默认端口是 3000。
2.3 Grafana 的使用
- 访问 Grafana Web 界面: 在浏览器中输入
http://localhost:3000(假设你是在本地运行 Grafana)，使用默认用户名admin和密码admin登录。 - 添加数据源: 点击左侧菜单栏的 "Configuration" -> "Data Sources"，选择 "Prometheus" 作为数据源。
- 配置 Prometheus 数据源: 输入 Prometheus 的 URL (例如
http://prometheus:9090)，并保存。 - 创建仪表盘: 点击左侧菜单栏的 "+" -> "Dashboard"，创建一个新的仪表盘。
- 添加面板: 在仪表盘中点击 "Add new panel"，选择 "Graph" 作为面板类型。
- 配置面板: 在面板中输入 PromQL 查询语句，选择要展示的指标数据。例如，你可以使用
rate(http_requests_total[5m])查询最近 5 分钟的 HTTP 请求速率。 - 美化仪表盘: 调整面板的大小、颜色、标签等，使仪表盘更加美观和易于理解。
三、 Prometheus + Grafana：构建微服务监控平台 – 案例实战
现在，我们来演示如何使用 Prometheus 和 Grafana 构建一个简单的微服务监控平台。
3.1 监控 HTTP 请求
假设你的微服务暴露了一个名为 http_requests_total 的 Counter 指标，用于记录 HTTP 请求的总数。你可以使用以下 PromQL 查询语句来查询 HTTP 请求速率：
rate(http_requests_total[5m])这个查询语句会计算最近 5 分钟的 HTTP 请求速率。你可以将这个查询语句添加到 Grafana 的图表面板中，实时监控 HTTP 请求的速率。
3.2 监控 CPU 使用率
假设你的微服务暴露了一个名为 process_cpu_usage_seconds_total 的 Counter 指标，用于记录 CPU 使用的总时间。你可以使用以下 PromQL 查询语句来查询 CPU 使用率：
rate(process_cpu_usage_seconds_total[5m])这个查询语句会计算最近 5 分钟的 CPU 使用率。你可以将这个查询语句添加到 Grafana 的图表面板中，实时监控 CPU 使用率。
3.3 监控内存使用率
假设你的微服务暴露了以下两个 Gauge 指标：
jvm_memory_bytes_used{area="heap"}: 已使用的堆内存jvm_memory_bytes_max{area="heap"}: 最大堆内存
你可以使用以下 PromQL 查询语句来查询堆内存使用率：
jvm_memory_bytes_used{area="heap"} / jvm_memory_bytes_max{area="heap"}这个查询语句会计算堆内存使用率。你可以将这个查询语句添加到 Grafana 的图表面板中，实时监控堆内存使用率。
3.4 告警配置
除了监控数据，我们还需要配置告警规则，以便在指标数据异常时及时通知运维人员。
3.4.1 Prometheus 告警
你可以在 prometheus.yml 文件中配置告警规则。例如，以下规则会在 HTTP 请求速率超过每秒 100 个时触发告警：
rule_files:
- "rules/*.yml"
# 创建 rules 目录，并创建一个 rules/alerts.yml 文件
# mkdir rules
# vim rules/alerts.yml
# alerts.yml
groups:
- name: example
rules:
- alert: HighRequestRate
expr: rate(http_requests_total[5m]) > 100
for: 1m
labels:
severity: critical
annotations:
summary: "High request rate detected"
description: "Request rate is above 100 per second for more than 1 minute"这个规则定义了一个名为 HighRequestRate 的告警，当 rate(http_requests_total[5m]) > 100 持续 1 分钟时触发。告警的严重程度为 critical，并包含一个摘要和一个描述。
3.4.2 Grafana 告警
你也可以在 Grafana 中配置告警规则。在 Grafana 的面板设置中，你可以添加一个 "Alert" 标签，并配置告警规则。
四、 高级用法与最佳实践
4.1 使用 Service Discovery
在微服务架构中，服务的数量和位置可能会动态变化。手动配置 Prometheus 的 targets 显然是不现实的。这时，你可以使用 Service Discovery 来自动发现服务。
Prometheus 支持多种 Service Discovery 机制，例如 Kubernetes Service Discovery、Consul Service Discovery 等。你可以根据你的环境选择合适的 Service Discovery 机制。
4.2 使用 Exporters
除了直接从微服务抓取指标数据，你还可以使用 Exporters 来收集和暴露指标数据。
Exporters 是一些独立的程序，它们可以从各种数据源收集指标数据，并将这些数据暴露给 Prometheus。例如，你可以使用 Node Exporter 来收集服务器的 CPU、内存、磁盘等指标数据。
4.3 使用 PromQL 进行高级查询
PromQL 是一种强大的查询语言，你可以使用它来进行各种复杂的查询和分析。
例如，你可以使用 sum by 来计算每个服务的请求总数：
sum by (service) (rate(http_requests_total[5m]))你可以使用 quantile 来计算请求延迟的 95 分位数：
quantile(0.95, http_request_duration_seconds_bucket)4.4 监控基础设施
除了监控微服务，你还需要监控基础设施，例如服务器、数据库、消息队列等。
你可以使用 Node Exporter、MySQL Exporter、RabbitMQ Exporter 等来收集这些基础设施的指标数据。
4.5 监控日志
日志也是监控的重要组成部分。你可以使用 Promtail 和 Loki 来收集和查询日志。
Promtail 是一个日志收集器，它可以从各种数据源收集日志，并将这些日志发送给 Loki。Loki 是一个日志聚合系统，它可以存储和查询日志。
五、 总结
Prometheus 和 Grafana 是构建微服务监控平台的利器。它们可以帮助你实时监控微服务的健康状况，及时发现和解决问题。
通过本文的介绍，你应该已经掌握了 Prometheus 和 Grafana 的基本使用方法。希望你能够将这些知识应用到实际工作中，让你的微服务不再“裸奔”，而是穿上“监控战甲”，时刻保持最佳状态！
记住，监控不是一次性的工作，而是一个持续的过程。你需要不断地完善你的监控平台，以便更好地了解你的微服务。
祝你监控愉快！