监控与日志：用 Python 收集和分析系统数据

各位观众，各位朋友，各位未来的Python大师们，欢迎来到今天的“监控与日志：用 Python 收集和分析系统数据”讲座！我是你们的老朋友，老码农，今天咱们就来聊聊这个既重要又有点神秘的话题。

🚀 为什么要监控和日志？就像给汽车装了个GPS！

想象一下，你开着一辆豪华跑车，一路风驰电掣，爽歪歪！但是，如果没有仪表盘告诉你油量、速度、水温，没有行车记录仪记录你的行驶轨迹，万一出了问题，或者想回顾一下精彩瞬间，那可就抓瞎了！

系统监控和日志就相当于这辆跑车的仪表盘和行车记录仪。它们负责：

实时了解系统状态： CPU使用率、内存占用、磁盘空间、网络流量……就像你的血压、心跳、体温，让你随时了解身体状况。
追踪问题根源： 当系统出现故障、性能下降时，日志可以提供线索，帮助你像侦探一样找出罪魁祸首。
安全审计： 记录用户行为、系统事件，防止恶意攻击，保护你的数据安全。
性能优化： 通过分析监控数据和日志，发现性能瓶颈，提升系统效率。
合规性要求： 许多行业都有严格的合规性要求，需要记录系统操作，方便审计。

总之，没有监控和日志，你的系统就像在黑夜中航行的船，迷失方向，危机四伏！有了它们，你才能掌控全局，化险为夷，做一个掌控一切的船长！

🐍 Python：监控与日志的瑞士军刀！

Python，这门优雅而强大的语言，就像一把瑞士军刀，在监控和日志领域也能大显身手。它拥有丰富的库和框架，让你可以轻松地收集、处理、分析系统数据。

易于学习和使用： Python语法简洁明了，即使是新手也能快速上手。
强大的生态系统： 拥有大量的第三方库，如psutil、logging、requests、pandas、matplotlib等，涵盖了监控和日志的各个方面。
跨平台兼容性： Python可以在各种操作系统上运行，如Windows、Linux、macOS等。
可扩展性： Python可以与其他语言（如C、C++）集成，满足高性能需求。

可以说，Python是监控和日志领域的最佳选择之一。

🛠️ Python监控工具箱：我们的秘密武器！

接下来，让我们打开Python的监控工具箱，看看里面都有些什么宝贝：

psutil：系统信息收集大师

psutil（process and system utilities）是一个跨平台的库，可以用来获取系统信息，如CPU使用率、内存占用、磁盘空间、网络流量、进程信息等。它就像一个全能侦察兵，能把系统摸个底朝天。

import psutil

# CPU使用率
cpu_percent = psutil.cpu_percent(interval=1) # 每秒采样一次
print(f"CPU使用率: {cpu_percent}%")

# 内存信息
memory = psutil.virtual_memory()
print(f"总内存: {memory.total / (1024 * 1024 * 1024):.2f} GB") # 单位换算成GB
print(f"可用内存: {memory.available / (1024 * 1024 * 1024):.2f} GB")
print(f"内存使用率: {memory.percent}%")

# 磁盘信息
disk = psutil.disk_usage('/') # 根目录
print(f"总磁盘空间: {disk.total / (1024 * 1024 * 1024):.2f} GB")
print(f"可用磁盘空间: {disk.free / (1024 * 1024 * 1024):.2f} GB")
print(f"磁盘使用率: {disk.percent}%")

# 网络信息
net_io = psutil.net_io_counters()
print(f"接收字节数: {net_io.bytes_recv}")
print(f"发送字节数: {net_io.bytes_sent}")

# 进程信息
for process in psutil.process_iter(['pid', 'name', 'cpu_percent', 'memory_percent']):
    print(f"PID: {process.info['pid']}, Name: {process.info['name']}, CPU%: {process.info['cpu_percent']}, Memory%: {process.info['memory_percent']}")

这段代码就像一个简单的体检报告，告诉你系统的各项指标。你可以根据这些指标，及时发现潜在问题。

logging：日志记录的艺术

logging是Python自带的日志模块，可以用来记录程序运行时的各种信息，如错误、警告、调试信息等。它就像一个忠实的记录员，把你的程序的一举一动都记录下来。

import logging

# 配置日志
logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# 获取logger
logger = logging.getLogger(__name__)

# 记录日志
logger.debug("This is a debug message") # 调试信息，默认不显示
logger.info("This is an info message")   # 一般信息
logger.warning("This is a warning message") # 警告信息
logger.error("This is an error message")   # 错误信息
logger.critical("This is a critical message") # 严重错误信息

try:
    1 / 0
except Exception as e:
    logger.exception("发生异常") # 记录异常信息

这段代码展示了如何使用logging模块记录不同级别的日志信息。你可以根据需要，配置日志级别、格式、输出位置等。

requests：网络监控的利器

requests是一个强大的HTTP库，可以用来发送HTTP请求，获取网页内容、API数据等。它可以用来监控网站的可用性、响应时间等。它就像一个网络侦察兵，能帮你探测网络的各种情况。

import requests

try:
    response = requests.get('https://www.example.com', timeout=5) # 设置超时时间
    response.raise_for_status() # 检查HTTP状态码，如果不是200，则抛出异常
    print(f"网站状态: {response.status_code}")
    print(f"响应时间: {response.elapsed.total_seconds()} 秒")
except requests.exceptions.RequestException as e:
    print(f"网站访问失败: {e}")

这段代码展示了如何使用requests库监控网站的可用性和响应时间。你可以根据这些信息，及时发现网站故障。

数据可视化：让数据说话

光有数据还不够，我们需要把数据变成图表，让数据说话。matplotlib、seaborn、plotly都是不错的选择。

import matplotlib.pyplot as plt
import psutil
import time

cpu_usage = []
timestamps = []

plt.ion() # 开启交互模式

fig, ax = plt.subplots()
line, = ax.plot(timestamps, cpu_usage)

ax.set_xlabel("Time")
ax.set_ylabel("CPU Usage (%)")
ax.set_title("Real-time CPU Usage")
ax.set_ylim(0, 100)

start_time = time.time()

try:
    while True:
        cpu_percent = psutil.cpu_percent(interval=0.5)
        current_time = time.time() - start_time

        cpu_usage.append(cpu_percent)
        timestamps.append(current_time)

        line.set_xdata(timestamps)
        line.set_ydata(cpu_usage)

        ax.relim()
        ax.autoscale_view()

        fig.canvas.draw()
        fig.canvas.flush_events()

        time.sleep(0.5)

except KeyboardInterrupt:
    print("监控停止")

plt.ioff() # 关闭交互模式
plt.show()

这段代码会动态绘制CPU使用率的折线图，让你对CPU的使用情况一目了然。

告警系统：及时的提醒

有了监控，更要有告警。当系统指标超过阈值时，自动发送邮件、短信、微信消息等。这就像一个报警器，能及时提醒你处理问题。

import smtplib
from email.mime.text import MIMEText
import psutil

def send_email(subject, body, sender_email, sender_password, receiver_email):
    msg = MIMEText(body)
    msg['Subject'] = subject
    msg['From'] = sender_email
    msg['To'] = receiver_email

    try:
        with smtplib.SMTP_SSL('smtp.gmail.com', 465) as server:
            server.login(sender_email, sender_password)
            server.sendmail(sender_email, receiver_email, msg.as_string())
        print("邮件发送成功")
    except Exception as e:
        print(f"邮件发送失败: {e}")

def check_cpu_usage(threshold=80):
    cpu_percent = psutil.cpu_percent(interval=1)
    if cpu_percent > threshold:
        subject = "CPU使用率过高告警"
        body = f"CPU使用率已超过{threshold}%, 当前使用率为{cpu_percent}%"
        send_email(subject, body, "[email protected]", "your_password", "[email protected]")

# 示例用法
check_cpu_usage()

请务必替换示例代码中的邮箱地址和密码。

📊 案例分析：监控Linux服务器

现在，让我们通过一个案例，把这些工具串起来，构建一个简单的Linux服务器监控系统。

收集数据： 使用psutil收集CPU使用率、内存占用、磁盘空间、网络流量等信息。
记录日志： 使用logging记录系统事件、错误信息等。
存储数据： 可以将数据存储到数据库（如MySQL、PostgreSQL）、NoSQL数据库（如MongoDB、Redis）或文件中。
分析数据： 使用pandas进行数据清洗、转换、聚合。
可视化数据： 使用matplotlib或seaborn绘制图表，展示系统状态。
告警： 当系统指标超过阈值时，发送邮件或短信告警。

可以将这些步骤封装成一个Python脚本，定时运行，实现对Linux服务器的实时监控。

指标	描述	收集方法	存储方式	分析方法	告警阈值
CPU使用率	CPU的繁忙程度	`psutil.cpu_percent()`	数据库	平均值、最大值、趋势分析	>80%
内存占用	已使用的内存量	`psutil.virtual_memory()`	数据库	平均值、最大值、趋势分析	>80%
磁盘空间	已使用的磁盘空间	`psutil.disk_usage()`	数据库	平均值、最大值、趋势分析	>90%
网络流量	网络接收和发送的数据量	`psutil.net_io_counters()`	数据库	平均值、最大值、趋势分析	高峰时段
网站响应时间	网站响应速度	`requests.get()`	数据库	平均值、最大值、趋势分析、P95、P99	>2秒
错误日志	应用程序或系统记录的错误信息	`logging`	文件/数据库	错误类型统计、频率分析、关键词搜索	频繁出现
用户登录	用户登录事件	系统日志/审计日志	数据库	登录时间、登录地点、登录方式统计分析	异常登录

🛡️ 安全注意事项：保护你的监控系统！

监控系统虽然能保护你的系统，但它本身也可能成为攻击目标。因此，你需要采取一些安全措施，保护你的监控系统：

身份验证和授权： 只有授权用户才能访问监控数据和配置。
数据加密： 对敏感数据进行加密存储和传输。
访问控制： 限制对监控系统的访问。
安全更新： 及时更新监控系统和相关组件，修复安全漏洞。
日志审计： 记录对监控系统的操作，方便审计。

记住，安全无小事，小心驶得万年船！

🎉 总结：监控与日志，让你的系统更健康！

今天，我们一起学习了如何使用Python进行系统监控和日志分析。我们了解了监控和日志的重要性，学习了psutil、logging、requests等常用库，并通过案例分析，构建了一个简单的Linux服务器监控系统。

监控和日志就像给你的系统做体检，让你及时发现问题，防患于未然。有了它们，你的系统才能更健康、更稳定、更安全！

希望今天的讲座对你有所帮助。如果你喜欢我的分享，请点赞、评论、转发，让更多的人受益。感谢大家的观看，我们下次再见！👋

发表回复 取消回复

发表回复取消回复