各位亲爱的开发者朋友们，早上/下午/晚上好！我是今天的主讲人，很高兴能和大家一起聊聊数据库压测这个话题。 别看数据库平时老老实实地存着数据，感觉人畜无害，但真要来了并发高峰，它可是会给你脸色看的。所以，压测这玩意儿就显得尤为重要。今天咱们就来一场“数据库压力山大”的实战演练，从工具选型到指标分析，手把手教你如何搞定它！
一、压测，你真的了解它吗？
压测，顾名思义，就是给数据库施加压力，看看它能承受多大的量。 为什么要压测？因为我们想知道：
- 瓶颈在哪里？ 是CPU、内存、IO，还是网络？
- 最大并发是多少？ 数据库能同时处理多少请求？
- 响应时间如何？ 在高并发下，查询速度是否还能接受？
- 系统是否稳定？ 长时间高负载下会不会崩溃？
别等到双十一的时候才发现数据库扛不住，那就真成“事故现场”了。
二、压测工具，选哪个好？
市面上压测工具琳琅满目，免费的、收费的，图形化的、命令行的，让人眼花缭乱。 咱们今天重点介绍几款常用的，各有千秋：
-
MySQL自带的
mysqlslap:- 优点： 简单易用，无需额外安装，直接利用MySQL客户端即可。
- 缺点： 功能相对简单，定制性不高，适合快速了解数据库的基本性能。
mysqlslap的基本命令格式如下：mysqlslap --host=localhost --port=3306 --user=root --password=your_password --concurrency=100 --iterations=5 --number-of-queries=1000 --query="SELECT * FROM your_table" --auto-generate-sql --auto-number-write=10解释一下：
--host：数据库服务器地址。--port：数据库端口。--user：数据库用户名。--password：数据库密码。--concurrency：并发连接数。--iterations：运行次数。--number-of-queries：每个迭代执行的查询数。--query：要执行的SQL查询语句。--auto-generate-sql：自动生成SQL语句。--auto-number-write：自动写入数据。
举个例子，假设我们要测试
your_table表的查询性能，使用100个并发连接，运行5次，每次执行1000次查询：mysqlslap --host=localhost --port=3306 --user=root --password=your_password --concurrency=100 --iterations=5 --number-of-queries=1000 --query="SELECT * FROM your_table" -
sysbench:- 优点： 功能强大，支持多种压测模式（CPU、内存、IO、数据库），可定制性高，能模拟复杂的业务场景。
- 缺点： 需要额外安装，配置相对复杂。
sysbench的使用步骤一般分为三步：-
准备数据：
sysbench --db-driver=mysql --mysql-host=localhost --mysql-port=3306 --mysql-user=root --mysql-password=your_password --mysql-db=testdb oltp_read_write --tables=10 --table-size=100000 --threads=1 prepare解释一下：
--db-driver：数据库驱动类型，这里是mysql。--mysql-host：数据库服务器地址。--mysql-port：数据库端口。--mysql-user：数据库用户名。--mysql-password：数据库密码。--mysql-db：数据库名称。oltp_read_write：压测脚本类型，这里是读写混合型。--tables：创建的表数量。--table-size：每个表的数据量。--threads：准备数据时使用的线程数。
-
运行压测：
sysbench --db-driver=mysql --mysql-host=localhost --mysql-port=3306 --mysql-user=root --mysql-password=your_password --mysql-db=testdb oltp_read_write --tables=10 --table-size=100000 --threads=100 --time=60 --report-interval=10 run解释一下：
--threads：并发线程数。--time：运行时间（秒）。--report-interval：每隔多少秒输出一次报告。
-
清理数据：
sysbench --db-driver=mysql --mysql-host=localhost --mysql-port=3306 --mysql-user=root --mysql-password=your_password --mysql-db=testdb oltp_read_write --tables=10 --table-size=100000 --threads=1 cleanup
举个例子，假设我们要测试读写混合型的性能，使用100个并发线程，运行60秒，每隔10秒输出一次报告：
sysbench --db-driver=mysql --mysql-host=localhost --mysql-port=3306 --mysql-user=root --mysql-password=your_password --mysql-db=testdb oltp_read_write --tables=10 --table-size=100000 --threads=100 --time=60 --report-interval=10 run -
JMeter:- 优点： 图形化界面，操作简单，功能强大，支持多种协议（HTTP、JDBC、FTP等），可扩展性强，能模拟复杂的业务流程。
- 缺点： 需要额外安装，资源消耗较大。
JMeter的使用方法相对复杂，需要通过图形界面配置线程组、取样器、监听器等组件。 这里简单介绍一下如何使用JMeter进行数据库压测：- 添加JDBC Connection Configuration: 在线程组中添加一个JDBC Connection Configuration，配置数据库连接信息（数据库URL、JDBC驱动、用户名、密码等）。
- 添加JDBC Request: 添加一个JDBC Request，配置要执行的SQL查询语句。
- 添加监听器: 添加一个监听器（如Summary Report、View Results Tree），用于查看压测结果。
JMeter的强大之处在于可以模拟复杂的业务流程，比如模拟用户登录、浏览商品、下单支付等操作，从而更真实地模拟用户的行为。 -
HammerDB- 优点： 专门为数据库设计的压测工具，支持多种数据库，包括MySQL、SQL Server、Oracle等。可以模拟TPC-C和TPC-H等标准压测模型。
- 缺点： 安装和配置相对复杂，需要一定的学习成本。
HammerDB的使用通常包括以下步骤：- 安装和配置
HammerDB：按照官方文档进行安装，并配置数据库连接信息。 - 选择压测模型：选择 TPC-C 或 TPC-H。TPC-C 模拟在线事务处理（OLTP）场景，TPC-H 模拟决策支持系统（DSS）场景。
- 配置参数：根据实际需求配置 Warehouse 数量、用户数量、运行时间等参数。
- 运行压测：启动压测，并监控数据库性能指标。
- 分析结果：分析压测结果，找出性能瓶颈。
HammerDB的优势在于可以模拟标准的压测模型，从而更好地评估数据库的性能。
选择哪个工具？
这取决于你的需求和技术水平：
- 简单快速：
mysqlslap - 功能强大，可定制性高：
sysbench - 图形化界面，模拟复杂业务流程：
JMeter - 模拟标准压测模型：
HammerDB
三、压测环境，怎么搭建？
压测环境尽量要和生产环境保持一致，包括：
- 硬件配置： CPU、内存、磁盘、网络。
- 软件版本： 操作系统、数据库版本。
- 数据量： 数据库中的数据量要和生产环境接近。
- 网络环境： 网络延迟、带宽要和生产环境相似。
如果条件不允许，至少要保证硬件配置和数据量接近。 别用自己的笔记本电脑压测生产数据库，那纯粹是给自己找麻烦。
四、压测脚本，怎么写？
压测脚本要尽可能模拟真实的业务场景。 比如，电商网站的压测脚本可以包括：
- 查询商品列表
- 查询商品详情
- 加入购物车
- 下单支付
每个场景都要设置不同的并发数和请求比例，例如：
| 场景 | 并发数 | 请求比例 |
|---|---|---|
| 查询商品列表 | 100 | 50% |
| 查询商品详情 | 200 | 30% |
| 下单支付 | 50 | 20% |
如果你用的是 sysbench，可以直接使用它自带的 oltp_read_write 脚本。 如果你用的是 JMeter，就需要自己编写脚本，可以使用 JDBC Request 来执行 SQL 查询。
示例：使用 JMeter 压测查询商品列表
- 添加线程组： 在 Test Plan 中添加一个 Thread Group。
- 配置线程组： 设置线程数（并发数）、Ramp-up period（启动时间）、循环次数。
- 添加 JDBC Connection Configuration： 配置数据库连接信息。
Database URL：jdbc:mysql://localhost:3306/your_databaseJDBC Driver classname：com.mysql.cj.jdbc.DriverUsername：rootPassword：your_password
- 添加 JDBC Request： 配置要执行的 SQL 查询语句。
Query Type：Select StatementSQL Query：SELECT * FROM products LIMIT 100
- 添加监听器： 添加一个监听器（如 Summary Report），用于查看压测结果。
五、压测指标，看什么？
压测过程中，我们需要关注以下几个关键指标：
- TPS（Transactions Per Second）： 每秒事务数，越高越好。
- QPS（Queries Per Second）： 每秒查询数，越高越好。
- 响应时间： 平均响应时间、最大响应时间、最小响应时间，越低越好。
- 错误率： 请求失败的比例，越低越好。
- CPU使用率： 数据库服务器的CPU使用情况，过高可能导致性能瓶颈。
- 内存使用率： 数据库服务器的内存使用情况，过高可能导致OOM（Out Of Memory）错误。
- IOPS（Input/Output Operations Per Second）： 磁盘每秒的读写次数，越高越好。
- 网络带宽： 网络传输速度，过低可能导致网络瓶颈。
这些指标可以通过数据库自带的监控工具（如 MySQL Performance Schema）或者第三方监控工具（如 Prometheus、Grafana）来获取。
六、压测流程，怎么走？
压测流程一般分为以下几个步骤：
- 准备环境： 搭建压测环境，准备数据。
- 编写脚本： 编写压测脚本，模拟真实业务场景。
- 预热： 运行少量请求，预热数据库缓存。
- 正式压测： 逐渐增加并发数，观察各项指标的变化。
- 分析结果： 分析压测结果，找出性能瓶颈。
- 优化： 根据分析结果，优化数据库配置、SQL语句、代码等。
- 重复压测： 重复以上步骤，直到达到性能目标。
举个例子：
假设我们使用 sysbench 压测 your_table 表的查询性能，目标是TPS达到1000。
- 准备环境： 搭建压测环境，准备
your_table表的数据。 - 编写脚本： 使用
sysbench自带的oltp_read_only脚本。 - 预热： 运行少量请求，预热数据库缓存。
- 正式压测：
- 第一次压测： 使用50个并发线程，运行60秒，观察TPS。
- 第二次压测： 如果TPS低于1000，则增加并发线程数到100，再次运行60秒，观察TPS。
- 第三次压测： 如果TPS仍然低于1000，则继续增加并发线程数，直到TPS达到1000。
- 分析结果： 如果TPS达到1000，但CPU使用率过高，则需要优化SQL语句或者数据库配置。
- 优化： 优化SQL语句，例如添加索引。
- 重复压测： 重复以上步骤，直到TPS达到1000，且CPU使用率在可接受范围内。
七、压测技巧，有哪些？
- 逐步加压： 不要一开始就使用很大的并发数，而是应该逐步增加，观察各项指标的变化。
- 关注瓶颈： 压测过程中要密切关注CPU、内存、IO、网络等指标，找出性能瓶颈。
- 模拟真实场景： 压测脚本要尽可能模拟真实的业务场景，才能更准确地评估数据库的性能。
- 记录数据： 压测过程中要记录各项指标的数据，方便后续分析。
- 不要在生产环境压测： 除非你有充分的理由，否则不要在生产环境压测，以免影响线上业务。
八、常见问题，怎么解决？
- CPU使用率过高： 可能是SQL语句效率低下，或者数据库配置不合理。
- 内存使用率过高： 可能是数据库缓存设置过大，或者存在内存泄漏。
- IOPS过高： 可能是磁盘读写过于频繁，或者磁盘性能不足。
- 网络带宽不足： 可能是网络传输速度过慢，或者网络连接数过多。
- 响应时间过长： 可能是数据库服务器负载过高，或者网络延迟过大。
九、总结
数据库压测是一个复杂而重要的过程，需要我们选择合适的工具，搭建合适的压测环境，编写合适的压测脚本，关注关键的性能指标，并根据压测结果进行优化。 希望今天的分享能够帮助大家更好地理解和实践数据库压测，让我们的系统更加稳定可靠！
今天的讲座就到这里，谢谢大家！ 希望大家在实际工作中多多实践，熟能生巧！如果大家有什么问题，欢迎随时提问。 祝大家工作顺利，身体健康！