Redis `slowlog` 慢查询日志：发现并优化慢命令

各位观众，晚上好！我是今晚的讲师，今天咱们聊聊Redis的slowlog，也就是慢查询日志。这玩意儿就像你的家庭医生，专门帮你找出Redis里那些磨磨蹭蹭的命令，然后你就可以对它们进行“外科手术”，让你的Redis跑得飞快。

一、啥是慢查询日志？

简单来说，slowlog就是Redis记录那些执行时间超过你设定的阈值的命令的日志。它就像一个记仇的小本本，专门记录那些“慢吞吞”的命令，然后告诉你：“嘿，这个家伙执行了这么久，是不是该优化一下了？”。

二、为啥需要慢查询日志？

想象一下，你的Redis服务器突然变得很慢，用户疯狂投诉，你一脸懵逼，不知道发生了什么。这时候，slowlog就能派上大用场了。它可以帮你快速定位到导致性能问题的命令，让你有的放矢地进行优化。

三、如何配置慢查询日志？

Redis的慢查询日志配置主要有两个参数：

slowlog-log-slower-than：设置慢查询的阈值，单位是微秒（microseconds）。超过这个时间的命令就会被记录。
slowlog-max-len：设置慢查询日志的最大长度，也就是最多记录多少条慢查询日志。

你可以通过redis-cli来配置这两个参数：

redis-cli config set slowlog-log-slower-than 10000  # 超过10ms的命令记录
redis-cli config set slowlog-max-len 128            # 最多记录128条慢查询日志

或者，你也可以直接修改redis.conf配置文件，找到这两个参数，修改成你想要的值，然后重启Redis服务器。

注意： 修改配置文件后一定要重启Redis服务器才能生效，而使用config set命令修改后立即生效，但是服务器重启后会失效，配置还是以配置文件为准。

四、如何查看慢查询日志？

Redis提供了几个命令来查看慢查询日志：

slowlog get [n]：获取最近的n条慢查询日志。如果不指定n，则获取所有慢查询日志。
slowlog len：获取慢查询日志的长度，也就是当前记录了多少条慢查询日志。
slowlog reset：清空慢查询日志。

举个例子，我们来获取最近的5条慢查询日志：

redis-cli slowlog get 5

你会看到类似这样的输出：

1) 1) (integer) 1
   2) (integer) 1678886400
   3) (integer) 10001
   4) 1) "KEYS"
      2) "*"

2) 1) (integer) 2
   2) (integer) 1678886401
   3) (integer) 15000
   4) 1) "HGETALL"
      2) "user:123"

解释一下这些字段：

(integer) 1：慢查询日志的ID，每次新增一条日志，ID都会递增。
(integer) 1678886400：命令执行的时间戳。
(integer) 10001：命令执行的时长，单位是微秒。
1) "KEYS" 2) "*"：执行的命令及其参数。

五、如何分析慢查询日志？

拿到慢查询日志后，就要开始分析了。一般来说，我们需要关注以下几个方面：

命令类型： 哪些类型的命令执行时间比较长？是KEYS、HGETALL，还是SORT？不同的命令类型，优化的方法也不同。
命令参数： 哪些参数会导致命令执行时间变长？比如，KEYS *和KEYS user:*，哪个更慢？
执行频率： 哪些慢查询命令执行频率比较高？如果一个命令执行时间很长，但是执行频率很低，可能影响不大；但如果一个命令执行时间虽然不算太长，但是执行频率很高，那就要特别关注了。

六、常见的慢查询命令及其优化方法

接下来，我们来聊聊一些常见的慢查询命令及其优化方法。

KEYS 命令

KEYS命令用于查找所有符合给定模式的key。这个命令非常简单粗暴，它会遍历整个数据库，找到所有匹配的key，然后返回。如果你的数据库很大，KEYS命令就会非常慢。

优化方法：

*避免使用`KEYS `：** 这是最愚蠢的做法，它会遍历整个数据库。
使用SCAN命令： SCAN命令是Redis 2.8版本引入的，它是一种游标式的遍历方式，可以分批返回key，不会阻塞Redis服务器。
```
import redis

r = redis.Redis(host='localhost', port=6379, db=0)

cursor = 0
while True:
    cursor, keys = r.scan(cursor=cursor, match='user:*', count=100)
    for key in keys:
        print(key)
    if cursor == 0:
        break
```
这个例子使用了SCAN命令来查找所有以user:开头的key。count参数可以控制每次返回的key的数量。
使用Redis的索引： 如果你需要根据某些条件查找key，可以考虑使用Redis的索引功能。比如，可以使用Sorted Set来存储key，然后根据Score来进行查找。

HGETALL 命令

HGETALL命令用于获取指定hash的所有字段和值。如果hash很大，HGETALL命令也会很慢。

优化方法：

避免一次性获取所有字段： 如果你只需要hash中的部分字段，可以使用HMGET命令来获取指定的字段。
```
import redis

r = redis.Redis(host='localhost', port=6379, db=0)

values = r.hmget('user:123', ['name', 'age'])
print(values)
```
这个例子使用了HMGET命令来获取user:123这个hash中的name和age字段。
分页获取： 如果你必须获取hash中的所有字段，可以考虑分页获取。先使用HKEYS命令获取hash的所有字段，然后分批使用HMGET命令获取字段的值。

SORT 命令

SORT命令用于对列表、集合或Sorted Set进行排序。如果数据量很大，SORT命令也会很慢。

优化方法：

尽量避免在生产环境中使用SORT命令： SORT命令的性能开销很大，尽量避免在生产环境中使用。
使用STORE选项： 如果你需要多次使用排序结果，可以使用STORE选项将排序结果保存到一个新的列表中，避免重复排序。
```
import redis

r = redis.Redis(host='localhost', port=6379, db=0)

r.sort('my_list', store='sorted_list') # 对my_list排序，结果保存到sorted_list
```
优化排序参数： SORT命令有很多参数，比如BY、GET、ASC/DESC，合理使用这些参数可以提高排序效率。

Lua 脚本中的慢查询

有时候，慢查询可能出现在Lua脚本中。Lua脚本可以执行复杂的逻辑，但是如果脚本写得不好，也会导致性能问题。

优化方法：

检查Lua脚本的逻辑： 仔细检查Lua脚本的逻辑，看看是否有可以优化的地方。比如，避免在循环中执行Redis命令。
使用Redis的缓存： 如果Lua脚本需要频繁访问Redis的数据，可以考虑使用Redis的缓存功能，减少对Redis的访问次数。
使用redis.call替代redis.pcall: redis.pcall 会捕获错误，但是也会带来性能损耗. 如果你确信你的脚本不会出现错误，可以使用 redis.call 提升性能.

七、实战案例

假设我们有一个电商网站，用户可以搜索商品。我们使用Redis来缓存商品信息，以提高搜索速度。但是，最近用户反映搜索速度变慢了。

我们首先通过slowlog get命令查看慢查询日志，发现有很多HGETALL命令执行时间很长。

1) 1) (integer) 12345
   2) (integer) 1678886400
   3) (integer) 50000
   4) 1) "HGETALL"
      2) "product:123"

经过分析，我们发现product:123这个hash中有很多字段，但是用户搜索时只需要用到name、price、image这几个字段。

于是，我们修改了代码，使用HMGET命令只获取需要的字段。

import redis

r = redis.Redis(host='localhost', port=6379, db=0)

product = r.hmget('product:123', ['name', 'price', 'image'])
print(product)

修改后，搜索速度明显提升，用户体验也得到了改善。

八、其他注意事项

合理设置slowlog-log-slower-than： 这个参数设置得太小，会导致记录大量的慢查询日志，影响Redis服务器的性能；设置得太大，又可能漏掉一些需要优化的命令。建议根据你的业务场景进行调整。
定期分析慢查询日志： 慢查询日志是动态变化的，需要定期分析，及时发现和解决性能问题。
使用监控工具： 除了slowlog，还可以使用一些监控工具来监控Redis服务器的性能，比如RedisInsight、Prometheus等。

九、总结

slowlog是Redis性能优化的利器，它可以帮助你快速定位到导致性能问题的命令，然后进行针对性的优化。希望今天的分享能帮助大家更好地使用slowlog，让你的Redis跑得更快、更稳。

最后，送给大家一句名言：“没有慢查询，只有不会优化的程序员。” 祝大家都能成为优秀的Redis优化专家！

十、代码片段总结表格

为了方便大家回顾，我把今天提到的代码片段整理成一个表格：

代码片段	功能
`redis-cli config set slowlog-log-slower-than 10000`	设置慢查询阈值为10ms
`redis-cli config set slowlog-max-len 128`	设置慢查询日志最大长度为128
`redis-cli slowlog get 5`	获取最近的5条慢查询日志
`redis-cli slowlog len`	获取慢查询日志长度
`redis-cli slowlog reset`	清空慢查询日志
`python<br>import redis<br><br>r = redis.Redis(host='localhost', port=6379, db=0)<br><br>cursor = 0<br>while True:<br> cursor, keys = r.scan(cursor=cursor, match='user:*', count=100)<br> for key in keys:<br> print(key)<br> if cursor == 0:<br> break<br>` \| 使用`SCAN`命令查找所有以`user:`开头的key
`python<br>import redis<br><br>r = redis.Redis(host='localhost', port=6379, db=0)<br><br>values = r.hmget('user:123', ['name', 'age'])<br>print(values)<br>` \| 使用`HMGET`命令获取`user:123`这个hash中的`name`和`age`字段
`python<br>import redis<br><br>r = redis.Redis(host='localhost', port=6379, db=0)<br><br>r.sort('my_list', store='sorted_list') # 对my_list排序，结果保存到sorted_list<br>` \| 使用`STORE`选项将`my_list`排序的结果保存到`sorted_list`
`python<br>import redis<br><br>r = redis.Redis(host='localhost', port=6379, db=0)<br><br>product = r.hmget('product:123', ['name', 'price', 'image'])<br>print(product)<br>` \| 使用`HMGET`命令只获取`product:123`的`name`, `price`, `image`字段

希望这个表格能帮助你更好地理解和使用slowlog。感谢大家的观看，下次再见！

发表回复 取消回复

发表回复取消回复