PHP应用的动态限速（Rate Limiting）：基于Redis计数器与滑动窗口算法实现 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

PHP应用的动态限速：基于Redis计数器与滑动窗口算法实现

大家好，今天我们来聊聊PHP应用中的动态限速问题，以及如何利用Redis计数器和滑动窗口算法来实现一个高效且灵活的限速方案。

1. 限速的必要性

在Web应用中，限速扮演着至关重要的角色。它主要用于以下几个方面：

防止资源耗尽： 恶意用户或爬虫可能会发起大量的请求，导致服务器资源（CPU、内存、带宽等）被耗尽，影响正常用户的访问。
保护API接口： 对于开放的API接口，限速可以防止被滥用，确保API服务的稳定性和可用性。
防止DDoS攻击： 限速是防御DDoS攻击的一种基本手段，可以限制单个IP或用户的请求频率，减轻服务器的压力。
业务逻辑限制： 某些业务场景可能需要限制用户的操作频率，例如防止恶意刷单、恶意注册等。

2. 常见的限速算法

常见的限速算法有很多，例如：

固定窗口计数器： 在一个固定的时间窗口内，记录请求次数。如果请求次数超过阈值，则拒绝后续请求。
滑动窗口计数器： 将时间窗口划分为多个小窗口，记录每个小窗口内的请求次数。通过滑动窗口，可以更精确地控制请求速率。
漏桶算法： 将请求放入一个固定容量的漏桶中，漏桶以恒定的速率流出请求。如果请求速度超过漏桶的流出速度，则请求会被丢弃。
令牌桶算法： 以恒定的速率向桶中添加令牌，每个请求需要消耗一个令牌。如果桶中没有令牌，则拒绝请求。

3. 选择滑动窗口计数器

在今天的讨论中，我们将重点关注滑动窗口计数器算法。相比于固定窗口计数器，滑动窗口计数器更加平滑，避免了在窗口边界出现突发流量。

固定窗口计数器的问题： 假设我们设置1分钟内允许100个请求。在59秒时，用户发送了100个请求。在下一分钟的1秒时，用户又发送了100个请求。虽然在连续的2秒内，用户发送了200个请求，但由于窗口的划分，这两个请求都被允许通过。

滑动窗口计数器的优势： 滑动窗口计数器可以更精确地控制请求速率，因为它考虑了多个小窗口内的请求次数。它可以更好地应对突发流量，并提供更平滑的限速效果。

4. 基于Redis的滑动窗口计数器实现

我们将使用Redis作为计数器，来实现滑动窗口算法。Redis具有高性能、高可用性等特点，非常适合作为限速器的存储。

4.1 数据结构设计

我们需要在Redis中存储以下信息：

Key: 用于标识限速对象，例如用户的IP地址、用户ID等。
Value: 有序集合（Sorted Set），用于存储每个请求的时间戳。Sorted Set的score表示请求的时间戳，member可以随意设置，例如设置为请求的唯一ID。

4.2 算法实现步骤

获取当前时间戳。
移除Sorted Set中过期的时间戳。 过期时间戳是指早于当前时间戳减去窗口大小的时间戳。
获取Sorted Set的长度。 长度即为当前窗口内的请求数量。
判断请求数量是否超过阈值。 如果超过阈值，则拒绝请求。
将当前时间戳添加到Sorted Set中。
设置Sorted Set的过期时间。 过期时间设置为窗口大小。

4.3 PHP代码示例

<?php

class RateLimiter
{
    private $redis;
    private $prefix;
    private $windowSize; // 窗口大小，单位：秒
    private $maxRequests; // 最大请求数量

    public function __construct(Redis $redis, string $prefix, int $windowSize, int $maxRequests)
    {
        $this->redis = $redis;
        $this->prefix = $prefix;
        $this->windowSize = $windowSize;
        $this->maxRequests = $maxRequests;
    }

    /**
     * 检查是否允许请求
     *
     * @param string $key 限速对象，例如IP地址、用户ID
     * @return bool
     */
    public function isAllowed(string $key): bool
    {
        $redisKey = $this->prefix . ':' . $key;
        $now = microtime(true); // 获取当前时间戳，精确到毫秒

        $this->redis->zRemRangeByScore($redisKey, 0, $now - $this->windowSize); // 移除过期的时间戳

        $count = $this->redis->zCard($redisKey); // 获取当前窗口内的请求数量

        if ($count >= $this->maxRequests) {
            return false; // 超过阈值，拒绝请求
        }

        $this->redis->zAdd($redisKey, $now, uniqid()); // 添加当前时间戳
        $this->redis->expire($redisKey, $this->windowSize); // 设置过期时间

        return true; // 允许请求
    }

    /**
     * 获取剩余可请求数量
     *
     * @param string $key 限速对象，例如IP地址、用户ID
     * @return int
     */
    public function getRemainingRequests(string $key): int
    {
        $redisKey = $this->prefix . ':' . $key;
        $now = microtime(true);

        $this->redis->zRemRangeByScore($redisKey, 0, $now - $this->windowSize);

        $count = $this->redis->zCard($redisKey);

        return max(0, $this->maxRequests - $count);
    }
}

// 示例用法
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);

$rateLimiter = new RateLimiter($redis, 'api_rate_limit', 60, 100); // 窗口大小：60秒，最大请求数量：100

$ipAddress = $_SERVER['REMOTE_ADDR']; // 获取用户IP地址

if ($rateLimiter->isAllowed($ipAddress)) {
    // 处理请求
    echo "请求已处理n";
} else {
    // 拒绝请求
    http_response_code(429); // Too Many Requests
    echo "请求过于频繁，请稍后再试n";
}

echo "剩余请求数量: " . $rateLimiter->getRemainingRequests($ipAddress) . "n";

代码解释:

RateLimiter 类封装了限速逻辑。
__construct() 构造函数接收Redis实例、前缀、窗口大小和最大请求数量作为参数。
isAllowed() 方法用于检查是否允许请求。它首先移除过期的时间戳，然后获取当前窗口内的请求数量。如果请求数量超过阈值，则拒绝请求。否则，将当前时间戳添加到Sorted Set中，并设置过期时间。
getRemainingRequests() 方法用于获取剩余可请求数量.
zRemRangeByScore($redisKey, 0, $now - $this->windowSize): 移除 redisKey 中 score 值小于 now - $this->windowSize 的所有成员。这意味着移除所有早于当前时间 windowSize 秒之前的请求记录。
zAdd($redisKey, $now, uniqid()): 向 redisKey 中添加一个成员，score 值为当前时间戳 now，成员值为一个唯一的ID uniqid()。使用 uniqid() 确保即使在同一时间有多个请求，每个请求也会被视为不同的成员。
expire($redisKey, $this->windowSize): 设置 redisKey 的过期时间为 windowSize 秒。这意味着如果在 windowSize 秒内没有新的请求，Redis 会自动删除该键。

5. 动态调整限速策略

在实际应用中，我们可能需要根据不同的情况动态调整限速策略。例如，在高峰期降低限速阈值，在低谷期提高限速阈值。

5.1 动态配置

我们可以将限速策略存储在配置文件或数据库中，并提供一个管理界面，允许管理员动态修改配置。

5.2 监听配置变更

我们可以使用Redis的发布/订阅功能来监听配置变更。当配置发生变化时，Redis会向所有订阅者发送通知。PHP应用可以订阅配置变更的频道，并在收到通知后更新限速策略。

5.3 代码示例 (基于Redis Pub/Sub)

<?php

// 订阅配置变更频道
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);

$redis->subscribe(['rate_limit_config_channel'], function ($redis, $channel, $message) {
    // 解析配置信息
    $config = json_decode($message, true);

    // 更新限速策略
    if (isset($config['window_size'])) {
        $this->windowSize = $config['window_size'];
    }
    if (isset($config['max_requests'])) {
        $this->maxRequests = $config['max_requests'];
    }

    echo "限速配置已更新n";
});

//发布配置变更（在另一个进程或脚本中）
$redis2 = new Redis();
$redis2->connect('127.0.0.1', 6379);
$config = ['window_size' => 30, 'max_requests' => 50];
$redis2->publish('rate_limit_config_channel', json_encode($config));

代码解释:

第一个代码片段展示了如何使用 Redis 的 subscribe 方法来订阅一个名为 rate_limit_config_channel 的频道。当该频道收到消息时，回调函数会被执行。
回调函数接收三个参数：$redis (Redis 实例), $channel (接收消息的频道名称), 和 $message (接收到的消息内容)。
回调函数内部将接收到的 JSON 格式的消息解码为 PHP 数组，并根据数组中的 window_size 和 max_requests 键的值来更新限速策略。
第二个代码片段展示了如何使用 Redis 的 publish 方法向 rate_limit_config_channel 频道发布一个消息。该消息是一个 JSON 字符串，包含了新的限速配置信息。

6. 优化建议

Key的设计： 合理设计Key可以提高限速效率。例如，可以使用用户ID作为Key，也可以使用IP地址作为Key。根据实际业务场景选择合适的Key。
并发处理： 在高并发场景下，可以使用Lua脚本来保证原子性操作，避免竞争条件。
监控报警： 对限速器进行监控，当限速策略生效时，及时发出报警，以便管理员及时处理。
多级限速： 可以使用多级限速策略，例如先限制单个IP的请求频率，再限制单个用户的请求频率。
缓存： 可以缓存一些常用的配置信息，减少对Redis的访问压力。

7. Lua脚本优化并发

在高并发环境下，为了确保操作的原子性，防止多个进程同时修改Redis数据导致数据不一致，可以使用Lua脚本。Lua脚本在Redis服务器端执行，可以保证一系列操作的原子性。

-- KEYS[1]: Redis key (e.g., 'api_rate_limit:127.0.0.1')
-- ARGV[1]: Current timestamp (microtime)
-- ARGV[2]: Window size (seconds)
-- ARGV[3]: Max requests

local redisKey = KEYS[1]
local now = tonumber(ARGV[1])
local windowSize = tonumber(ARGV[2])
local maxRequests = tonumber(ARGV[3])

-- Remove expired timestamps
redis.call('ZREMRANGEBYSCORE', redisKey, 0, now - windowSize)

-- Get current request count
local count = redis.call('ZCARD', redisKey)

-- Check if rate limit exceeded
if count >= maxRequests then
    return 0  -- Rate limit exceeded
end

-- Add current timestamp
redis.call('ZADD', redisKey, now, ARGV[1] .. math.random()) -- Append random number to avoid collisions

-- Set expiry
redis.call('EXPIRE', redisKey, windowSize)

return 1  -- Request allowed

PHP 代码中使用 Lua 脚本：

<?php

// ... (Redis connection and RateLimiter class setup)

    public function isAllowed(string $key): bool
    {
        $redisKey = $this->prefix . ':' . $key;
        $now = microtime(true);

        $script = <<<LUA
            -- KEYS[1]: Redis key (e.g., 'api_rate_limit:127.0.0.1')
            -- ARGV[1]: Current timestamp (microtime)
            -- ARGV[2]: Window size (seconds)
            -- ARGV[3]: Max requests

            local redisKey = KEYS[1]
            local now = tonumber(ARGV[1])
            local windowSize = tonumber(ARGV[2])
            local maxRequests = tonumber(ARGV[3])

            -- Remove expired timestamps
            redis.call('ZREMRANGEBYSCORE', redisKey, 0, now - windowSize)

            -- Get current request count
            local count = redis.call('ZCARD', redisKey)

            -- Check if rate limit exceeded
            if count >= maxRequests then
                return 0  -- Rate limit exceeded
            end

            -- Add current timestamp
            redis.call('ZADD', redisKey, now, ARGV[1] .. math.random()) -- Append random number to avoid collisions

            -- Set expiry
            redis.call('EXPIRE', redisKey, windowSize)

            return 1  -- Request allowed
LUA;

        $allowed = $this->redis->eval($script, [$redisKey, $now, $this->windowSize, $this->maxRequests], 1);

        return (bool)$allowed;
    }
// ...
?>

代码解释：

Lua脚本首先移除过期的时间戳，然后获取当前窗口内的请求数量。如果请求数量超过阈值，则返回0，表示拒绝请求。否则，将当前时间戳添加到Sorted Set中，并设置过期时间，然后返回1，表示允许请求。
在PHP代码中，使用$this->redis->eval()方法执行Lua脚本。第一个参数是Lua脚本的内容，第二个参数是一个数组，包含了传递给Lua脚本的参数。第三个参数表示Key的数量。
ARGV[1] .. math.random() : 在时间戳后面附加一个随机数，以确保每个添加的成员都是唯一的，即使在同一微秒内发生多个请求。这避免了Sorted Set中由于Score相同而可能导致的成员覆盖问题。

8. 监控与告警

实施限速后，监控其有效性和对用户体验的影响至关重要。以下是一些建议监控的指标：

限流次数： 统计被限流的请求数量，可以帮助了解限速策略是否过于严格。
平均响应时间： 监控API的平均响应时间，确保限速没有对性能产生负面影响。
错误率： 监控API的错误率，特别是429错误（Too Many Requests），可以帮助判断限速策略是否需要调整。
资源利用率： 监控服务器的CPU、内存和带宽利用率，确保限速可以有效防止资源耗尽。

当上述指标超过预设的阈值时，应触发告警，以便及时采取措施。可以使用Prometheus, Grafana等监控工具结合报警系统实现。

9. 高并发下的优化方向

在高并发环境下，除了使用Lua脚本之外，还可以考虑以下优化方向：

Redis 集群： 使用 Redis 集群来提高 Redis 的吞吐量和可用性。将数据分散到多个 Redis 节点上，可以有效缓解单个节点的压力。
连接池： 使用 Redis 连接池来管理 Redis 连接，避免频繁创建和销毁连接带来的性能损耗。
异步处理： 将一些非关键的限速操作异步处理，例如将限速日志写入数据库。可以使用消息队列来实现异步处理。
CDN： 使用 CDN 来缓存静态资源，减轻服务器的压力。

请求限速：是应用稳定性的保障

今天我们讨论了PHP应用中动态限速的必要性，以及如何使用Redis计数器和滑动窗口算法来实现一个高效且灵活的限速方案。通过合理地使用限速策略，我们可以有效地保护服务器资源，防止API接口被滥用，并提高应用的可用性和稳定性。

数据结构与代码：核心在于滑动窗口的实现

我们重点讲解了滑动窗口算法的原理和实现步骤，并提供了详细的PHP代码示例，展示了如何在Redis中存储和管理请求信息。同时，我们还介绍了如何动态调整限速策略，以及如何在高并发场景下进行优化。

动态调整与监控告警：保障限速策略的有效性

最后，我们需要对限速器进行监控和告警，以便及时发现和解决问题。希望今天的分享能够帮助大家更好地理解和应用限速技术。

PHP应用的动态限速：基于Redis计数器与滑动窗口算法实现

发表回复 取消回复

发表回复取消回复