Python测试中的VCR模式：实现外部API调用的录制与回放机制

大家好，今天我们来探讨一个在Python测试中非常实用的技术：VCR模式。VCR，即Video Cassette Recorder（录像机），这个名字形象地说明了它的作用：录制并回放API调用。在测试中，尤其是集成测试中，我们经常需要调用外部API。频繁地真实调用不仅耗时，还会受到网络环境、API服务稳定性的影响，更可能产生不必要的费用。VCR模式通过录制实际的API请求和响应，然后在测试时回放这些录制好的“磁带”，从而避免了真实的网络请求，提高了测试效率和稳定性。

1. 为什么需要VCR模式？

在编写单元测试和集成测试时，我们经常需要模拟外部服务的行为。手动mock这些外部服务的响应可能非常繁琐且容易出错，尤其是当API接口非常复杂或经常变动时。以下是一些使用VCR模式的优势：

提高测试速度： 避免了真实的网络请求，测试速度大幅提升。
增强测试稳定性： 不依赖外部服务的稳定性，测试结果更加可靠。
减少外部依赖： 可以在没有网络连接的情况下运行测试。
节约成本： 避免了因频繁调用API产生的费用。
简化测试设置： 无需手动mock复杂的API响应。

2. VCR.py 介绍与安装

在Python中，vcr.py 是一个流行的VCR模式实现库。它提供了一种简单而强大的方式来录制和回放HTTP交互。

安装：

pip install vcrpy

3. VCR.py 的基本使用

让我们通过一个简单的例子来了解 vcr.py 的基本使用方法。假设我们需要测试一个函数，该函数通过调用一个外部API来获取用户信息。

import requests
import vcr

def get_user_info(user_id):
    """
    通过API获取用户信息
    """
    url = f"https://api.example.com/users/{user_id}"
    response = requests.get(url)
    response.raise_for_status()  # 检查HTTP错误
    return response.json()

# 使用 VCR 装饰器
@vcr.use_cassette('cassettes/get_user_info.yaml')
def test_get_user_info():
    """
    测试获取用户信息的函数
    """
    user_id = 123
    user_info = get_user_info(user_id)
    assert user_info['id'] == user_id
    assert user_info['name'] == 'John Doe'
    assert user_info['email'] == '[email protected]'

# 如果是第一次运行，会真实请求API并保存到cassette中
# 后续运行会直接从cassette中读取数据
test_get_user_info()

代码解释：

import vcr: 导入 vcr 库。
@vcr.use_cassette('cassettes/get_user_info.yaml'): 这是一个装饰器，它告诉 vcr.py 在测试函数 test_get_user_info 执行期间，使用名为 cassettes/get_user_info.yaml 的 “cassette” 文件来录制或回放HTTP交互。 cassettes 目录需要手动创建。
get_user_info(user_id): 这是我们需要测试的函数，它发送一个HTTP GET请求到 https://api.example.com/users/{user_id}。
test_get_user_info(): 这是一个测试函数，它调用 get_user_info 函数并断言返回的用户信息是否正确。

运行流程：

第一次运行 test_get_user_info():
- vcr.py 发现 cassettes/get_user_info.yaml 文件不存在。
- vcr.py 允许 get_user_info 函数发送真实的HTTP请求到 https://api.example.com/users/123。
- vcr.py 将HTTP请求和响应的信息（包括URL、headers、body等）保存到 cassettes/get_user_info.yaml 文件中。
- 测试函数执行完成，断言成功或失败。
后续运行 test_get_user_info():
- vcr.py 发现 cassettes/get_user_info.yaml 文件存在。
- vcr.py 阻止 get_user_info 函数发送真实的HTTP请求。
- vcr.py 从 cassettes/get_user_info.yaml 文件中读取之前保存的HTTP响应。
- vcr.py 将读取的HTTP响应返回给 get_user_info 函数。
- 测试函数执行完成，断言成功或失败。

Cassette 文件：

cassettes/get_user_info.yaml 文件是一个YAML格式的文件，它包含了HTTP请求和响应的详细信息。你可以打开这个文件查看其内容。这个文件是VCR模式的核心，它存储了录制下来的HTTP交互。

4. VCR.py 的高级用法

vcr.py 提供了许多高级功能，可以满足更复杂的测试需求。

4.1. 配置 VCR 对象

可以使用 vcr.VCR() 创建一个 VCR 对象，并配置各种选项。

import vcr

my_vcr = vcr.VCR(
    cassette_library_dir='cassettes',  # 指定 cassette 文件的存储目录
    record_mode='once',  # 指定录制模式
    filter_headers=['Authorization'], # 指定要过滤的header
    match_on=['uri', 'method'],      # 指定匹配请求的依据
    decode_compressed_response=True  # 解码压缩的响应
)

@my_vcr.use_cassette('my_cassette.yaml')
def test_something():
    # Your test code here
    pass

常用配置选项：

配置项	说明
`cassette_library_dir`	指定 cassette 文件的存储目录。默认情况下，cassette 文件存储在当前目录下。
`record_mode`	指定录制模式。可选值包括：
	`once` (默认): 只在 cassette 文件不存在时录制，存在时回放。
	`new_episodes`: 每次运行都录制新的 HTTP 交互，并将它们添加到 cassette 文件中。
	`none`: 从不录制，只回放。如果 cassette 文件不存在，则会引发异常。
	`all`: 总是录制，覆盖 cassette 文件中的内容。
`filter_headers`	指定要从 cassette 文件中过滤掉的 headers 列表。这可以用于保护敏感信息，例如 API 密钥。
`filter_query_parameters`	指定要从 cassette 文件中过滤掉的 query parameters 列表。
`filter_post_data_parameters`	指定要从 cassette 文件中过滤掉的 POST data parameters 列表。
`match_on`	指定匹配请求的依据。可选值包括：
	`uri` (默认): 匹配 URL。
	`method`: 匹配 HTTP 方法 (GET, POST, PUT, DELETE 等)。
	`body`: 匹配请求体。
	`headers`: 匹配请求头。
`decode_compressed_response`	是否解码压缩的响应。如果 API 返回压缩的响应，则应设置为 `True`。

4.2. 录制模式 (Record Modes)

record_mode 控制着 vcr.py 如何处理 HTTP 交互的录制。

once (默认): 这是最常用的模式。如果 cassette 文件不存在，则录制新的 HTTP 交互。如果 cassette 文件已经存在，则回放已录制的数据。
new_episodes: 每次运行测试时都录制新的 HTTP 交互，并将它们添加到 cassette 文件中。这可以用于记录 API 的变化。
none: 从不录制 HTTP 交互。如果 cassette 文件不存在，则会引发异常。这可以用于确保测试不会意外地发送真实的 HTTP 请求。
all: 总是录制 HTTP 交互，覆盖 cassette 文件中的内容。这可以用于重新录制 cassette 文件，例如当 API 发生变化时。

4.3. 过滤敏感信息

在录制HTTP交互时，我们可能需要过滤掉一些敏感信息，例如API密钥、密码等。vcr.py 提供了多种方法来实现这一点。

a. 过滤 Headers:

my_vcr = vcr.VCR(
    filter_headers=['Authorization', 'X-API-Key']
)

这将从 cassette 文件中过滤掉 Authorization 和 X-API-Key headers。

b. 过滤 Query Parameters:

my_vcr = vcr.VCR(
    filter_query_parameters=['api_key']
)

这将从 cassette 文件中过滤掉 URL 中的 api_key query parameter。例如，https://api.example.com/users?api_key=YOUR_API_KEY 将被记录为 https://api.example.com/users?api_key=FILTERED.

c. 过滤 POST Data Parameters:

my_vcr = vcr.VCR(
    filter_post_data_parameters=['password']
)

这将从 cassette 文件中过滤掉 POST 请求中的 password parameter。

4.4. 请求匹配 (Request Matching)

match_on 选项控制着 vcr.py 如何将 HTTP 请求与 cassette 文件中的录制进行匹配。默认情况下，vcr.py 使用 URL (uri) 和 HTTP 方法 (method) 来匹配请求。

a. 自定义匹配规则:

可以使用自定义的匹配函数来定义更复杂的匹配规则。

def my_matcher(r1, r2):
    """
    自定义的请求匹配函数
    """
    return r1.uri == r2.uri and r1.method == r2.method and r1.body == r2.body

my_vcr = vcr.VCR(
    match_on=['uri', 'method', 'body'],
    custom_matchers=[my_matcher]
)

在这个例子中，我们定义了一个自定义的匹配函数 my_matcher，它比较了 URL、HTTP 方法和请求体。

5. 与 Pytest 集成

vcr.py 可以很容易地与 pytest 集成，从而简化测试流程。

5.1. 使用 Fixtures

可以使用 pytest fixtures 来创建 VCR 对象，并在测试函数中使用它。

import pytest
import vcr

@pytest.fixture(scope='module')
def my_vcr():
    """
    创建一个 VCR fixture
    """
    return vcr.VCR(cassette_library_dir='cassettes')

def test_something(my_vcr):
    """
    使用 VCR fixture 的测试函数
    """
    with my_vcr.use_cassette('my_cassette.yaml'):
        # Your test code here
        pass

5.2. 使用 pytest-vcr

pytest-vcr 是一个 pytest 插件，它提供了一些额外的功能来简化 vcr.py 的使用。

安装：

pip install pytest-vcr

使用：

import pytest
import requests

def get_user_info(user_id):
    """
    通过API获取用户信息
    """
    url = f"https://api.example.com/users/{user_id}"
    response = requests.get(url)
    response.raise_for_status()  # 检查HTTP错误
    return response.json()

@pytest.mark.vcr
def test_get_user_info():
    """
    测试获取用户信息的函数
    """
    user_id = 123
    user_info = get_user_info(user_id)
    assert user_info['id'] == user_id
    assert user_info['name'] == 'John Doe'
    assert user_info['email'] == '[email protected]'

在这个例子中，我们使用 @pytest.mark.vcr 装饰器来标记测试函数。pytest-vcr 会自动创建一个 cassette 文件，并使用它来录制或回放 HTTP 交互。cassette文件的名称默认基于测试函数的名称，存储在默认的cassette目录。

6. 最佳实践

保持 Cassette 文件清洁: 避免在 cassette 文件中存储敏感信息。使用 filter_headers、filter_query_parameters 和 filter_post_data_parameters 来过滤掉敏感信息。
选择合适的录制模式: 根据测试的需求选择合适的录制模式。once 模式适用于大多数情况。
定期更新 Cassette 文件: 当 API 发生变化时，需要更新 cassette 文件。可以使用 record_mode='all' 来重新录制 cassette 文件。
使用有意义的 Cassette 文件名: 使用清晰、有意义的 cassette 文件名，以便于理解测试的目的。
将 Cassette 文件纳入版本控制: 将 cassette 文件纳入版本控制，以便于跟踪 API 的变化。
注意 API 的 rate limiting: 某些 API 有 rate limiting 限制。在录制 cassette 文件时，要注意避免超过 rate limiting 限制。
处理动态数据: 如果 API 返回的数据包含动态部分（例如时间戳），则需要使用自定义的匹配规则或响应修改器来处理这些动态数据。

7. 总结一下

VCR模式是一种强大的测试技术，可以显著提高测试效率和稳定性，尤其是在涉及到外部API调用时。通过录制和回放HTTP交互，我们可以避免真实的网络请求，减少外部依赖，节约成本，并简化测试设置。 vcr.py 是Python中一个流行的VCR模式实现库，它提供了丰富的功能来满足各种测试需求。希望通过今天的讲解，大家能够掌握VCR模式的基本原理和使用方法，并在实际项目中应用它，提升测试质量。

更多IT精英技术系列讲座，到智猿学院

Python测试中的VCR模式：实现外部API调用的录制与回放机制

发表回复 取消回复

发表回复取消回复