PHP中的Mutation Testing（变异测试）：利用Infection评估测试覆盖率的有效性

PHP Mutation Testing：使用 Infection 评估测试覆盖率的有效性

各位同学，大家好！今天我们来聊聊一个可能很多人不太熟悉，但却非常重要的测试技术——Mutation Testing，中文叫做变异测试。我们将以 PHP 为例，并使用 Infection 这个工具来深入探讨如何利用变异测试来评估你的测试覆盖率是否真的有效。

1. 什么是变异测试？

传统的代码覆盖率工具（如 PHPUnit 的代码覆盖率报告）告诉我们哪些代码行被测试覆盖了，但它无法保证你的测试用例 真正 测试了这些代码。举个例子，假设我们有这样一个函数：

function add(int $a, int $b): int
{
    return $a + $b;
}

如果我们有一个测试用例仅仅是：

public function testAdd(): void
{
    $this->assertEquals(2, add(1, 1));
}

这个测试用例覆盖了 add 函数中的 return $a + $b; 这行代码。但是，这个测试用例并不能检测出这个函数是不是写错了，比如错误地写成了 return $a - $b;。即使我们运行这个测试用例，一切正常，测试通过，代码覆盖率也显示 100%，但实际上我们的测试并没有起到应有的作用。

这就是变异测试要解决的问题。变异测试的核心思想是：

• 引入变异体 (Mutants)： 通过在原始代码中引入小的、人为的错误（例如，将 + 替换为 -，将 > 替换为 >=，将 true 替换为 false 等等），生成多个变异体。每个变异体都是原始代码的一个轻微修改版本。
• 运行测试用例： 针对每个变异体，运行现有的测试用例。
• 评估结果：
  • 如果某个变异体被至少一个测试用例检测出来了（即测试用例失败了），我们就说这个变异体被“杀死 (killed)”。这意味着我们的测试用例能够发现这个错误。
  • 如果某个变异体没有被任何测试用例检测出来（即所有测试用例都通过了），我们就说这个变异体“存活 (survived)”。这意味着我们的测试用例不足以发现这个错误，需要改进。

2. 变异测试的优势

• 更准确地评估测试有效性： 变异测试能够更深入地评估你的测试用例是否真的能发现代码中的错误，而不仅仅是覆盖了代码行。
• 发现薄弱的测试环节： 通过分析存活的变异体，你可以找到测试覆盖的盲点，并针对性地编写新的测试用例。
• 提高代码质量： 通过不断地改进测试用例，你可以提高代码的健壮性和可靠性。

3. Infection：PHP 的变异测试框架

Infection 是一个专门为 PHP 设计的变异测试框架。它可以自动生成变异体，运行测试用例，并生成详细的报告。

3.1 安装 Infection

首先，你需要安装 Infection。你可以使用 Composer 来安装：

composer require --dev infection/infection

3.2 配置 Infection

Infection 需要一个配置文件 infection.php 来指定要进行变异测试的代码目录、测试目录、以及其他配置选项。一个简单的 infection.php 配置文件如下所示：

<?php

declare(strict_types=1);

use InfectionConfigurationConfiguration;
use InfectionConfigurationEntryBadge;
use InfectionConfigurationEntryLogs;
use InfectionConfigurationEntrySource;
use InfectionConfigurationEntryTestFramework;
use SymfonyComponentFinderFinder;

return Configuration::create()
    ->source(Source::create()->directories(['src'])) // 指定要进行变异测试的代码目录
    ->testFramework(TestFramework::create('phpunit', 'phpunit.xml')) // 指定测试框架和配置文件
    ->testFrameworkOptions('--configuration phpunit.xml')
    ->logs(
        Logs::create()
            ->text('infection.log') // 指定日志文件
            ->summary('summary.log') // 指定摘要文件
            ->json('infection.json') // 指定JSON格式的报告文件
            ->debug('debug.log') // 指定调试日志文件
    )
    ->paths([
        'src'
    ])
    ->excludePaths([
        'vendor'
    ])
    ->bootstrap('vendor/autoload.php')
    ->initialTestsPhpOptions(' -d pcov.enabled=1')
    ->mutators([
        'Arithmetic/Plus', // 将 + 替换为 -
        'BooleanSubstitution', // 将 true 替换为 false，将 false 替换为 true
        'ReturnVoid', // 将返回值替换为 void
    ])
    ->ignoreSourceCodeMutators([
        '@SuppressWarnings'
    ])
    ->badge(Badge::create('infection.svg'))
    ->timeout(10); // 每个变异体的超时时间（秒）

配置文件的关键选项：

• source：指定要进行变异测试的源代码目录。
• testFramework：指定使用的测试框架（例如，phpunit）和配置文件。
• logs：指定各种报告文件的路径。
• paths: 指定要分析的代码路径。
• excludePaths: 指定要排除的代码路径（例如，vendor 目录）。
• bootstrap：指定自动加载文件。
• mutators：指定要使用的变异算子 (mutators)。变异算子定义了如何修改原始代码以生成变异体。Infection 提供了很多内置的变异算子，你也可以自定义变异算子。
• timeout: 指定每个变异体的超时时间。如果测试用例运行超过这个时间，Infection 会认为该变异体存活。

3.3 运行 Infection

配置完成后，你就可以运行 Infection 了：

./vendor/bin/infection

Infection 会分析你的代码，生成变异体，运行测试用例，并生成报告。

4. 一个简单的例子

让我们通过一个简单的例子来演示如何使用 Infection。假设我们有以下代码：

<?php

namespace App;

class Calculator
{
    public function add(int $a, int $b): int
    {
        return $a + $b;
    }

    public function isPositive(int $number): bool
    {
        return $number > 0;
    }
}

以及以下测试用例：

<?php

namespace AppTests;

use AppCalculator;
use PHPUnitFrameworkTestCase;

class CalculatorTest extends TestCase
{
    public function testAdd(): void
    {
        $calculator = new Calculator();
        $this->assertEquals(2, $calculator->add(1, 1));
    }

    public function testIsPositive(): void
    {
        $calculator = new Calculator();
        $this->assertTrue($calculator->isPositive(1));
    }
}

我们的 infection.php 配置文件如下：

<?php

declare(strict_types=1);

use InfectionConfigurationConfiguration;
use InfectionConfigurationEntryBadge;
use InfectionConfigurationEntryLogs;
use InfectionConfigurationEntrySource;
use InfectionConfigurationEntryTestFramework;
use SymfonyComponentFinderFinder;

return Configuration::create()
    ->source(Source::create()->directories(['src']))
    ->testFramework(TestFramework::create('phpunit', 'phpunit.xml'))
    ->testFrameworkOptions('--configuration phpunit.xml')
    ->logs(
        Logs::create()
            ->text('infection.log')
            ->summary('summary.log')
            ->json('infection.json')
            ->debug('debug.log')
    )
    ->paths([
        'src'
    ])
    ->excludePaths([
        'vendor'
    ])
    ->bootstrap('vendor/autoload.php')
    ->initialTestsPhpOptions(' -d pcov.enabled=1')
    ->mutators([
        'Arithmetic/Plus',
        'BooleanSubstitution',
        'GreaterThanLower' // 将 > 替换为 >=
    ])
    ->ignoreSourceCodeMutators([
        '@SuppressWarnings'
    ])
    ->badge(Badge::create('infection.svg'))
    ->timeout(10);

运行 Infection 后，它会生成多个变异体。例如，对于 add 函数，Infection 可能会生成一个将 + 替换为 - 的变异体。对于 isPositive 函数，Infection 可能会生成一个将 > 替换为 >= 的变异体。

Infection 运行测试用例后，会生成一个报告，显示哪些变异体被杀死了，哪些变异体存活了。

5. 分析报告并改进测试

Infection 生成的报告会告诉你哪些变异体存活了。这意味着你的测试用例没有能够检测出这些变异体引入的错误。你需要分析这些存活的变异体，并针对性地编写新的测试用例。

例如，如果 isPositive 函数的 > 替换为 >= 的变异体存活了，这意味着你的测试用例没有测试 number 等于 0 的情况。你需要添加一个新的测试用例来测试这种情况：

public function testIsPositiveZero(): void
{
    $calculator = new Calculator();
    $this->assertFalse($calculator->isPositive(0));
}

添加了这个测试用例后，再次运行 Infection，你会发现这个变异体被杀死了。

6. 常用的变异算子 (Mutators)

Infection 提供了很多内置的变异算子，常用的包括：

变异算子	描述	示例
Arithmetic/Plus	将 + 替换为 -	$a + $b -> $a - $b
Arithmetic/Minus	将 - 替换为 +	$a - $b -> $a + $b
Arithmetic/Mul	将 * 替换为 /	$a * $b -> $a / $b
Arithmetic/Div	将 / 替换为 *	$a / $b -> $a * $b
BooleanSubstitution	将 true 替换为 false，将 false 替换为 true	true -> false, false -> true
IfStmtRemoval	移除 if 语句	if ($a > $b) { ... } -> { ... }
ElseStmtRemoval	移除 else 语句	if ($a > $b) { ... } else { ... } -> if ($a > $b) { ... }
ReturnVoid	将返回值替换为 void	return $a; -> return;
FunctionCallRemoval	移除函数调用	strlen($str) -> “
Increment/Pre	将前置递增 ++ 替换为前置递减 --	++$i -> --$i
Increment/Post	将后置递增 ++ 替换为后置递减 --	$i++ -> $i--
Decrement/Pre	将前置递减 -- 替换为前置递增 ++	--$i -> ++$i
Decrement/Post	将后置递减 -- 替换为后置递增 ++	$i-- -> $i++
ConditionalBoundary/GreaterThan	将 > 替换为 >=	$a > $b -> $a >= $b
ConditionalBoundary/GreaterThanOrEqualTo	将 >= 替换为 >	$a >= $b -> $a > $b
ConditionalBoundary/LessThan	将 < 替换为 <=	$a < $b -> $a <= $b
ConditionalBoundary/LessThanOrEqualTo	将 <= 替换为 <	$a <= $b -> $a < $b
Negation	对表达式取反	$a > $b -> !($a > $b)
ArrayOneElement	将数组替换为第一个元素	$arr = [1, 2, 3] -> $arr = 1
ArrayItemRemoval	移除数组中的一个元素	$arr = [1, 2, 3] -> $arr = [1, 3]
AssignOp/Assign	将赋值操作符 = 替换为其他的赋值操作符，如 +=， -=， *=， /=， %=， &=， |=， ^=， <<=， >>=， ??=	$a = $b -> $a += $b, $a -= $b, $a *= $b 等
Unwrap/Array	解包数组	$arr = [1, 2, 3] -> 1, 2, 3
Unwrap/If	解包 if 语句	if ($a > $b) { return true; } -> return true;
Unwrap/While	解包 while 循环	while ($a > $b) { $a--; } -> $a--;
Unwrap/DoWhile	解包 do-while 循环	do { $a--; } while ($a > $b); -> $a--;
Unwrap/Foreach	解包 foreach 循环	foreach ($arr as $item) { echo $item; } -> echo $item;
Unwrap/For	解包 for 循环	for ($i = 0; $i < 10; $i++) { echo $i; } -> echo $i;
Yield	将 yield 替换为 return	yield $value; -> return $value;

7. 自定义变异算子 (Custom Mutators)

虽然 Infection 提供了很多内置的变异算子，但在某些情况下，你可能需要自定义变异算子来满足特定的需求。你可以通过实现 Mutator 接口来创建自定义变异算子。

8. 变异测试的局限性

• 计算成本高： 变异测试需要生成大量的变异体并运行测试用例，因此计算成本很高，耗时较长。
• 等价变异体 (Equivalent Mutants)： 有些变异体可能与原始代码在语义上是等价的，即使测试用例没有检测出这些变异体，也不意味着测试用例存在问题。需要人工分析这些等价变异体。
• 不适用于所有类型的代码： 变异测试更适合于测试业务逻辑和算法，对于 UI 代码、配置代码等，变异测试的效果可能不佳。

9. 最佳实践

• 从小处着手： 不要一次性对整个项目进行变异测试，可以先从关键模块或高风险代码开始。
• 选择合适的变异算子： 根据代码的特点选择合适的变异算子。
• 持续改进测试用例： 将变异测试作为持续集成流程的一部分，定期运行变异测试，并根据报告改进测试用例。
• 结合其他测试技术： 变异测试不是万能的，应该与其他测试技术（例如，单元测试、集成测试、端到端测试）结合使用。

10.总结

变异测试是一种强大的测试技术，可以帮助你更准确地评估测试覆盖率的有效性，发现薄弱的测试环节，并提高代码质量。虽然变异测试存在一些局限性，但只要合理使用，它可以为你的项目带来很大的价值。通过 Infection，我们可以在 PHP 项目中轻松地进行变异测试，并不断改进我们的测试用例，让我们的代码更加健壮和可靠。

关键点回顾

变异测试通过引入人为错误来评估测试用例的有效性，Infection 是 PHP 中一个强大的变异测试框架，通过分析报告并改进测试用例可以提高代码质量。