C++中的代码覆盖率（Coverage）工具：实现分支、语句与MCDC覆盖率测试 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

好的，我们开始吧。

C++ 代码覆盖率工具：实现分支、语句与 MCDC 覆盖率测试

今天我们来深入探讨 C++ 代码覆盖率工具，以及如何利用它们实现分支覆盖、语句覆盖和更严格的 MCDC (Modified Condition/Decision Coverage) 覆盖。代码覆盖率是衡量测试完整性的重要指标，它告诉我们代码中有多少部分被执行到了。不同类型的覆盖率侧重点不同，适用于不同的测试需求。

1. 什么是代码覆盖率？

代码覆盖率是一种衡量测试有效性的指标，它通过分析测试执行期间代码的哪些部分被执行来评估测试的完整性。简单来说，它回答了“我的测试到底测到了多少代码？”这个问题。高的代码覆盖率并不能保证代码完全没有bug，但它能大大提高我们对代码质量的信心，并帮助我们发现未被测试到的潜在问题。

2. 几种常见的代码覆盖率类型

语句覆盖率 (Statement Coverage): 这是最基本的覆盖率类型。它衡量的是代码中每个语句是否都被执行到。
分支覆盖率 (Branch Coverage): 也称为判定覆盖率。它衡量的是每个判断 (如 if, else, switch, while, for 等) 的所有可能结果是否都被执行到。
条件覆盖率 (Condition Coverage): 衡量的是每个判断中的每个条件是否都取真和假值。
路径覆盖率 (Path Coverage): 衡量的是代码中所有可能的执行路径是否都被执行到。
MCDC 覆盖率 (Modified Condition/Decision Coverage): 一种更严格的覆盖率类型，它要求每个条件都能独立地影响判断的结果。

3. 为什么需要代码覆盖率？

发现未测试的代码： 代码覆盖率能够帮助我们发现哪些代码没有被测试到，从而可以补充相应的测试用例。
提高测试质量： 通过分析覆盖率报告，我们可以发现测试用例的不足之处，并改进测试策略。
降低风险： 更高的代码覆盖率意味着更少的潜在bug被遗漏，从而降低了软件发布后的风险。
代码重构信心： 当我们重构代码时，高覆盖率的测试能够确保重构后的代码仍然能够正常工作。

4. 常用的 C++ 代码覆盖率工具

gcov/lcov: 这是 GCC 编译器自带的覆盖率工具。gcov 负责收集覆盖率数据，lcov 负责生成 HTML 报告。
llvm-cov/llvm-profdata: 这是 LLVM 编译器工具链自带的覆盖率工具。
BullseyeCoverage: 一个商业的 C++ 代码覆盖率工具，功能强大，支持多种覆盖率类型。
Coverity: 一个静态代码分析工具，也可以用于代码覆盖率分析。

我们重点介绍 gcov/lcov，因为它是免费且常用的工具。

5. 使用 gcov/lcov 进行代码覆盖率测试

步骤 1: 编译时添加覆盖率选项

在编译 C++ 代码时，需要添加 -fprofile-arcs 和 -ftest-coverage 选项。这两个选项会生成覆盖率数据文件。

例如，假设我们有以下 C++ 代码 example.cpp:

// example.cpp
#include <iostream>

int add(int a, int b) {
  if (a > 0 && b > 0) {
    return a + b;
  } else {
    return 0;
  }
}

int main() {
  std::cout << "Result: " << add(5, 3) << std::endl;
  std::cout << "Result: " << add(-1, 2) << std::endl;
  return 0;
}

使用以下命令编译：

g++ -fprofile-arcs -ftest-coverage example.cpp -o example

步骤 2: 运行程序

运行编译后的程序 example：

./example

运行后，会生成 .gcda 和 .gcno 文件。.gcno 文件是编译时生成的，包含了代码的结构信息。.gcda 文件是运行时生成的，包含了代码的执行统计信息。

步骤 3: 使用 gcov 生成覆盖率报告

使用 gcov 命令生成覆盖率报告：

gcov example.cpp

这会生成一个 example.cpp.gcov 文件，其中包含了代码的覆盖率信息。

example.cpp.gcov 文件内容类似如下：

        -:    0:Source:example.cpp
        -:    0:Graph:example.gcno
        -:    0:Data:example.gcda
        -:    0:Runs:1
        -:    0:Programs:1
        -:    1:#include <iostream>
        -:    2:
        1:    3:int add(int a, int b) {
        1:    4:  if (a > 0 && b > 0) {
    %%%%%:    5:    return a + b;
        -:    6:  } else {
        1:    7:    return 0;
        -:    8:  }
        1:    9:}
        -:   10:
        1:   11:int main() {
        1:   12:  std::cout << "Result: " << add(5, 3) << std::endl;
        1:   13:  std::cout << "Result: " << add(-1, 2) << std::endl;
        1:   14:  return 0;
        -:   15:}

第一列显示了代码行执行的次数。
-: 表示该行不是可执行代码。
%%%%% 表示该行没有被执行到。

在这个例子中，add 函数中的 return a + b; 行没有被执行到，因为我们只测试了两种情况：a > 0 && b > 0 和 !(a > 0 && b > 0)，没有单独覆盖 a > 0 为 false 的情况。

步骤 4: 使用 lcov 生成 HTML 报告

lcov 可以将 gcov 生成的覆盖率数据转换成 HTML 报告，方便查看。

首先，需要安装 lcov：

sudo apt-get install lcov  # Debian/Ubuntu
sudo yum install lcov      # CentOS/RHEL

然后，执行以下命令生成 HTML 报告：

lcov -capture -directory . -output-file coverage.info  # 收集覆盖率数据
lcov -remove coverage.info '/usr/*' -output-file coverage.info # 移除系统库的覆盖率数据
genhtml coverage.info -output-directory html  # 生成 HTML 报告

这会在 html 目录下生成 HTML 报告。打开 html/index.html 就可以查看覆盖率报告了。

6. 分支覆盖、语句覆盖和 MCDC 覆盖的实现

回到 example.cpp 的例子，我们来分析如何通过测试用例来提高不同类型的覆盖率。

语句覆盖: main 函数中的所有语句都被执行了，所以语句覆盖率是 100%。
分支覆盖: add 函数中的 if 语句有两个分支：a > 0 && b > 0 为真和为假。我们已经覆盖了这两个分支，所以分支覆盖率是 100%。
MCDC 覆盖: add 函数中的 if 语句有两个条件：a > 0 和 b > 0。为了满足 MCDC 覆盖，我们需要以下测试用例：

a b a > 0 b > 0 Expected Result

5 3 True True 8

-1 3 False True 0

5 -3 True False 0

目前的测试用例只有前两行，缺少第三行。我们需要添加一个测试用例 add(5, -3)。

a	b	a > 0	b > 0	Expected Result
5	3	True	True	8
-1	3	False	True	0
5	-3	True	False	0

修改 main 函数如下：

// example.cpp
#include <iostream>

int add(int a, int b) {
  if (a > 0 && b > 0) {
    return a + b;
  } else {
    return 0;
  }
}

int main() {
  std::cout << "Result: " << add(5, 3) << std::endl;
  std::cout << "Result: " << add(-1, 2) << std::endl;
  std::cout << "Result: " << add(5, -3) << std::endl; // Added test case
  return 0;
}

重新编译、运行、生成覆盖率报告：

g++ -fprofile-arcs -ftest-coverage example.cpp -o example
./example
gcov example.cpp

现在 example.cpp.gcov 文件显示所有代码都被执行了。

7. 使用 Google Test 框架进行单元测试和覆盖率收集

为了更好地组织测试用例，我们可以使用 Google Test 框架。

首先，安装 Google Test：

sudo apt-get install libgtest-dev
cd /usr/src/gtest
sudo cmake CMakeLists.txt
sudo make
sudo cp libgtest.a /usr/lib
sudo cp libgtest_main.a /usr/lib

然后，创建一个测试文件 example_test.cpp:

// example_test.cpp
#include "gtest/gtest.h"
#include "example.cpp" // Include the source file directly

TEST(AddTest, PositiveNumbers) {
  EXPECT_EQ(8, add(5, 3));
}

TEST(AddTest, NegativeA) {
  EXPECT_EQ(0, add(-1, 2));
}

TEST(AddTest, NegativeB) {
  EXPECT_EQ(0, add(5, -3));
}

TEST(AddTest, BothNegative) {
  EXPECT_EQ(0, add(-1, -2));
}

注意: example.cpp 必须直接包含在测试文件中，而不是只包含头文件。这是 gcov 能够收集覆盖率数据的关键。

编译测试文件：

g++ -fprofile-arcs -ftest-coverage example_test.cpp -o example_test -lgtest -lgtest_main -pthread

运行测试：

./example_test

生成覆盖率报告的步骤和之前一样。

8. 集成到构建系统 (Makefile/CMake)

为了方便，可以将覆盖率测试集成到构建系统中。

例如，在 Makefile 中添加以下内容：

CXXFLAGS += -fprofile-arcs -ftest-coverage
LDFLAGS += -lgtest -lgtest_main -pthread

all: example example_test

example: example.cpp
    $(CXX) $(CXXFLAGS) example.cpp -o example

example_test: example_test.cpp example.cpp # Important: list example.cpp here!
    $(CXX) $(CXXFLAGS) example_test.cpp -o example_test $(LDFLAGS)

test: example_test
    ./example_test

coverage: test
    lcov -capture -directory . -output-file coverage.info
    lcov -remove coverage.info '/usr/*' -output-file coverage.info
    genhtml coverage.info -output-directory html

现在，执行 make coverage 就可以运行测试并生成覆盖率报告了。

9. 代码覆盖率工具的局限性

虽然代码覆盖率工具很有用，但它们也有一些局限性：

高覆盖率不等于无 bug： 即使代码覆盖率达到 100%，仍然可能存在 bug，因为测试用例可能没有覆盖所有可能的输入和边界情况。
难以测试异常处理： 测试异常处理代码通常比较困难，需要构造特定的错误条件。
对并发代码的覆盖率分析比较复杂： 并发代码的执行顺序不确定，难以保证所有可能的执行路径都被覆盖。

10. 总结：提升代码质量，覆盖率分析是重要一环

代码覆盖率是衡量测试完整性的重要指标。通过使用 gcov/lcov 等工具，我们可以分析代码的覆盖率，并改进测试用例，以提高代码质量。不同的覆盖率类型侧重点不同，适用于不同的测试需求。MCDC 覆盖率是一种更严格的覆盖率类型，可以更有效地发现潜在的 bug。

更多IT精英技术系列讲座，到智猿学院

C++ 代码覆盖率工具：实现分支、语句与 MCDC 覆盖率测试

发表回复 取消回复

发表回复取消回复