Python的`CI/CD`：如何使用`GitLab CI`、`GitHub Actions`和`Docker`自动化部署流程。 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

Python 的 CI/CD：使用 GitLab CI、GitHub Actions 和 Docker 自动化部署流程

大家好，今天我们来深入探讨如何使用 GitLab CI、GitHub Actions 和 Docker 自动化 Python 项目的部署流程。持续集成（CI）和持续部署（CD）是现代软件开发的核心实践，能够显著提高开发效率、代码质量和交付速度。我们将通过实际示例，一步步地讲解如何配置这些工具，构建一个健壮的自动化部署流水线。

1. CI/CD 概念回顾

在深入实践之前，我们先简单回顾一下 CI/CD 的基本概念：

持续集成 (CI): 指频繁地（最好每次代码提交后）将开发者的代码合并到共享仓库中。每次合并后，都会自动运行构建、测试等流程，以尽早发现集成问题。
持续交付 (CD): 指能够可靠地、以较短的周期发布新版本。这意味着代码的更改不仅要通过自动化测试，还要自动准备发布到生产环境。
持续部署 (CD): 是持续交付的更进一步，它意味着每次代码更改通过所有阶段的自动化流水线后，都会自动部署到生产环境。

2. Docker 容器化

在开始 CI/CD 流程之前，我们需要将 Python 应用容器化。使用 Docker 可以确保应用在不同环境中运行一致，简化部署流程。

2.1 创建 Dockerfile

在项目根目录下创建一个名为 Dockerfile 的文件，内容如下：

# 使用官方 Python 镜像作为基础镜像
FROM python:3.9-slim-buster

# 设置工作目录
WORKDIR /app

# 将依赖文件复制到容器中
COPY requirements.txt .

# 安装依赖
RUN pip install --no-cache-dir -r requirements.txt

# 将应用程序代码复制到容器中
COPY . .

# 设置环境变量 (可选)
ENV FLASK_APP=app.py

# 暴露端口 (如果应用需要)
EXPOSE 5000

# 定义启动命令
CMD ["python", "app.py"]

解释:

FROM python:3.9-slim-buster: 指定基础镜像为 Python 3.9 的精简版。
WORKDIR /app: 设置容器内的工作目录。
COPY requirements.txt .: 将 requirements.txt 文件复制到容器的工作目录。
RUN pip install --no-cache-dir -r requirements.txt: 安装 requirements.txt 中列出的所有依赖项。--no-cache-dir 可以减少镜像大小。
COPY . .: 将项目的所有文件复制到容器的工作目录。
ENV FLASK_APP=app.py: 设置环境变量，这里假设我们使用 Flask 框架，并指定应用入口文件。
EXPOSE 5000: 声明容器将监听 5000 端口 (根据应用实际端口调整)。
CMD ["python", "app.py"]: 定义容器启动时执行的命令。

2.2 创建 .dockerignore 文件

为了减小镜像大小，避免将不必要的文件复制到容器中，创建一个 .dockerignore 文件，内容如下：

*.pyc
__pycache__/
.git
.gitignore
venv/

解释:

*.pyc: 忽略 Python 编译后的字节码文件。
__pycache__/: 忽略 Python 缓存目录。
.git: 忽略 Git 仓库目录。
.gitignore: 忽略 .gitignore 文件本身。
venv/: 忽略虚拟环境目录。

2.3 构建 Docker 镜像

在项目根目录下，使用以下命令构建 Docker 镜像：

docker build -t my-python-app .

解释:

docker build: 构建 Docker 镜像的命令。
-t my-python-app: 为镜像指定一个标签 (tag)，这里是 my-python-app。
.: 指定 Dockerfile 所在的目录为当前目录。

2.4 运行 Docker 容器

构建完成后，可以使用以下命令运行 Docker 容器：

docker run -d -p 5000:5000 my-python-app

解释:

docker run: 运行 Docker 容器的命令。
-d: 在后台运行容器。
-p 5000:5000: 将宿主机的 5000 端口映射到容器的 5000 端口。
my-python-app: 指定要运行的镜像。

3. 使用 GitLab CI/CD

GitLab CI/CD 是 GitLab 内置的 CI/CD 工具。它使用 .gitlab-ci.yml 文件来定义流水线。

3.1 创建 .gitlab-ci.yml 文件

在项目根目录下创建一个名为 .gitlab-ci.yml 的文件，内容如下：

stages:
  - build
  - test
  - deploy

variables:
  DOCKER_IMAGE: registry.gitlab.com/$CI_PROJECT_PATH:$CI_COMMIT_SHA

build:
  stage: build
  image: docker:latest
  services:
    - docker:dind
  before_script:
    - docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" $CI_REGISTRY
  script:
    - docker build -t $DOCKER_IMAGE .
    - docker push $DOCKER_IMAGE

test:
  stage: test
  image: python:3.9-slim-buster
  dependencies:
    - build
  before_script:
    - pip install -r requirements.txt
  script:
    - python -m pytest tests/

deploy:
  stage: deploy
  image: docker:latest
  services:
    - docker:dind
  dependencies:
    - test
  before_script:
    - docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" $CI_REGISTRY
  script:
    - docker pull $DOCKER_IMAGE
    - docker stop my-running-app || true
    - docker rm my-running-app || true
    - docker run -d -p 80:5000 --name my-running-app $DOCKER_IMAGE
  only:
    - main

解释:

stages: 定义流水线的阶段，这里分为 build, test, deploy 三个阶段。
variables: 定义全局变量，DOCKER_IMAGE 用于存储 Docker 镜像的名称，使用了 GitLab CI 提供的预定义变量 $CI_PROJECT_PATH (项目路径) 和 $CI_COMMIT_SHA (提交 SHA)。
build 阶段:
- stage: build: 指定该 job 属于 build 阶段。
- image: docker:latest: 使用 Docker 镜像作为执行环境。
- services: - docker:dind: 使用 Docker-in-Docker 服务，允许在 CI/CD 流水线中运行 Docker 命令。
- before_script: 在 script 之前执行的脚本，这里用于登录 GitLab 容器仓库。使用了 GitLab CI 提供的预定义变量 $CI_REGISTRY_USER, $CI_REGISTRY_PASSWORD 和 $CI_REGISTRY。
- script: 执行的脚本，这里用于构建和推送 Docker 镜像。
test 阶段:
- stage: test: 指定该 job 属于 test 阶段。
- image: python:3.9-slim-buster: 使用 Python 镜像作为执行环境。
- dependencies: - build: 指定该 job 依赖于 build 阶段。这意味着只有在 build 阶段成功后，才会执行 test 阶段。
- before_script: 安装测试所需的依赖。
- script: 运行测试，这里使用 pytest 框架，并假设测试文件位于 tests/ 目录下。
deploy 阶段:
- stage: deploy: 指定该 job 属于 deploy 阶段。
- image: docker:latest: 使用 Docker 镜像作为执行环境。
- services: - docker:dind: 使用 Docker-in-Docker 服务。
- dependencies: - test: 指定该 job 依赖于 test 阶段。
- before_script: 登录 GitLab 容器仓库。
- script: 拉取 Docker 镜像、停止并删除旧容器 (如果存在)，然后运行新容器。这里将宿主机的 80 端口映射到容器的 5000 端口。
- only: - main: 指定只有在 main 分支上提交代码时才执行该 job。

3.2 配置 GitLab CI/CD 变量

在 GitLab 项目的 "Settings" -> "CI/CD" -> "Variables" 中，添加以下变量：

CI_REGISTRY_USER: 你的 GitLab 用户名或 CI 机器人用户名。
CI_REGISTRY_PASSWORD: 你的 GitLab 密码或 CI 机器人密码。

3.3 提交代码并触发流水线

将 .gitlab-ci.yml 文件提交到 GitLab 仓库，会自动触发 CI/CD 流水线。可以在 GitLab 的 "CI/CD" -> "Pipelines" 中查看流水线的执行状态。

4. 使用 GitHub Actions

GitHub Actions 是 GitHub 提供的 CI/CD 工具。它使用 YAML 文件来定义工作流。

4.1 创建 .github/workflows/main.yml 文件

在项目根目录下创建一个名为 .github/workflows/main.yml 的文件，内容如下：

name: CI/CD Pipeline

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Set up Python 3.9
        uses: actions/setup-python@v3
        with:
          python-version: "3.9"
      - name: Install dependencies
        run: |
          python -m pip install --upgrade pip
          pip install -r requirements.txt
      - name: Run tests
        run: |
          python -m pytest tests/

  deploy:
    needs: build
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      - name: Build and push Docker image
        run: |
          docker login -u ${{ secrets.DOCKERHUB_USERNAME }} -p ${{ secrets.DOCKERHUB_TOKEN }}
          docker build -t ${{ secrets.DOCKERHUB_USERNAME }}/my-python-app:${{ github.sha }} .
          docker push ${{ secrets.DOCKERHUB_USERNAME }}/my-python-app:${{ github.sha }}
      - name: Deploy to server (SSH)
        uses: appleboy/ssh-action@master
        with:
          host: ${{ secrets.SERVER_IP }}
          username: ${{ secrets.SERVER_USERNAME }}
          key: ${{ secrets.SERVER_PRIVATE_KEY }}
          port: 22
          script: |
            docker stop my-running-app || true
            docker rm my-running-app || true
            docker pull ${{ secrets.DOCKERHUB_USERNAME }}/my-python-app:${{ github.sha }}
            docker run -d -p 80:5000 --name my-running-app ${{ secrets.DOCKERHUB_USERNAME }}/my-python-app:${{ github.sha }}

解释:

name: 工作流的名称。
on: 触发工作流的事件，这里是 push 和 pull_request 事件，针对 main 分支。
jobs: 定义工作流中的 jobs，这里分为 build 和 deploy 两个 jobs。
build job:
- runs-on: ubuntu-latest: 指定在 Ubuntu 最新版本上运行该 job。
- steps: 定义 job 中的步骤。
  - uses: actions/checkout@v3: 使用 actions/checkout@v3 action 来检出代码。
  - uses: actions/setup-python@v3: 使用 actions/setup-python@v3 action 来设置 Python 环境。
  - name: Install dependencies: 安装依赖。
  - name: Run tests: 运行测试。
deploy job:
- needs: build: 指定该 job 依赖于 build job。
- runs-on: ubuntu-latest: 指定在 Ubuntu 最新版本上运行该 job。
- steps: 定义 job 中的步骤。
  - uses: actions/checkout@v3: 使用 actions/checkout@v3 action 来检出代码。
  - name: Build and push Docker image: 构建和推送 Docker 镜像到 Docker Hub。使用了 GitHub Actions 的 secrets 来存储 Docker Hub 用户名和 token。
  - name: Deploy to server (SSH): 使用 appleboy/ssh-action@master action 通过 SSH 连接到服务器并部署应用。使用了 GitHub Actions 的 secrets 来存储服务器 IP 地址、用户名、私钥和端口。

4.2 配置 GitHub Actions Secrets

在 GitHub 项目的 "Settings" -> "Secrets" -> "Actions" 中，添加以下 secrets：

DOCKERHUB_USERNAME: 你的 Docker Hub 用户名。
DOCKERHUB_TOKEN: 你的 Docker Hub token. (在 Docker Hub -> Security -> Access Tokens 创建)
SERVER_IP: 你的服务器 IP 地址。
SERVER_USERNAME: 你的服务器用户名。
SERVER_PRIVATE_KEY: 你的服务器私钥。 (确保私钥的权限设置正确 chmod 400 <private_key>)

4.3 提交代码并触发工作流

将 .github/workflows/main.yml 文件提交到 GitHub 仓库，会自动触发 GitHub Actions 工作流。可以在 GitHub 的 "Actions" 中查看工作流的执行状态.

5. 部署到服务器的注意事项

无论是使用 GitLab CI/CD 还是 GitHub Actions，最终都需要将应用部署到服务器上。以下是一些需要注意的事项：

服务器配置: 确保服务器上安装了 Docker 和 Docker Compose (如果使用 Docker Compose 部署)。
防火墙: 配置防火墙，允许外部访问应用的端口 (例如 80 或 443)。
域名解析: 将域名解析到服务器的 IP 地址。
HTTPS: 配置 HTTPS 证书，以确保应用的安全访问。可以使用 Let’s Encrypt 等免费证书。
监控: 设置监控系统，监控应用的运行状态，及时发现和解决问题。
日志: 配置日志系统，收集应用的日志，方便排查问题。
安全性: 加强服务器的安全性，例如使用 SSH 密钥登录、定期更新系统补丁等。
权限控制: 确保 CI/CD 工具拥有足够的权限来部署应用，但同时也要限制其权限，避免安全风险。

6. 优化 CI/CD 流程

缓存依赖: 使用缓存可以加速构建过程。例如，在 GitLab CI/CD 中可以使用 cache 关键字来缓存依赖。在 GitHub Actions 中可以使用 actions/cache@v3 action 来缓存依赖。
并行测试: 将测试分成多个 job 并行执行，可以缩短测试时间。
代码质量检查: 集成代码质量检查工具，例如 flake8, pylint 等，可以提高代码质量。
安全扫描: 集成安全扫描工具，例如 bandit 等，可以检测代码中的安全漏洞。
使用更小的镜像: 尽量选择体积更小的基础镜像，例如 python:3.9-slim-buster 代替 python:3.9，可以减少镜像大小，加快构建和部署速度。
多阶段构建 (Multi-stage builds)：利用 Docker 的多阶段构建功能，可以在一个 Dockerfile 中使用多个 FROM 指令，每个 FROM 指令代表一个构建阶段。这样可以将构建环境和运行时环境分离，减少最终镜像的大小。例如，可以在一个阶段安装构建工具和依赖，然后在另一个阶段只复制必要的运行时文件。

7. 实例代码：一个简单的 Flask 应用

为了更好地理解上述概念，我们提供一个简单的 Flask 应用作为示例：

7.1 app.py

from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

if __name__ == '__main__':
    app.run(debug=True, host='0.0.0.0')

7.2 requirements.txt

Flask==2.0.1

7.3 tests/test_app.py

import pytest
from app import app

@pytest.fixture
def client():
    app.config['TESTING'] = True
    with app.test_client() as client:
        yield client

def test_hello_world(client):
    response = client.get('/')
    assert response.status_code == 200
    assert b'Hello, World!' in response.data

有了这些文件，结合前面讲解的 Dockerfile 和 CI/CD 配置文件，就可以构建一个完整的自动化部署流程了。

8. 总结：自动化流程的价值

通过使用 GitLab CI、GitHub Actions 和 Docker，我们可以将 Python 项目的部署流程自动化，提高开发效率、代码质量和交付速度。 CI/CD 流程的配置可能需要一些时间和精力，但是长期来看，它带来的收益是巨大的。

9. 结语：持续集成与部署的未来

CI/CD 不仅仅是工具的使用，更是一种文化和理念。未来，随着云计算和容器技术的不断发展，CI/CD 将会变得更加智能、自动化和高效。拥抱 CI/CD，构建高效的软件交付流程，是每个开发团队都需要努力的方向。

Python 的 CI/CD：使用 GitLab CI、GitHub Actions 和 Docker 自动化部署流程

1. CI/CD 概念回顾

2. Docker 容器化

3. 使用 GitLab CI/CD

4. 使用 GitHub Actions

5. 部署到服务器的注意事项

6. 优化 CI/CD 流程

7. 实例代码：一个简单的 Flask 应用

8. 总结：自动化流程的价值

9. 结语：持续集成与部署的未来

发表回复 取消回复

发表回复取消回复