如何使用`Docker`和`Kubernetes`容器化`Python`应用，并进行`自动`部署和`扩缩容`。 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

使用 Docker 和 Kubernetes 容器化 Python 应用并实现自动部署和扩缩容

大家好，今天我们来聊聊如何使用 Docker 和 Kubernetes 来容器化 Python 应用，并实现自动部署和扩缩容。这是一个非常实用的话题，能够帮助大家更好地管理和部署 Python 应用，提高开发效率和系统稳定性。

1. 容器化：使用 Docker 打包 Python 应用

容器化的第一步是使用 Docker 将我们的 Python 应用打包成一个镜像。Docker 镜像包含了运行 Python 应用所需的所有依赖项、库和代码。

1.1 准备 Python 应用

首先，我们需要一个简单的 Python 应用。这里我们创建一个 Flask 应用，它会返回 "Hello, World!"。

# app.py
from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

if __name__ == "__main__":
    app.run(debug=True, host='0.0.0.0')

1.2 创建 requirements.txt

为了让 Docker 镜像包含所有必需的 Python 依赖项，我们需要创建一个 requirements.txt 文件。

Flask==2.3.2

1.3 编写 Dockerfile

Dockerfile 是一个文本文件，包含了构建 Docker 镜像的指令。

# 使用官方 Python 镜像作为基础镜像
FROM python:3.9-slim-buster

# 设置工作目录
WORKDIR /app

# 将 requirements.txt 复制到工作目录
COPY requirements.txt .

# 安装 Python 依赖项
RUN pip install --no-cache-dir -r requirements.txt

# 将应用代码复制到工作目录
COPY . .

# 定义环境变量 (可选)
ENV FLASK_APP=app.py

# 暴露端口
EXPOSE 5000

# 定义启动命令
CMD ["flask", "run", "--host=0.0.0.0"]

Dockerfile 说明:

FROM python:3.9-slim-buster: 指定基础镜像。我们选择了一个精简版的 Python 3.9 镜像，它只包含运行 Python 应用所需的最小依赖项。
WORKDIR /app: 设置工作目录。所有后续的指令都将在 /app 目录下执行。
COPY requirements.txt .: 将 requirements.txt 文件复制到工作目录。
RUN pip install --no-cache-dir -r requirements.txt: 使用 pip 安装 requirements.txt 中列出的所有依赖项。--no-cache-dir 选项可以减少镜像的大小。
COPY . .: 将当前目录下的所有文件复制到工作目录。
ENV FLASK_APP=app.py: 设置环境变量 FLASK_APP 为 app.py。这是 Flask 框架需要的，用于指定应用入口点。
EXPOSE 5000: 声明容器暴露的端口。这只是一个声明，并不会实际发布端口。
CMD ["flask", "run", "--host=0.0.0.0"]: 定义容器启动时执行的命令。这里我们使用 flask run 命令来启动 Flask 应用，并指定 host 为 0.0.0.0，以便从外部访问应用。

1.4 构建 Docker 镜像

在包含 Dockerfile 的目录下，运行以下命令来构建 Docker 镜像。

docker build -t my-python-app:latest .

docker build: 构建 Docker 镜像的命令。
-t my-python-app:latest: 指定镜像的名称和标签。my-python-app 是镜像的名称，latest 是标签。
.: 指定 Dockerfile 所在的目录。

1.5 运行 Docker 容器

构建完成后，可以使用以下命令来运行 Docker 容器。

docker run -d -p 5000:5000 my-python-app:latest

docker run: 运行 Docker 容器的命令。
-d: 以分离模式运行容器 (后台运行)。
-p 5000:5000: 将主机的 5000 端口映射到容器的 5000 端口。
my-python-app:latest: 指定要运行的镜像。

现在，可以通过浏览器访问 http://localhost:5000 来查看运行的 Flask 应用。

2. 部署：使用 Kubernetes 部署 Python 应用

现在我们已经将 Python 应用容器化了，接下来我们将使用 Kubernetes 来部署它。

2.1 准备 Kubernetes 集群

首先，需要一个 Kubernetes 集群。可以使用 Minikube 在本地创建一个单节点的 Kubernetes 集群，也可以使用云服务提供商 (例如，AWS, GCP, Azure) 提供的 Kubernetes 服务。

2.2 编写 Kubernetes 部署文件 (Deployment)

Deployment 是 Kubernetes 中用于管理 Pod 的一种资源对象。它可以确保指定数量的 Pod 始终在运行，并在 Pod 发生故障时自动重启它们。

# deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-python-app-deployment
spec:
  replicas: 3  # 指定 Pod 的副本数量
  selector:
    matchLabels:
      app: my-python-app
  template:
    metadata:
      labels:
        app: my-python-app
    spec:
      containers:
      - name: my-python-app-container
        image: my-python-app:latest  # 替换为你的镜像名称
        ports:
        - containerPort: 5000

Deployment 说明:

apiVersion: apps/v1: 指定 API 版本。
kind: Deployment: 指定资源类型为 Deployment。
metadata.name: 指定 Deployment 的名称。
spec.replicas: 指定 Pod 的副本数量。这里设置为 3，表示 Kubernetes 会创建 3 个 Pod 运行我们的应用。
spec.selector.matchLabels: 指定 Deployment 匹配的 Pod 的标签。
spec.template.metadata.labels: 指定 Pod 的标签。
spec.template.spec.containers: 定义容器的配置。
- name: 容器的名称。
- image: 容器使用的镜像。务必替换为你在 Docker 中构建的镜像名称。 如果你的镜像存储在私有仓库中，需要配置 imagePullSecrets。
- ports: 容器暴露的端口。

2.3 编写 Kubernetes 服务文件 (Service)

Service 是 Kubernetes 中用于暴露应用的一种资源对象。它可以将多个 Pod 组成一个逻辑服务，并提供一个稳定的 IP 地址和端口供外部访问。

# service.yaml
apiVersion: v1
kind: Service
metadata:
  name: my-python-app-service
spec:
  type: LoadBalancer  # 使用 LoadBalancer 类型，可以在云环境中自动创建负载均衡器
  selector:
    app: my-python-app
  ports:
  - protocol: TCP
    port: 80  # Service 暴露的端口
    targetPort: 5000  # Pod 暴露的端口

Service 说明:

apiVersion: v1: 指定 API 版本。
kind: Service: 指定资源类型为 Service。
metadata.name: 指定 Service 的名称。
spec.type: 指定 Service 的类型。
- LoadBalancer: 在云环境中，Kubernetes 会自动创建一个负载均衡器，将流量路由到 Service。
- NodePort: 将 Service 暴露在每个节点的指定端口上。
- ClusterIP: 在集群内部创建一个虚拟 IP 地址，只能在集群内部访问。
spec.selector: 指定 Service 匹配的 Pod 的标签。
spec.ports: 定义端口映射。
- port: Service 暴露的端口。
- targetPort: Pod 暴露的端口。

2.4 应用 Kubernetes 部署和服务

使用 kubectl 命令来应用 Deployment 和 Service。

kubectl apply -f deployment.yaml
kubectl apply -f service.yaml

2.5 验证部署

可以使用以下命令来验证 Deployment 和 Service 是否成功部署。

kubectl get deployments
kubectl get services
kubectl get pods

kubectl get deployments 会显示 Deployment 的状态。如果 READY 列显示为 3/3，表示所有 3 个 Pod 都已成功启动。

kubectl get services 会显示 Service 的状态。如果 Service 的 EXTERNAL-IP 列显示了一个 IP 地址，表示 Service 已经成功暴露。可以使用该 IP 地址和 Service 的端口来访问应用。注意，EXTERNAL-IP 的分配可能需要一些时间，特别是在云环境中。

kubectl get pods 会显示所有 Pod 的状态。可以查看 Pod 的日志来诊断问题。

3. 自动部署：使用 CI/CD 工具集成 Docker 和 Kubernetes

为了实现自动部署，我们可以将 Docker 和 Kubernetes 集成到 CI/CD (Continuous Integration/Continuous Deployment) 工具中。这里我们以 GitHub Actions 为例。

3.1 创建 GitHub 仓库

首先，需要将 Python 应用代码上传到 GitHub 仓库。

3.2 创建 Docker Hub 账号 (可选)

如果需要将 Docker 镜像推送到 Docker Hub，需要创建一个 Docker Hub 账号。

3.3 配置 GitHub Secrets

在 GitHub 仓库的 Settings -> Secrets -> Actions 中，添加以下 Secrets。

DOCKERHUB_USERNAME: Docker Hub 用户名。
DOCKERHUB_TOKEN: Docker Hub 访问令牌。可以通过Docker Hub Profile -> Security -> Access Tokens 创建
KUBE_CONFIG: Kubernetes 集群的 kubeconfig 文件内容。可以通过 kubectl config view --raw --flatten --minify 命令获取

3.4 编写 GitHub Actions 工作流程文件

在 GitHub 仓库的 .github/workflows 目录下，创建一个 YAML 文件 (例如，deploy.yml)。

# .github/workflows/deploy.yml
name: Deploy to Kubernetes

on:
  push:
    branches:
      - main  # 当 main 分支有推送时触发

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3

      - name: Set up Python 3.9
        uses: actions/setup-python@v3
        with:
          python-version: 3.9

      - name: Install dependencies
        run: pip install -r requirements.txt

      - name: Build Docker image
        run: docker build -t my-python-app:latest .

      - name: Log in to Docker Hub
        run: docker login -u ${{ secrets.DOCKERHUB_USERNAME }} -p ${{ secrets.DOCKERHUB_TOKEN }}

      - name: Push Docker image
        run: docker push my-python-app:latest

  deploy:
    needs: build
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v3

      - name: Set up kubectl
        uses: azure/setup-kubectl@v3
        with:
          version: 'v1.27.0' # 使用的kubectl版本，根据自己的kubernetes集群版本选择

      - name: Configure Kubernetes cluster
        run: echo "${{ secrets.KUBE_CONFIG }}" | base64 -d > kubeconfig.yaml

      - name: Apply Kubernetes deployment and service
        run: |
          export KUBECONFIG=kubeconfig.yaml
          kubectl apply -f deployment.yaml
          kubectl apply -f service.yaml

GitHub Actions 工作流程说明:

name: 工作流程的名称。
on.push.branches: 指定触发工作流程的分支。这里设置为 main，表示当 main 分支有推送时触发。
jobs.build: 定义构建镜像的 Job。
- runs-on: 指定 Job 运行的操作系统。
- steps: 定义 Job 的步骤。
  - actions/checkout@v3: 检出代码。
  - actions/setup-python@v3: 设置 Python 环境。
  - pip install -r requirements.txt: 安装 Python 依赖项。
  - docker build: 构建 Docker 镜像。
  - docker login: 登录 Docker Hub。
  - docker push: 推送 Docker 镜像到 Docker Hub。
jobs.deploy: 定义部署应用的 Job。
- needs: 指定该 Job 依赖的 Job。这里设置为 build，表示只有在 build Job 成功完成后才能运行该 Job。
- steps: 定义 Job 的步骤。
  - actions/checkout@v3: 检出代码。
  - azure/setup-kubectl@v3: 安装 kubectl 工具。
  - Configure Kubernetes cluster: 将base64编码的KUBE_CONFIG解码并保存到kubeconfig.yaml文件中
  - Apply Kubernetes deployment and service: 应用 Kubernetes Deployment 和 Service。

3.5 触发自动部署

当向 main 分支推送代码时，GitHub Actions 会自动触发工作流程，构建 Docker 镜像，并将镜像推送到 Docker Hub，然后将应用部署到 Kubernetes 集群。

4. 自动扩缩容：使用 Kubernetes Horizontal Pod Autoscaler (HPA)

Kubernetes Horizontal Pod Autoscaler (HPA) 可以根据 CPU 利用率或其他指标自动调整 Pod 的副本数量。

4.1 创建 HPA

# hpa.yaml
apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: my-python-app-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: my-python-app-deployment  # 替换为你的 Deployment 名称
  minReplicas: 1  # 最小副本数量
  maxReplicas: 5  # 最大副本数量
  metrics:
  - type: Resource
    resource:
      name: cpu
      target:
        type: Utilization
        averageUtilization: 50  # 目标 CPU 利用率 (50%)

HPA 说明:

apiVersion: autoscaling/v2beta2: 指定 API 版本。
kind: HorizontalPodAutoscaler: 指定资源类型为 HorizontalPodAutoscaler。
metadata.name: 指定 HPA 的名称。
spec.scaleTargetRef: 指定 HPA 关联的 Deployment。
spec.minReplicas: 指定最小副本数量。
spec.maxReplicas: 指定最大副本数量。
spec.metrics: 定义扩缩容的指标。
- type: Resource: 使用资源指标。
- resource.name: cpu: 使用 CPU 利用率作为指标。
- resource.target.type: Utilization: 使用平均利用率作为目标值。
- resource.target.averageUtilization: 50: 指定目标 CPU 利用率为 50%。

4.2 应用 HPA

kubectl apply -f hpa.yaml

4.3 验证 HPA

可以使用以下命令来验证 HPA 是否成功创建。

kubectl get hpa

kubectl get hpa 会显示 HPA 的状态。可以查看 HPA 的日志来诊断问题。

4.4 测试自动扩缩容

可以通过向应用发送大量请求来模拟高负载情况，从而触发自动扩缩容。

5. 进阶配置

健康检查 (Liveness and Readiness Probes): 使用 Liveness 和 Readiness Probes 来确保 Pod 的健康状态。Liveness Probe 用于检测 Pod 是否需要重启，Readiness Probe 用于检测 Pod 是否准备好接受请求。
资源限制 (Resource Limits and Requests): 使用 Resource Limits 和 Requests 来限制 Pod 的资源使用量，防止 Pod 占用过多的资源。
配置管理 (ConfigMaps and Secrets): 使用 ConfigMaps 和 Secrets 来管理应用的配置信息和敏感数据。
存储卷 (Volumes): 使用 Volumes 来持久化应用的数据。
Ingress: 使用 Ingress 来暴露应用，提供更灵活的路由和负载均衡功能。
监控 (Monitoring): 使用 Prometheus 和 Grafana 来监控应用的性能指标。

表格：常用 Kubernetes 命令

命令	描述
`kubectl get pods`	获取所有 Pod 的信息
`kubectl get deployments`	获取所有 Deployment 的信息
`kubectl get services`	获取所有 Service 的信息
`kubectl get hpa`	获取所有 HPA 的信息
`kubectl describe pod <pod-name>`	获取指定 Pod 的详细信息，包括事件和日志
`kubectl logs <pod-name>`	获取指定 Pod 的日志
`kubectl apply -f <filename.yaml>`	应用 YAML 文件定义的资源
`kubectl delete -f <filename.yaml>`	删除 YAML 文件定义的资源
`kubectl exec -it <pod-name> -- /bin/bash`	进入指定 Pod 的 shell 环境
`kubectl create deployment <deployment-name> --image=<image-name>`	创建一个新的 Deployment
`kubectl scale deployment <deployment-name> --replicas=<number>`	调整 Deployment 的副本数量

重要提示

镜像仓库的选择：使用私有镜像仓库可以更好地控制镜像的访问权限。
安全：使用 Secrets 管理敏感信息，并定期审查和更新安全策略。
监控：设置完善的监控系统，及时发现和解决问题。
版本控制：对所有配置文件进行版本控制，方便回滚和审计。

快速回顾

今天我们学习了如何使用 Docker 容器化 Python 应用，并使用 Kubernetes 进行部署和自动扩缩容。通过 Docker 和 Kubernetes，我们可以更高效地管理和部署 Python 应用，提高开发效率和系统稳定性。