Python应用的分布式追踪：OpenTelemetry/Jaeger在多进程/协程环境下的Context传递

大家好，今天我们来探讨一个在构建复杂Python应用时非常重要的话题：分布式追踪，以及如何在多进程/协程环境下正确地传递追踪上下文，特别是结合OpenTelemetry和Jaeger。

分布式追踪的必要性

在单体应用时代，我们可以通过简单的日志和调试工具来追踪请求的执行流程。但随着微服务架构的兴起，一个用户请求往往会跨越多个服务，甚至多个进程和线程。传统的调试方式在这种情况下就显得力不从心。

分布式追踪应运而生，它能帮助我们：

定位性能瓶颈： 快速找出请求链路上耗时最长的服务或操作。
诊断错误： 追踪错误发生的根源，即使错误发生在不同的服务中。
理解服务依赖关系： 了解服务之间的调用关系，有助于优化系统架构。
监控服务健康状况： 通过追踪数据，可以实时监控服务的性能指标。

OpenTelemetry 和 Jaeger 简介

OpenTelemetry 是一个云原生可观测性的标准和工具集。它提供了一套标准的 API、SDK 和工具，用于生成、收集和导出遥测数据，包括追踪 (Traces)、指标 (Metrics) 和日志 (Logs)。OpenTelemetry 的目标是标准化可观测性数据的生成和收集，使得开发者可以轻松地将各种后端 (例如 Jaeger, Zipkin, Prometheus) 集成到应用中。

Jaeger 是一个开源的分布式追踪系统，最初由 Uber 开发，现在是 CNCF 的毕业项目。Jaeger 接收来自 OpenTelemetry SDK 的追踪数据，并提供一个 Web UI 用于查询和分析这些数据。

简单来说，OpenTelemetry 负责生成数据，而 Jaeger 负责存储和展示数据。

上下文（Context）传递的挑战

分布式追踪的核心在于追踪上下文的传递。每个请求都会被分配一个唯一的追踪 ID，而请求在不同服务或进程之间的传递过程中，这个追踪 ID 需要被正确地传递下去，才能将整个请求链条串联起来。

在单线程/单进程的应用中，我们可以使用全局变量或线程本地存储来保存追踪上下文。但在多进程/协程环境下，情况就变得复杂了：

多进程： 每个进程都有独立的内存空间，全局变量和线程本地存储无法跨进程传递数据。
协程： 虽然协程运行在同一个线程中，但协程的切换可能会导致追踪上下文丢失。

因此，我们需要一种机制，能够在多进程/协程环境下，正确地传递追踪上下文。

多进程环境下的 Context 传递

在多进程环境下，我们需要借助进程间通信 (IPC) 来传递追踪上下文。常见的 IPC 方式包括：

消息队列 (Message Queue): 例如 RabbitMQ, Kafka。
共享内存 (Shared Memory):
RPC (Remote Procedure Call): 例如 gRPC, Thrift。

OpenTelemetry 提供了 propagation 机制，可以将追踪上下文序列化到消息头或请求体中，然后在目标进程中反序列化出来。

示例：使用消息队列传递 Context

假设我们有两个服务：Producer 和 Consumer。Producer 生成消息并发送到消息队列，Consumer 从消息队列接收消息并处理。

Producer 端代码：

import os
import time
import pika
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.jaeger.thrift import JaegerExporter
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
from opentelemetry.context import attach, detach

# 配置 OpenTelemetry
trace.set_tracer_provider(TracerProvider())
jaeger_exporter = JaegerExporter(
    collector_endpoint=os.environ.get("JAEGER_ENDPOINT", "http://localhost:14268/api/traces"),
    service_name="producer"
)
trace.get_tracer_provider().add_span_processor(BatchSpanProcessor(jaeger_exporter))
tracer = trace.get_tracer(__name__)
propagator = TraceContextTextMapPropagator()

# 连接 RabbitMQ
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()
channel.queue_declare(queue='my_queue')

def send_message(message):
    """发送消息到 RabbitMQ，并将追踪上下文注入到消息头中"""
    with tracer.start_as_current_span("send_message"):
        context = trace.get_current_context()
        carrier = {}
        propagator.inject(carrier, context=context)
        properties = pika.BasicProperties(headers=carrier)
        channel.basic_publish(exchange='', routing_key='my_queue', body=message, properties=properties)
        print(f" [x] Sent {message}")

if __name__ == "__main__":
    for i in range(3):
        send_message(f"Message {i}")
        time.sleep(1)  # 模拟耗时操作

    connection.close()

Consumer 端代码：

import os
import pika
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.jaeger.thrift import JaegerExporter
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
from opentelemetry.context import attach, detach

# 配置 OpenTelemetry
trace.set_tracer_provider(TracerProvider())
jaeger_exporter = JaegerExporter(
    collector_endpoint=os.environ.get("JAEGER_ENDPOINT", "http://localhost:14268/api/traces"),
    service_name="consumer"
)
trace.get_tracer_provider().add_span_processor(BatchSpanProcessor(jaeger_exporter))
tracer = trace.get_tracer(__name__)
propagator = TraceContextTextMapPropagator()

# 连接 RabbitMQ
connection = pika.BlockingConnection(pika.ConnectionParameters('localhost'))
channel = connection.channel()
channel.queue_declare(queue='my_queue')

def callback(ch, method, properties, body):
    """接收消息并从消息头中提取追踪上下文"""
    with tracer.start_as_current_span("process_message"):
        carrier = properties.headers
        context = propagator.extract(carrier)
        token = attach(context)
        try:
            print(f" [x] Received {body.decode()}")
            time.sleep(2)  # 模拟耗时操作
        finally:
            detach(token)

channel.basic_consume(queue='my_queue', on_message_callback=callback, auto_ack=True)

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()

代码解释：

TraceContextTextMapPropagator: 这是 OpenTelemetry 提供的用于传递追踪上下文的类。它负责将上下文序列化到字符串 (通常是 HTTP header 或消息队列的 message properties) 中，以及从字符串中反序列化上下文。
propagator.inject(carrier, context=context): 这个方法将当前的追踪上下文 (context) 注入到 carrier 字典中。carrier 可以是 HTTP header 或消息队列的 message properties。
propagator.extract(carrier): 这个方法从 carrier 字典中提取追踪上下文，并返回一个 Context 对象。
attach(context) 和 detach(token): 这两个方法用于将提取到的上下文设置为当前线程的上下文。 attach 函数会将提供的上下文对象设置为当前线程的活动上下文，并返回一个令牌 (token)。这个令牌稍后需要传递给 detach 函数，以便恢复之前的上下文。 detach 函数接受 attach 函数返回的令牌，并使用它来恢复调用 attach 之前的上下文。这确保了在 try...finally 块中正确地清理上下文，即使在处理过程中发生异常。

运行步骤：

确保安装了必要的库：pip install opentelemetry-sdk opentelemetry-exporter-jaeger-thrift pika
启动 Jaeger。可以通过 Docker 运行：docker run -d -p 16686:16686 -p 14268:14268 jaegertracing/all-in-one:latest
运行 Producer.py 和 Consumer.py。
打开 Jaeger UI (通常在 http://localhost:16686)，可以看到请求的追踪信息。

通过这种方式，我们就可以在多进程之间传递追踪上下文，并将整个请求链条串联起来。

表格：多进程 Context 传递的关键步骤

步骤	描述	代码示例
1. 获取当前 Context	在发送端，获取当前的追踪 Context。	`context = trace.get_current_context()`
2. 注入 Context	使用 `TraceContextTextMapPropagator` 将 Context 注入到消息头 (或请求体) 中。	`propagator.inject(carrier, context=context)`
3. 发送消息/请求	将包含追踪信息的头信息 (或请求体) 发送给接收端。	`channel.basic_publish(exchange='', routing_key='my_queue', body=message, properties=properties)` (消息队列) 或 `requests.post(url, headers=carrier)` (HTTP 请求)
4. 接收消息/请求	在接收端，接收包含追踪信息的头信息 (或请求体)。	`properties.headers` (消息队列) 或 `request.headers` (HTTP 请求)
5. 提取 Context	使用 `TraceContextTextMapPropagator` 从消息头 (或请求体) 中提取 Context。	`context = propagator.extract(carrier)`
6. 设置当前 Context	将提取到的 Context 设置为当前线程的 Context。这通常需要在 `try...finally` 块中使用 `attach` 和 `detach` 函数。	`token = attach(context)` `try:` `# 执行业务逻辑 `finally:` `detach(token)`

协程环境下的 Context 传递

在协程环境下，由于协程运行在同一个线程中，看似可以直接使用线程本地存储来保存追踪上下文。但协程的切换可能会导致追踪上下文丢失。

OpenTelemetry 提供了 contextvars 模块的支持，可以安全地在协程之间传递上下文。contextvars 允许我们创建线程本地变量，但这些变量在协程之间是隔离的，可以避免协程切换导致的上下文丢失。

示例：使用 contextvars 在协程中传递 Context

import asyncio
import os
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.jaeger.thrift import JaegerExporter
from opentelemetry.context import attach, detach

# 配置 OpenTelemetry
trace.set_tracer_provider(TracerProvider())
jaeger_exporter = JaegerExporter(
    collector_endpoint=os.environ.get("JAEGER_ENDPOINT", "http://localhost:14268/api/traces"),
    service_name="async_example"
)
trace.get_tracer_provider().add_span_processor(BatchSpanProcessor(jaeger_exporter))
tracer = trace.get_tracer(__name__)

async def do_some_work():
    """模拟一些耗时操作"""
    await asyncio.sleep(0.5)

async def child_task():
    """子任务，继承父任务的 Context"""
    with tracer.start_as_current_span("child_task"):
        print("Executing child task")
        await do_some_work()

async def parent_task():
    """父任务，创建子任务"""
    with tracer.start_as_current_span("parent_task"):
        print("Executing parent task")
        await do_some_work()
        await asyncio.gather(child_task(), child_task())  # 并发执行多个子任务

async def main():
    """主任务，启动整个流程"""
    with tracer.start_as_current_span("main_task"):
        print("Starting main task")
        await parent_task()
        print("Main task completed")

if __name__ == "__main__":
    asyncio.run(main())

代码解释：

在这个例子中，我们没有显式地使用 contextvars。OpenTelemetry SDK 会自动使用 contextvars 来存储和传递上下文，而无需我们手动操作。
asyncio.gather() 用于并发执行多个协程。OpenTelemetry SDK 确保在并发执行的协程之间正确地传递上下文。

运行步骤：

确保安装了必要的库：pip install opentelemetry-sdk opentelemetry-exporter-jaeger-thrift
启动 Jaeger。
运行 async_example.py。
打开 Jaeger UI，可以看到请求的追踪信息。

通过这种方式，我们就可以在协程之间安全地传递追踪上下文，并将整个请求链条串联起来。

表格：协程 Context 传递的关键点

| 关键点 | 描述 | 代码示例 |
| ————————————– | ——————————————————————————————————————————————————————————————————————————- | —————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————————-06.09.12.03.2024_10.03.51.964304

更多IT精英技术系列讲座，到智猿学院