`subprocess` 模块：与外部命令高效交互与管道操作

好的，各位观众，欢迎来到今天的“Python骚操作”系列讲座！今天我们要聊的，是Python标准库里一个非常实用，但又经常被新手忽略的模块——subprocess。

想象一下，你是一名程序员，你的Python程序需要调用系统命令，比如 ls (Linux/macOS) 或者 dir (Windows) 来列出文件，或者需要运行一个外部程序，比如图像处理工具，视频编码器等等。怎么办？难道要放弃Python，用Shell脚本重新写一遍？当然不用！subprocess 模块就是你的救星，它可以让你在Python程序中轻松地执行外部命令，并获取它们的输出。

subprocess 模块：你和系统命令之间的桥梁

subprocess 模块允许你创建新的进程，连接到它们的输入/输出/错误管道，并获取它们的返回码。简单来说，它就像一个翻译器，把你Python程序的需求翻译成系统能理解的命令，然后把系统的响应翻译回Python能处理的数据。

最简单的例子：运行一个命令

让我们从最简单的例子开始。假设你想在Python中执行 ls -l 命令（Linux/macOS）或者 dir 命令（Windows）来列出当前目录的文件和详细信息。

import subprocess

# Linux/macOS
result = subprocess.run(['ls', '-l'], capture_output=True, text=True)

# Windows
# result = subprocess.run(['dir'], capture_output=True, text=True)

print("Return Code:", result.returncode)
print("Standard Output:", result.stdout)
print("Standard Error:", result.stderr)

这段代码做了什么？

import subprocess：导入 subprocess 模块。
subprocess.run(['ls', '-l'], capture_output=True, text=True)：这是核心部分。
- subprocess.run()：运行一个命令。
- ['ls', '-l']：要执行的命令和参数。注意，命令和参数必须分开放在列表里！
- capture_output=True：告诉 subprocess 模块，我们要捕获命令的标准输出和标准错误输出。
- text=True：告诉 subprocess 模块，我们要以文本模式处理输出，而不是字节。
print(...)：打印命令的返回码，标准输出和标准错误输出。

运行这段代码，你就能看到 ls -l 命令的输出啦！

subprocess.run() 函数详解

subprocess.run() 是 subprocess 模块中最常用的函数，它的参数非常丰富，可以满足各种不同的需求。让我们来看看一些常用的参数：

args：要执行的命令和参数。可以是字符串或列表。如果是字符串，shell=True 必须设置。推荐使用列表的方式，避免shell注入的风险。
capture_output：是否捕获标准输出和标准错误输出。默认为 False。
text：是否以文本模式处理输出。默认为 False (字节模式)。
shell：是否通过 shell 执行命令。默认为 False。如果设置为 True，args 可以是字符串，但有安全风险。
check：如果命令返回非零的返回码，是否抛出 subprocess.CalledProcessError 异常。默认为 False。
cwd：设置命令执行的当前工作目录。
env：设置命令执行的环境变量。
timeout：设置命令执行的超时时间。

返回码、标准输出和标准错误输出

subprocess.run() 函数返回一个 subprocess.CompletedProcess 对象，它包含了命令执行的结果信息：

returncode：命令的返回码。0 表示成功，非零表示失败。
stdout：命令的标准输出。
stderr：命令的标准错误输出。

错误处理：check=True 和 try...except

如果命令执行失败，我们通常需要进行错误处理。subprocess 模块提供了两种方式：

check=True：如果 check 参数设置为 True，subprocess.run() 函数会在命令返回非零的返回码时抛出 subprocess.CalledProcessError 异常。

import subprocess

try:
    subprocess.run(['ls', 'nonexistent_file'], check=True, capture_output=True, text=True)
except subprocess.CalledProcessError as e:
    print("Command failed with return code:", e.returncode)
    print("Standard Error:", e.stderr)

try...except：即使 check 参数设置为 False，你仍然可以使用 try...except 块来捕获 subprocess.CalledProcessError 异常。

import subprocess

try:
    result = subprocess.run(['ls', 'nonexistent_file'], check=False, capture_output=True, text=True)
    if result.returncode != 0:
        print("Command failed with return code:", result.returncode)
        print("Standard Error:", result.stderr)
except subprocess.CalledProcessError as e:
    print("Command failed with return code:", e.returncode)
    print("Standard Error:", e.stderr)  #这不会执行到，因为check=False时不会抛出异常

管道操作：连接多个命令

subprocess 模块的强大之处在于它支持管道操作，可以将多个命令连接起来，一个命令的输出作为另一个命令的输入。让我们举个例子，假设你想找到当前目录下所有 .py 文件，并统计它们的行数。你可以使用以下命令：

ls -l *.py | wc -l

在Python中，你可以这样实现：

import subprocess

try:
    ls_process = subprocess.Popen(['ls', '-l', '*.py'], stdout=subprocess.PIPE, text=True)
    wc_process = subprocess.Popen(['wc', '-l'], stdin=ls_process.stdout, stdout=subprocess.PIPE, text=True)
    ls_process.stdout.close()  # Allow wc_process to receive EOF
    output, error = wc_process.communicate()

    print("Number of lines:", output.strip())

except FileNotFoundError as e:
    print(f"Error: {e.filename} not found. Make sure 'ls' and 'wc' are in your PATH.")
except Exception as e:
    print(f"An error occurred: {e}")

这段代码做了什么？

subprocess.Popen()：创建两个进程，ls_process 和 wc_process。
- stdout=subprocess.PIPE：告诉 subprocess 模块，我们要将 ls_process 的标准输出连接到管道。
- stdin=ls_process.stdout：告诉 subprocess 模块，我们要将 ls_process 的标准输出作为 wc_process 的标准输入。
ls_process.stdout.close()：非常重要！关闭 ls_process 的标准输出，否则 wc_process 无法接收到 EOF (End of File) 信号，导致程序一直等待。
wc_process.communicate()：等待 wc_process 完成，并获取它的输出和错误信息。
print(...)：打印结果。

subprocess.Popen() 详解

subprocess.Popen() 函数是 subprocess 模块中用于创建进程的底层函数。它比 subprocess.run() 更加灵活，但使用起来也更加复杂。

args：要执行的命令和参数。
stdin：标准输入。可以是 subprocess.PIPE，subprocess.DEVNULL，文件对象或文件描述符。
stdout：标准输出。可以是 subprocess.PIPE，subprocess.DEVNULL，文件对象或文件描述符。
stderr：标准错误输出。可以是 subprocess.PIPE，subprocess.DEVNULL，文件对象或文件描述符。
shell：是否通过 shell 执行命令。
cwd：设置命令执行的当前工作目录。
env：设置命令执行的环境变量。

subprocess.PIPE 和 subprocess.DEVNULL

subprocess.PIPE：创建一个管道，用于连接到子进程的标准输入、标准输出或标准错误输出。
subprocess.DEVNULL：将子进程的标准输入、标准输出或标准错误输出重定向到空设备，相当于丢弃所有输出。

communicate() 方法

communicate() 方法用于与子进程进行交互。它可以向子进程发送数据，并接收子进程的输出和错误信息。

output, error = process.communicate(input=b'some input data')

shell=True 的风险

虽然 shell=True 可以让你直接执行包含 shell 特性的命令字符串，但它也带来了安全风险，因为恶意用户可以通过构造特殊的命令字符串来执行任意代码。因此，除非你完全信任命令字符串的来源，否则强烈建议不要使用 shell=True。

安全建议

避免使用 shell=True。
对用户输入进行严格的验证和过滤，防止命令注入。
使用绝对路径来指定要执行的命令，避免被恶意程序劫持。
限制子进程的权限，防止子进程访问敏感资源。

一些高级用法

实时输出：如果你想实时地显示子进程的输出，可以使用 subprocess.Popen() 和 process.stdout.readline() 方法。

import subprocess

process = subprocess.Popen(['ping', '8.8.8.8'], stdout=subprocess.PIPE, text=True)

while True:
    line = process.stdout.readline()
    if not line:
        break
    print(line.strip())

超时控制：可以使用 timeout 参数来设置命令执行的超时时间。

import subprocess

try:
    result = subprocess.run(['sleep', '5'], timeout=2, check=True)
except subprocess.TimeoutExpired:
    print("Command timed out!")
except subprocess.CalledProcessError as e:
    print("Command failed with return code:", e.returncode)
    print("Standard Error:", e.stderr)

总结

subprocess 模块是Python中执行外部命令的强大工具。掌握它，你可以轻松地与系统命令交互，进行管道操作，并处理各种复杂的任务。但是，在使用 subprocess 模块时，一定要注意安全问题，避免被恶意用户利用。

表格总结常用函数和参数

函数/参数	描述
`subprocess.run()`	运行一个命令并等待其完成。
`subprocess.Popen()`	创建一个新的进程。
`args`	要执行的命令和参数。可以是字符串或列表。
`capture_output`	是否捕获标准输出和标准错误输出。
`text`	是否以文本模式处理输出。
`shell`	是否通过 shell 执行命令。强烈建议不要使用 `shell=True`。
`check`	如果命令返回非零的返回码，是否抛出 `subprocess.CalledProcessError` 异常。
`cwd`	设置命令执行的当前工作目录。
`env`	设置命令执行的环境变量。
`timeout`	设置命令执行的超时时间。
`stdin`	标准输入。可以是 `subprocess.PIPE`，`subprocess.DEVNULL`，文件对象或文件描述符。
`stdout`	标准输出。可以是 `subprocess.PIPE`，`subprocess.DEVNULL`，文件对象或文件描述符。
`stderr`	标准错误输出。可以是 `subprocess.PIPE`，`subprocess.DEVNULL`，文件对象或文件描述符。
`subprocess.PIPE`	创建一个管道，用于连接到子进程的标准输入、标准输出或标准错误输出。
`subprocess.DEVNULL`	将子进程的标准输入、标准输出或标准错误输出重定向到空设备，相当于丢弃所有输出。
`communicate()`	与子进程进行交互。可以向子进程发送数据，并接收子进程的输出和错误信息。
`returncode`	命令的返回码。0 表示成功，非零表示失败。
`stdout`	命令的标准输出。
`stderr`	命令的标准错误输出。

希望今天的讲座对大家有所帮助！记住，subprocess 是一个强大的工具，但也要小心使用，避免踩坑。下次再见！

发表回复 取消回复

发表回复取消回复