GraalPy的Substrate VM集成：将Python应用编译为原生镜像的启动与性能优势 - 智猿学院-前后端，数据库，人工智能，云计算等领域前沿技术讲座

好的，下面是关于GraalPy Substrate VM 集成的技术讲座文章，希望能帮助到您。

GraalPy 与 Substrate VM：Python 应用的编译优化之路

大家好，今天我们来聊聊 GraalPy 和 Substrate VM，以及它们如何携手将 Python 应用编译成原生镜像，从而大幅提升启动速度和运行性能。

1. 什么是 GraalVM 和 Substrate VM？

要理解 GraalPy，首先需要了解 GraalVM。GraalVM 是一个高性能的、多语言的虚拟机，旨在运行多种编程语言，并提供优化的执行环境。它可以编译Java字节码，并通过 Truffle 框架支持其他语言，例如 JavaScript、Ruby、R 和 Python。

Substrate VM 是 GraalVM 的一个重要组件，它是一个提前编译 (AOT) 的执行环境。这意味着它可以将应用程序编译成独立的可执行文件，无需在运行时进行 JIT 编译。这种 AOT 编译带来了诸多优势，尤其是在启动速度和内存占用方面。

核心概念：

GraalVM: 高性能多语言虚拟机。
Substrate VM: GraalVM 的 AOT 编译组件。
AOT (Ahead-Of-Time) 编译: 提前编译，在构建时将代码编译成机器码。
JIT (Just-In-Time) 编译: 即时编译，在运行时编译代码。

2. GraalPy：GraalVM 上的 Python

GraalPy 是一个在 GraalVM 上运行的 Python 实现。它利用 GraalVM 的 Truffle 框架，将 Python 代码解释成中间表示，然后由 GraalVM 优化并执行。GraalPy 的目标是提供与 CPython 兼容的 Python 运行时，同时利用 GraalVM 的优势来提升性能。

GraalPy 的优势：

性能提升: GraalVM 能够对 Python 代码进行优化，例如内联函数、逃逸分析等，从而提高运行速度。
多语言互操作性: GraalPy 可以与其他 GraalVM 支持的语言（如 Java、JavaScript）进行互操作。
Substrate VM 支持: 可以将 Python 应用编译成原生镜像，实现快速启动和低内存占用。

3. 将 Python 应用编译为原生镜像：流程与步骤

将 Python 应用编译成原生镜像，需要经过以下几个步骤：

步骤 1：安装 GraalVM 和 GraalPy

首先，需要下载并安装 GraalVM。请确保下载的是 GraalVM Enterprise 或 GraalVM Community Edition，并且版本支持 Substrate VM。

# 以 GraalVM CE 23 为例
wget https://github.com/graalvm/graalvm-ce-builds/releases/download/vm-23.0.2/graalvm-ce-java17-linux-x64-jdk-23.0.2.tar.gz
tar -xzf graalvm-ce-java17-linux-x64-jdk-23.0.2.tar.gz
export JAVA_HOME=/path/to/graalvm-ce-java17-23.0.2
export PATH=$JAVA_HOME/bin:$PATH

安装 GraalPy：

gu install python

配置 GraalPy 环境：

python -m venv .venv
source .venv/bin/activate
pip install graalpy

步骤 2：准备 Python 应用

创建一个简单的 Python 应用，例如 hello.py：

def hello(name):
    return f"Hello, {name}!"

if __name__ == "__main__":
    print(hello("World"))

步骤 3：创建 native-image.properties 文件

在项目根目录下创建一个名为 native-image.properties 的文件，用于配置原生镜像构建过程。这个文件是可选的，但可以用来指定一些重要的参数。

args = --verbose 
       --enable-url-protocols=http,https 
       -H:+ReportExceptionStackTraces 
       -H:Name=hello 
       -H:Class=org.graalvm.polyglot.Engine

--verbose: 启用详细的构建输出。
--enable-url-protocols: 启用 HTTP/HTTPS 协议支持。
-H:+ReportExceptionStackTraces: 启用异常堆栈跟踪报告。
-H:Name: 指定生成的可执行文件的名称。
-H:Class: 指定启动类。这个参数通常用于 Java 应用，对于纯 Python 应用，可以忽略或者设置为 org.graalvm.polyglot.Engine 。

步骤 4：构建原生镜像

使用 native-image 命令构建原生镜像。这个命令会自动分析Python代码，并将必要的依赖项打包到可执行文件中。

native-image hello.py

如果你的应用依赖于第三方库，你需要使用 --pypackages 参数来指定依赖项的安装目录。此外，可能还需要使用 --build-args 来传递额外的构建参数。具体情况取决于你的应用的复杂程度。

native-image --pypackages .venv/lib/python3.11/site-packages hello.py

步骤 5：运行原生镜像

构建完成后，会在当前目录下生成一个名为 hello 的可执行文件（或者你在 native-image.properties 中指定的名称）。直接运行这个文件，即可启动你的 Python 应用。

./hello

4. 性能优势：启动速度与资源占用

将 Python 应用编译成原生镜像，可以带来显著的性能优势，尤其是在启动速度和资源占用方面。

启动速度对比：

执行方式	启动时间 (秒)
CPython	0.5 – 2.0
GraalPy 原生镜像	0.01 – 0.1

原生镜像的启动速度通常比 CPython 快一个数量级以上。这是因为原生镜像无需在运行时进行 JIT 编译，可以直接执行机器码。

资源占用对比：

执行方式	内存占用 (MB)
CPython	50 – 200
GraalPy 原生镜像	10 – 50

原生镜像的内存占用也通常比 CPython 更低。这是因为原生镜像只包含应用所需的最小依赖项，并且可以进行更积极的内存管理。

5. 实际案例：Web 应用的优化

假设我们有一个简单的 Flask Web 应用：

# app.py
from flask import Flask

app = Flask(__name__)

@app.route("/")
def hello_world():
    return "<p>Hello, World!</p>"

if __name__ == "__main__":
    app.run(debug=True)

我们需要安装 Flask 依赖：

pip install flask

然后，我们可以使用 native-image 命令构建原生镜像：

native-image --pypackages .venv/lib/python3.11/site-packages app.py

构建完成后，运行原生镜像：

./app

然而，直接运行生成的原生镜像可能会遇到问题，因为 Flask 需要一些运行时支持。为了解决这个问题，我们需要使用一些额外的配置。

6. 解决常见问题与配置优化

在将 Python 应用编译成原生镜像时，可能会遇到一些常见问题。以下是一些解决方法和配置优化建议：

动态加载代码: 如果你的应用使用了 eval()、exec() 或 importlib.import_module() 等动态加载代码的函数，Substrate VM 可能无法正确地分析代码依赖。为了解决这个问题，你需要使用 GraalVM 的代理配置 (proxy configuration) 来显式地声明这些依赖项。
第三方库兼容性: 并非所有的 Python 第三方库都与 Substrate VM 兼容。有些库可能使用了 C 扩展，而 Substrate VM 无法直接执行 C 代码。在这种情况下，你需要寻找替代方案，或者使用 GraalVM 的 Polyglot API 来调用 C 代码。
反射: 如果你的应用使用了反射，你需要使用 GraalVM 的反射配置 (reflection configuration) 来声明需要反射访问的类和方法。

反射配置示例：

创建一个名为 reflect.json 的文件，用于配置反射信息：

[
  {
    "name": "flask.app.Flask",
    "allDeclaredConstructors": true,
    "allDeclaredMethods": true,
    "allDeclaredFields": true
  }
]

然后，在 native-image.properties 文件中指定反射配置文件：

args = --verbose 
       --enable-url-protocols=http,https 
       -H:+ReportExceptionStackTraces 
       -H:Name=flask-app 
       -H:ReflectionConfigurationFiles=reflect.json

7. 更高级的应用场景：机器学习与数据分析

GraalPy 和 Substrate VM 的结合，在机器学习和数据分析领域也具有很大的潜力。例如，可以将使用 NumPy 和 SciPy 等库的 Python 应用编译成原生镜像，从而提高数据处理速度和模型推理效率。

但是，需要注意的是，NumPy 和 SciPy 等库包含大量的 C 扩展，与 Substrate VM 的兼容性可能存在问题。为了解决这个问题，可以使用 GraalVM 的 Polyglot API 来调用 C 代码，或者寻找使用 Java 实现的替代方案。

8. GraalVM Native Image 构建的局限性

虽然 GraalVM Native Image 提供了显著的性能优势，但它也有一些局限性需要考虑：

构建时间： 将应用编译为原生镜像可能需要较长的时间，特别是对于大型和复杂的应用。
兼容性问题： 并非所有的库和框架都完全兼容 GraalVM Native Image。某些库可能需要特殊的配置或修改才能正常工作。
动态特性限制： 原生镜像对动态语言的某些特性支持有限，例如动态代码加载和反射。需要进行额外的配置才能支持这些特性。
调试困难： 原生镜像的调试可能比传统的解释执行更加困难。

9. 代码示例：一个简单的 NumPy 应用

# numpy_example.py
import numpy as np

def calculate_mean(data):
    return np.mean(data)

if __name__ == "__main__":
    data = np.array([1, 2, 3, 4, 5])
    mean = calculate_mean(data)
    print(f"Mean: {mean}")

要将这个应用编译为原生镜像，你需要确保 NumPy 已经安装，并且可能需要一些额外的配置来处理 NumPy 的 C 扩展。

10. 总结：选择编译优化，提升应用性能

GraalPy 和 Substrate VM 为 Python 开发者提供了一个强大的工具，可以将 Python 应用编译成原生镜像，从而显著提高启动速度和运行性能。虽然构建原生镜像的过程可能比较复杂，并且存在一些兼容性问题，但对于对性能有较高要求的应用来说，这种优化是值得的。通过合理地配置和优化，可以将 Python 应用的性能提升到一个新的水平。

编译优化，启动更快，资源占用更少。

更多IT精英技术系列讲座，到智猿学院

GraalPy 与 Substrate VM：Python 应用的编译优化之路

发表回复 取消回复

发表回复取消回复