标签： runtime

发布于

Python ONNX Runtime的底层优化：图转换、节点融合与设备加速器（CUDA/TensorRT）集成

Python ONNX Runtime的底层优化：图转换、节点融合与设备加速器（CUDA/TensorRT）集成 大家好，今天我们来深入探讨 Python ONNX Runtime (ORT) 的底层优化技术，包括图转换、节点融合以及设备加速器（CUDA/TensorRT）集成。ONNX Runtime 作为跨平台、高性能的推理引擎，其优异性能很大程度上得益于这些底层优化策略。 1. ONNX 图的结构与优化基础 ONNX (Open Neural Network Exchange) 是一种开放的深度学习模型表示格式。一个 ONNX 模型本质上是一个有向无环图 (DAG)，其中节点代表算子（operators），边代表张量（tensors）。理解 ONNX 图的结构是进行优化的前提。 import onnx import onnx.helper as helper # 创建一个简单的 ONNX 图 node1 = helper.make_node(‘Add’, [‘A’, ‘B’], [‘C’]) node2 = helper.make_node(‘Relu’, [‘C’], [‘D’ …

继续阅读“Python ONNX Runtime的底层优化：图转换、节点融合与设备加速器（CUDA/TensorRT）集成”

发布于

JAVA 开发者如何构建自己的模型推理服务？结合 ONNX Runtime 实战

JAVA 开发者如何构建自己的模型推理服务：结合 ONNX Runtime 实战 大家好，今天我将为大家讲解如何使用 Java 构建自己的模型推理服务，并结合 ONNX Runtime 进行实战演示。随着人工智能的快速发展，模型推理服务在各种应用场景中扮演着越来越重要的角色。例如，图像识别、自然语言处理、推荐系统等都依赖于高效的模型推理服务。 1. 模型推理服务概述 模型推理服务是指将训练好的机器学习模型部署到服务器上，对外提供预测或推理能力的服务。它接收客户端的输入数据，通过模型进行计算，然后将结果返回给客户端。一个典型的模型推理服务架构包括以下几个核心组件： 模型加载器: 负责加载训练好的模型文件，并将其转换为模型推理引擎可以使用的格式。 推理引擎: 负责执行模型推理计算，例如 ONNX Runtime、TensorFlow Lite 等。 API 接口: 提供客户端访问的接口，例如 REST API、gRPC 等。 输入预处理: 负责对客户端的输入数据进行预处理，例如图像缩放、文本分词等。 输出后处理: 负责对模型的输出结果进行后处理，例如概率值转换为类别标签。 2. ONNX …

继续阅读“JAVA 开发者如何构建自己的模型推理服务？结合 ONNX Runtime 实战”

发布于

Java与ONNX Runtime/TensorFlow Serving集成：实现低延迟AI模型部署

Java与ONNX Runtime/TensorFlow Serving集成：实现低延迟AI模型部署 大家好，今天我们要讨论的是如何将Java与ONNX Runtime和TensorFlow Serving集成，以实现低延迟的AI模型部署。在当前AI应用广泛普及的背景下，如何快速、高效地将训练好的模型部署到生产环境中至关重要。Java作为企业级应用开发的主流语言，拥有强大的生态系统和成熟的工具链，而ONNX Runtime和TensorFlow Serving分别作为高性能推理引擎和灵活的模型服务框架，它们的结合能够为Java应用带来强大的AI能力。 1. 背景与挑战 传统的AI模型部署流程通常涉及以下几个步骤： 模型训练： 使用深度学习框架（如TensorFlow、PyTorch）训练模型。 模型转换： 将模型转换为部署所需的格式（如ONNX、TensorFlow SavedModel）。 模型部署： 将模型部署到推理服务器或嵌入到应用程序中。 模型推理： 应用程序调用推理服务或直接使用推理引擎进行预测。 在Java环境中，直接使用Python编写的深度学习框架进行推理会引入额外的开 …

继续阅读“Java与ONNX Runtime/TensorFlow Serving集成：实现低延迟AI模型部署”

发布于

Java与机器学习框架集成：ONNX Runtime、TensorFlow Lite的部署与优化

Java与机器学习框架集成：ONNX Runtime、TensorFlow Lite的部署与优化 大家好！今天我们来深入探讨一个非常实用的主题：如何在Java应用中集成并优化机器学习模型，具体来说，我们将重点关注ONNX Runtime和TensorFlow Lite这两个框架。在实际应用中，将训练好的模型部署到Java环境中，可以实现诸如图像识别、自然语言处理、异常检测等功能。 本次分享会结合理论和实践，通过代码示例，让大家了解整个流程。 一、机器学习模型部署的挑战 在将机器学习模型集成到Java应用之前，我们需要认识到可能面临的一些挑战： 性能: Java虚拟机（JVM）在处理数值计算密集型任务时，原生性能可能不如C++或Python，因此需要选择合适的框架并进行优化。 模型格式兼容性: 不同的机器学习框架有不同的模型格式，需要进行转换才能在Java环境中使用。 依赖管理: 集成机器学习框架会引入额外的依赖，需要妥善管理，避免冲突。 平台兼容性: 确保部署的框架在不同的操作系统和硬件平台上都能正常运行。 二、ONNX Runtime简介与Java集成 ONNX Runtime是一个 …

继续阅读“Java与机器学习框架集成：ONNX Runtime、TensorFlow Lite的部署与优化”

发布于

Java驱动的机器学习模型部署：ONNX Runtime与TensorFlow Lite集成

Java驱动的机器学习模型部署：ONNX Runtime与TensorFlow Lite集成 大家好！今天我们来聊聊如何在Java环境中部署机器学习模型，重点关注两种流行的运行时引擎：ONNX Runtime和TensorFlow Lite。Java在企业级应用中占据重要地位，因此将机器学习模型无缝集成到现有的Java系统中至关重要。本讲座将深入探讨这两种引擎的优势、适用场景以及如何在Java中进行具体实现，并提供详尽的代码示例。 1. 机器学习模型部署的必要性与挑战 机器学习模型训练完成后，并不能直接应用于实际场景。我们需要将其部署到特定的环境中，才能为用户提供预测服务。在Java环境中部署机器学习模型面临着一些挑战： 语言差异： 大部分机器学习框架（如TensorFlow、PyTorch）主要使用Python，而Java有其自身的生态系统。 性能优化： Java应用对性能要求很高，需要高效的推理引擎来保证响应速度。 资源限制： 一些Java应用可能运行在资源受限的设备上，需要轻量级的推理引擎。 平台兼容性： 需要考虑模型在不同操作系统和硬件平台上的兼容性。 ONNX Runtime …

继续阅读“Java驱动的机器学习模型部署：ONNX Runtime与TensorFlow Lite集成”

发布于

Vue 3源码极客之：`Vue`的`runtime-core`：它如何与平台无关，例如`@vue/runtime-dom`和`@vue/runtime-test`。

观众朋友们，大家好！今天咱们开讲“Vue 3源码极客之：Vue的runtime-core，以及它如何做到平台无关性”。 这可是Vue 3架构设计的精髓之一，理解了它，你就能更深入地玩转Vue，甚至可以自己定制一套Vue渲染器！ 咱们开始吧！ 开场：话说Vue的野心和无奈 话说Vue，野心勃勃，想一统江湖，在各种平台都能跑。但江湖规矩，Web有Web的玩法（DOM操作），小程序有小程序的套路（WX API），Node.js有Node.js的规矩（服务端渲染），这可咋办？ Vue的开发者们很聪明，他们发现虽然不同平台API不一样，但组件的逻辑，数据驱动视图的核心思想，那都是共通的啊！ 所以，Vue就搞了个runtime-core，它只负责组件的生命周期管理、虚拟DOM的Diff算法、响应式系统等核心逻辑，而把具体的平台操作（比如DOM操作）甩给了不同的runtime-xxx模块。 第一幕：runtime-core——Vue的心脏 runtime-core，顾名思义，是Vue运行时的核心。它干了些啥呢？ 虚拟DOM（Virtual DOM）: 用JavaScript对象来描述真实的DOM结构 …

继续阅读“Vue 3源码极客之：`Vue`的`runtime-core`：它如何与平台无关，例如`@vue/runtime-dom`和`@vue/runtime-test`。”

发布于

Vue 3源码深度解析之：`Vue`的`runtime-dom`和`runtime-core`：它们在构建时的解耦。

同学们，老规矩，先来个灵魂拷问：你们有没有好奇过，Vue 3 既能跑在浏览器里，又能跑在 Node.js 环境下？这背后隐藏着什么黑魔法？今天，咱们就来扒一扒 Vue 3 的 runtime-dom 和 runtime-core 这对好基友，看看它们是如何在构建时实现“你侬我侬，又保持距离”的解耦的。 一、开胃小菜：为什么要解耦？ 想象一下，如果你把所有代码都塞到一个文件里，那维护起来简直就是一场噩梦。Vue 3 这么庞大的框架，更是如此。解耦，就是把不同的功能模块分开，让它们各司其职，互不干扰。 具体到 runtime-dom 和 runtime-core，它们解耦的原因主要有以下几点： 跨平台性： runtime-core 负责核心的渲染逻辑，不依赖任何特定的平台 API。而 runtime-dom 则负责与浏览器 DOM API 打交道。这样，只要替换不同的 runtime，Vue 就能运行在不同的平台。 可维护性： 核心逻辑和平台相关的逻辑分开，修改起来更方便，也更不容易出错。 可测试性： 核心逻辑可以单独进行单元测试，而不需要依赖浏览器环境。 二、正餐：runtime-cor …

继续阅读“Vue 3源码深度解析之：`Vue`的`runtime-dom`和`runtime-core`：它们在构建时的解耦。”

发布于

Vue 3源码深度解析之：`Vue`的`runtime-core`：它如何与`runtime-dom`解耦。

各位观众老爷们，大家好！今天咱们不聊妹子，来聊聊Vue 3的“基情四射”的内心世界，特别是 runtime-core 和 runtime-dom 这对好基友是如何做到“藕断丝连，却又保持独立”的。准备好了吗？系好安全带，发车啦！ 开篇：为啥要解耦？这俩货是干啥的？ 在开始之前，我们先搞清楚两个问题： 为啥要解耦？ 想象一下，如果你的代码像一坨意大利面一样，揉成一团，那修改起来简直是噩梦。解耦就是把这坨意大利面梳理清楚，让每一根面条（模块）都职责清晰，方便维护和扩展。Vue 3的解耦，让它不再仅仅局限于浏览器环境，还可以跑在服务端（SSR）、Weex等平台。 runtime-core 和 runtime-dom 是干啥的？ runtime-core： 是Vue的核心运行时，负责虚拟DOM、组件、响应式系统、生命周期管理等等。简单来说，就是Vue的“大脑”，负责思考和决策。它不依赖于任何特定的平台。 runtime-dom： 是运行在浏览器端的运行时，负责操作真实的DOM。它就像Vue的“手脚”，负责把“大脑”的想法变成现实。 如果把Vue比作一个人，runtime-core就是大脑和神经 …

继续阅读“Vue 3源码深度解析之：`Vue`的`runtime-core`：它如何与`runtime-dom`解耦。”

发布于

Vue 3 的运行时补丁 (Runtime Patching) 机制是如何工作的？它与 Vue 2 的更新机制有何不同？

各位技术大佬、未来的架构师们，晚上好！我是你们今晚的讲师，咱们今晚唠唠 Vue 3 里边儿一个相当重要的机制：运行时补丁 (Runtime Patching)。这玩意儿，说白了，就是 Vue 3 悄咪咪地更新 DOM 的秘密武器。 咱们先简单回顾一下 Vue 2 的更新机制，然后深入 Vue 3 的补丁策略，最后再聊聊它们之间的差异，保证让大家听得明白，学得会，用得上！ 一、Vue 2 的老套路：虚拟 DOM 全量对比 在 Vue 2 时代，数据一变，它就有点儿像个憨憨，直接把整个虚拟 DOM 树都重新渲染一遍，然后和之前的虚拟 DOM 树进行对比 (diff)。这个对比过程，就是查找哪些节点需要更新。 这种做法简单粗暴，但也带来了不少问题。你想啊，如果只是一个小小的文本内容改变，它也要把整个树都遍历一遍，效率肯定不高。这就好比你想找根针，结果把整个屋子都翻了一遍，累得够呛。 简化版 Vue 2 更新流程： 数据变化： data 里的某个值改变了。 触发 Watcher： 对应的 Watcher 对象接收到通知。 重新渲染：Watcher 触发组件的 render 函数，生成新的虚拟 …

继续阅读“Vue 3 的运行时补丁 (Runtime Patching) 机制是如何工作的？它与 Vue 2 的更新机制有何不同？”

发布于

解释 JavaScript Runtime 的 Global Object (window, globalThis) 和 Realm (提案) 的概念，以及它们如何提供不同上下文的隔离。

JavaScript 上下文大冒险：Global Object、GlobalThis 和 Realm 大家好！我是你们今天的上下文探险向导。今天咱们要聊聊 JavaScript 运行时的几个重要概念：Global Object、GlobalThis 以及 Realm (提案)。别担心，虽然名字听起来高大上，但咱们会用最接地气的方式，把它们扒个精光。 首先，想象一下，JavaScript 代码就像一个演员，需要在舞台（也就是运行环境）上表演。而 Global Object、GlobalThis 和 Realm，就是这个舞台上的几个重要组成部分，它们决定了演员能拿到哪些道具（全局变量、函数），以及舞台的大小和布局。 第一幕：Global Object 的独白 Global Object，顾名思义，就是全局对象。它是 JavaScript 运行环境提供的最顶层的对象，所有全局变量、函数，以及一些内置的对象（比如 Math、Date）都作为它的属性存在。 在浏览器环境中，这个 Global Object 通常就是 window 对象。你可以通过 window.myVariable 来访问全局变 …

继续阅读“解释 JavaScript Runtime 的 Global Object (window, globalThis) 和 Realm (提案) 的概念，以及它们如何提供不同上下文的隔离。”