标签： android

发布于

Flutter Android Embedding V2：Activity/Fragment 生命周期与 Surface 的绑定

Flutter Android Embedding V2：Activity/Fragment 生命周期与 Surface 的绑定 大家好，今天我们深入探讨 Flutter Android Embedding V2 中 Activity/Fragment 生命周期与 Surface 的绑定机制。 理解这一机制对于构建稳定、高效、与原生 Android 平台良好集成的 Flutter 应用至关重要。 一、Flutter Android Embedding V2 的核心概念 在深入生命周期绑定之前，我们先回顾一下 Flutter Android Embedding V2 的几个关键概念： FlutterEngine: Flutter 引擎是 Flutter 运行时的核心，负责 Dart 代码的执行、渲染和平台交互。每个 Flutter 应用至少需要一个 FlutterEngine 实例。 FlutterEngineGroup: 允许你共享一个 Flutter 引擎的资源（例如 isolate）在多个 FlutterActivity/FlutterFragment 实例之间。 这对于模块化 F …

继续阅读“Flutter Android Embedding V2：Activity/Fragment 生命周期与 Surface 的绑定”

发布于

端侧推理的内存映射（mmap）：在Android设备上利用分页机制加载大模型权重

Android 端侧推理：基于内存映射的分页加载大模型权重 大家好，今天我们来聊聊如何在 Android 设备上进行端侧推理，特别是针对那些模型权重体积庞大的情况。我们重点讨论利用内存映射（mmap）和分页机制来解决大模型权重加载的问题。 1. 端侧推理的挑战 在移动设备上进行机器学习推理，相比于服务器端，面临着诸多挑战： 资源限制： 移动设备的内存、CPU、GPU 资源都相对有限。 功耗限制： 推理过程需要尽可能降低功耗，延长电池续航。 模型体积： 深度学习模型的体积越来越大，难以一次性加载到内存中。 启动速度： 应用启动时加载模型，需要尽可能缩短启动时间。 对于大模型而言，一次性加载所有权重数据到内存中，很容易导致内存溢出（OOM）错误，或者显著增加应用启动时间。因此，我们需要一种高效的方式来管理模型权重，按需加载，减少内存占用。 2. 内存映射（mmap）机制 内存映射（Memory Mapping）是一种将文件或设备映射到进程地址空间的技术。通过 mmap，进程可以直接像访问内存一样访问文件内容，而无需显式地进行读写操作。这为我们加载大模型权重提供了很大的便利。 mmap 的工 …

继续阅读“端侧推理的内存映射（mmap）：在Android设备上利用分页机制加载大模型权重”

发布于

Android AICore适配：利用Gemini Nano在移动端NPU上的异构计算调度

Android AICore适配：利用Gemini Nano在移动端NPU上的异构计算调度 各位同学，大家好！今天我们来探讨一个非常热门且具有挑战性的领域：如何在Android平台上，利用AICore适配，将Google的Gemini Nano模型部署到移动端的NPU（Neural Processing Unit）上，并实现高效的异构计算调度。 一、AICore与Gemini Nano简介 在深入技术细节之前，我们需要对AICore和Gemini Nano有一个基本的了解。 AICore: AICore是Android 12引入的一个系统服务，旨在提供统一的API，方便开发者利用设备上的各种AI加速器（例如NPU、GPU、DSP）来运行机器学习模型。它提供了一种抽象层，使得开发者可以不必关心底层硬件的差异，从而实现模型的跨平台部署和优化。AICore的核心理念是“hardware abstraction”，即硬件抽象化。 Gemini Nano: Gemini Nano是Google Gemini系列模型中专门为移动设备设计的版本。它具有模型体积小、推理速度快、功耗低的特点，非常适合在 …

继续阅读“Android AICore适配：利用Gemini Nano在移动端NPU上的异构计算调度”