KV mobile BG
KV desktop BGKV desktop Nemo scaled

heliaAOT 超低功耗边缘 AI 编译器

快速神经推理

KV mobile Nemo 1

heliaAOT™ 是一款预编译型 AI 编译器,可将 LiteRT 模型转换为高度优化的独立 C 语言推理模块,专为 Ambiq 的超低功耗 SoC 量身定制。 heliaAOT 专为嵌入式和边缘 AI 应用设计,可降低内存占用、最大限度减少运行时开销,并提升可穿戴设备、医疗设备、智能家居产品及工业物联网系统中的 AI 推理性能。

heliaAOT在边缘AI领域的关键特性

01

内存分配零猜测

自动张量内存规划可消除过度分配,并删除未使用的代码,从而实现精简、高效的部署。

02

代码大小最多可缩小 10 倍

与标准的“TensorFlow Lite for Microcontrollers”相比,该方案显著减少了在Apollo SoC上的闪存占用空间。

03

深度优化和定制

利用层融合、张量重排和智能内存放置等先进技术,在算子、子图或全图层面对推理管道进行微调。

04

无缝集成

可轻松作为 Zephyr RTOS 模块或 Ambiq neuralSPOT AI 开发套件 (ADK) 的插件进行集成,从而简化工作流程。

毫不妥协的性能


在微型封装中实现与 heliaRT 相当的推理速度——heliaAOT 在 MLPerf Tiny 模型上将内存占用减少多达 2.6 倍。

heliaAOT graphic

为什么AI模型优化很重要

随着AI模型规模不断扩大、复杂度不断提升,将其部署在电池供电的边缘设备上变得越来越具有挑战性。AI模型优化可以降低内存需求和计算开销,使高级AI工作负载能够在功耗和资源限制内高效运行。这使开发人员能够在延长电池续航时间并最大限度减少对云端依赖的同时,提供更复杂的设备端智能功能。

更多信息
AI Models

应用

Digital Health Devices

可穿戴健康设备

Voice Assistant Speakers

语音和音频接口

Industrial Edge

工业监测

smart home

智能家居产品

设计资源

其他文档

  • 设置收藏夹
  • 获取更新通知
  • 使用搜索过滤器

视频库

hqdefault
hqdefault
hqdefault

常见问题解答(FAQ)

  • heliaAOT 是 Ambiq的 预编译AI编译器,旨在 优化 LiteRT 和边缘AI模型,以满足超低功耗设备的需求。它将AI模型转换为高效的独立C语言推理模块 ,并针对 针对 Ambiq SoC进行了优化。

  • heliaAOT 针对电池供电的边缘设备和嵌入式AI应用,优化了内存分配、代码大小、运行时效率以及AI推理性能。

  • heliaAOT 支持基于 LiteRT 的神经网络模型,适用于边缘 AI 工作负载,包括视觉、传感器分析和音频 AI 应用。

  • 预编译可减少运行时开销,提高执行速度,最大限度地降低内存占用,并使资源受限的边缘设备能够更高效地进行AI推理。

  • heliaAOT 专为可穿戴设备、医疗保健设备、智能家居产品、工业物联网系统、语音控制设备以及其他电池供电的边缘AI应用而设计。

  • heliaAOT 可生成经过优化的独立C语言推理模块,从而降低内存需求并提升AI模型的执行效率,以便在边缘设备上部署。

  • 超低功耗AI可在延长电池续航时间、降低对云端的依赖并提升边缘AI系统的实时响应能力的同时,实现设备端的持续智能处理。

  • 编号。 heliaAOT 是专为 Ambiq的 硬件架构而专门设计的,其优化深度远超通用编译器所能达到的水平。 这也是 正是这些因素之一,使得 Ambiq 成为开发超低功耗边缘AI设备的最佳平台的关键因素之一。

准备下载