HeliosAOT

快速神经推理

HeliosAOT 是一款超前编译器,可将 LiteRT 模型转换为高度优化的独立 C 语言推理模块,专为 Ambiq 的超低功耗 SoC 定制。它能生成紧凑、高效和人类可读的 C 代码,且运行时开销为零,从而在边缘实现快如闪电的高能效人工智能。

HeliosAOT 的亮点

01

内存分配零猜测

自动张量内存规划可消除过度分配,并删除未使用的代码,从而实现精简、高效的部署。

02

代码大小最多可缩小 10 倍

与标准微控制器 TensorFlow Lite 相比,大大减少了 Apollo SoC 上的闪存占用空间。

03

深度优化和定制

利用层融合、张量重排和智能内存放置等先进技术,在算子、子图或全图层面对推理管道进行微调。

04

无缝集成

可作为 Zephyr 实时操作系统模块或作为插件轻松集成到 Ambiq 的 neuralSPOT AI 开发套件 (ADK),以简化工作流程。

毫不妥协的性能

在一个小软件包中获得 HeliosRT 级别的推理速度--在 MLPerf Tiny 模型上,HeliosAOT 可将内存占用减少高达 2.6 倍。

设计资源

准备下载