HeliosAOT
快速神经推理

HeliosAOT 是一款超前编译器,可将 LiteRT 模型转换为高度优化的独立 C 语言推理模块,专为 Ambiq 的超低功耗 SoC 定制。它能生成紧凑、高效和人类可读的 C 代码,且运行时开销为零,从而在边缘实现快如闪电的高能效人工智能。
HeliosAOT 是一款超前编译器,可将 LiteRT 模型转换为高度优化的独立 C 语言推理模块,专为 Ambiq 的超低功耗 SoC 定制。它能生成紧凑、高效和人类可读的 C 代码,且运行时开销为零,从而在边缘实现快如闪电的高能效人工智能。
在极小的软件包中获得 HeliosRT 级的推理速度--HeliosAOT 在 MLPerf Tiny 模型上将内存占用减少了 2.6 倍。