AI Runtimes

SPOTにチューニングされたAI Runtime

Apollo上の超低消費電力AIのためのSPOTチューニングされたハードウェアとソフトウェアの相乗効果。ドロップインで後方互換性のあるスピードアップにはheliaRT™を、コンパイル時の最適化と最小で最も電力効率の高いビルドにはheliaAOT™をお選びください。

heliaRT

heliaAOT

AIランタイムのハイライト

SPOTチューンド・シナジー

Apolloシリコンと共同設計。カーネル最適化、メモリプランニング、データフロー、ベンチマークだけでなく実デバイス上でモデルが効率的に動作するよう、SPOTにチューニングされています。

ドロップインまたはダイヤルイン

TFLM互換のドロップイン高速化ならheliaRT、サイズ、スピード、パワーのダイヤルでコンパイル時制御ならheliaAOTを選択。

省スペース、高速スタート

heliaAOTはモデルが必要とするものだけを放出する。heliaRTはベースラインTFLMと比較してオーバーヘッドを削減する。結果：無駄のないバイナリ、素早いinit、機能により多くの余裕。

マイクロアンペアあたりの性能

SPOTがチューニングしたランタイムは、エネルギー消費を最小限に抑えながら、レイテンシーとメモリーを圧迫する。そのため、リアルタイムAIはバッテリーで快適に動作し、ウェアラブル、ウェルネス、スマートオーディオに最適である。

AIランタイムの比較

アスペクト

TFLM

heliaRT(最適化TFLM)

heliaAOT(アヘッド・オブ・タイム)

プライマリー・フィット

ポータブル・ベースライン
マイクロインファレンス

ドロップイン、アポロチューン
アップグレード

生産効率を最大化し、

アポロでのパフォーマンス

良好なベースライン

SPOTチューニングによる高速化
カーネルとプランニング

コンパイルによる最速
時間
特殊化/融合

メモリーフットプリント

適度なインタープリター +ops

TFLMよりリーン

Smallest-emitsは、モデルが必要とするものだけを
。

デプロイメント &
アップデート

実行時に.tfliteをロードする。
非常に簡単なスワップ。

同じ.tfliteフロー。
TFLMとの下位互換性

コンパイル済みアーティファクト
(C/obj/bin); 更新
は再構築が必要です。

成熟／"バトル-
テスト済み"

最高（広く使われている）

高（生産-
アポロで硬化）

新しい（急速に
成熟）

Op & dtype
カバレッジ

Broad ops;
int8/int16/int32

ブロードオプス;
int8/int16/int32 (TFLM-
互換)

フォーカスオプス;
int8/int16（int32なし）

最適化
制御

ランタイム限定ツマミ

アポロ対応プランナー
& チューニングカーネル

最もコントロールしやすいもの：
サイズ／スピード／パワー、
レイアウト／スケジュール

最適

迅速なプロトタイピングと移植性

モデルを頻繁に更新する製品

ロックダウンされたSKU
w/ タイトなレイテンシ、
メモリ、エネルギー
ターゲット