超低消費電力のエッジAIチップを選ぶ際のポイント

ウェアラブル端末はますますスマートになっていますが、そのバッテリーの容量はそれに比例して増えているわけではありません。

健康状態のモニタリングや活動量の認識から、常時稼働型の音声機能や新興のAIアシスタントに至るまで、ウェアラブルデバイスには、周囲の世界をリアルタイムで感知・解釈し、それに対応することがますます求められています。また、その知能機能の多くがデバイス側に移行しつつあり、クラウド接続への依存度を低減させると同時に、応答性とプライバシーを向上させています。

しかし、追加される作業負荷はすべて、同じ限られたエネルギー予算を奪い合うことになる。

これにより、製品チームやエンジニアリングチームが、超低消費電力のウェアラブル機器向けエッジAIチップを評価する際の基準が変わってきます。AIのピーク性能も重要ですが、それはあくまで一つの要素に過ぎません。バッテリー駆動のデバイスにとって、より重要な問いは次の通りです：

超低消費電力のウェアラブル機器向けエッジAIチップを評価する際は、システム全体の消費電力、ワークロードに合わせたエネルギー効率の高い演算処理、メモリおよびデータ転送の効率、動的な電力スケーリング、常時動作のセンシング機能、そしてハードウェアの実用的な導入を可能にするAIソフトウェアスタックを優先すべきです。AIのピーク性能だけでは、バッテリー駆動時間は決まりません。

1. TOPSだけにとどまらず、システム全体の消費電力に注目する

AIプロセッサは、TOPSやGOPSといったピーク性能指標を用いて比較されることがよくあります。これらの数値は演算能力を評価する上で参考になりますが、必ずしもウェアラブルデバイスの動作状況を反映しているわけではありません。

ほとんどのウェアラブル端末では、最も負荷の高いAIワークロードを継続的に実行しているわけではありません。

デバイスは、その稼働時間の大部分を、極めて低い消費電力でセンサーを監視し、定期的にスリープ状態から復帰してデータを処理し、何か意味のある事象が発生した際に推論を実行し、その結果を通信した後、再び低消費電力状態に戻る、というサイクルを繰り返して過ごすことがあります。

そのため、個別のアクセラレータのベンチマークよりも、動作サイクル全体で消費されるエネルギーの方が重要となる。

エッジAIハードウェアを比較する際、製品チームは、システムが以下の処理をどれほど効率的に行えるかを検討すべきです：

• 常時センシング
• 信号の前処理
• メモリアクセスとデータ移動
• AI推论
• コネクティビティ
• 低消費電力状態と高性能状態間の切り替え

その目的は、単に推論性能を最小限に抑えることだけではありません。必要なユーザー体験を確保しつつ、システム全体のエネルギー消費を最小限に抑えることです。

このシステムレベルのアプローチは、Ambiq社のSPOT®（Subthreshold Power Optimized Technology）プラットフォームの中核をなしています。SPOTは、低消費電力を個々のワークロードに適用する最適化として扱うのではなく、インテリジェントなエンドポイントデバイスに必要なすべての機能において、半導体レベルでエネルギー消費を削減するように設計されています。

ウェアラブル機器の設計者にとって、この区別は重要です。AIのエネルギー効率は、AIを支えるアーキテクチャから始まります。

2. AIハードウェアをワークロードに合わせて選定する

専用のニューラル処理により、AIワークロードを大幅に高速化することができます。しかし、だからといって、すべてのウェアラブルAIアプリケーションがNPUを常時稼働させる必要があるわけでも、そもそもNPUが必要であるわけでもありません。

常時稼働型のアプリケーションの多くは、センサーの分類、キーワード検出、動作認識、異常検知、その他の継続的な監視といった、比較的コンパクトなワークロードを扱っています。

こうした用途において、より適切な問いは次のようなものではありません：

このチップにはNPUが搭載されていますか？

それは：

つまり、単一のアクセラレータに焦点を当てるのではなく、コンピューティングアーキテクチャ全体を評価する必要があるということです。

Ambiq社の「Apollo510」は、このアプローチを体現する製品です。Helium™テクノロジーを搭載したArm® Cortex®-M55プロセッサとAmbiq社のSPOTプラットフォームを中核として構築されたApollo510は、専用のNPUを必要とせずに、低消費電力のセンサー監視や常時稼働型の音声アプリケーションなど、幅広いAIワークロードを実行できるよう設計されています。

製品開発チームにとって、コンピューティングアーキテクチャをワークロードに合わせて最適化することで、アプリケーションに不要なパフォーマンスのためにエネルギーやシリコンリソースを無駄に消費することを防ぐことができます。

モデルの要求がますます高まるにつれ、専用のAIアクセラレーションの価値はますます高まっています。したがって、アーキテクチャには、効果的にスケールできる道筋が必要です。

3. ワークロードに応じた処理能力の推移を確認する

ウェアラブルコンピューティングは、その性質上、動的なものです。デバイスは、入力を監視している間はごくわずかな電力しか必要としない一方で、イベントを処理する際にはかなり多くの電力を必要とし、さらに複雑なAIワークロードを実行する際には、また別のレベルの性能が求められる場合があります。

単一の動作点を中心に最適化されたアーキテクチャは、そうした遷移の過程において非効率になる可能性があります。

超低消費電力のウェアラブルデバイスにおいては、ハードウェアは、ワークロードに応じて性能（ひいては消費電力）を調整できる必要がある。

AmbiqのSPOTアーキテクチャは、この原則に基づいて構築されています。turboSPOT®などの技術により、ワークロードの要求に応じて処理性能を向上させつつ、超低消費電力動作を実現するように設計されたアーキテクチャを維持することができます。ウェアラブルAIのワークロードが拡大するにつれ、この原則の重要性はさらに高まっています。

Ambiqの次世代アーキテクチャ「Atomiq™」は、その超低消費電力アプローチを専用のニューラル処理分野へと拡大しています。Atomiqは、SPOTテクノロジーとArm® Ethos™-U85 NPUを組み合わせることで、200 GOPSを超えるAI性能を実現します。 その動的な電圧・周波数スケーリングアーキテクチャは、300 mV付近での動作を想定して設計された超低消費電力モードを含め、超低消費電力、低消費電力、および高性能の各動作モードを網羅するように設計されています。

重要な点は、プロセッサが単に高速に動作したり、消費電力が極めて低かったりすることだけではありません。

常時稼働型のAIにおいて、こうした遷移は、推論自体の効率と同様に、バッテリー駆動時間にとって重要な要素となり得ます。

4. メモリとデータ移動を見落とさない

AIチップのエネルギー効率に関する議論では、演算処理が大きな注目を集めています。しかし、演算を実行すること自体は、エネルギー消費のほんの一部に過ぎません。データがそこへ届く必要があるのです。

モデルの重み、センサー入力、中間活性化値、およびアプリケーションデータは、メモリと演算リソースの間で絶えず移動しています。こうした転送にはエネルギーが消費されます。メモリアーキテクチャの効率が悪い場合、データの移動によって、AI専用処理によってもたらされるメリットの一部が損なわれる可能性があります。

したがって、製品チームやエンジニアリングチームは、コンピューティングの仕様にとどまらず、以下の点についても検討すべきです：

• オンチップメモリの空き容量
• メモリ帯域幅
• モデルと重みの保存
• データの保存期間
• メモリアクセスパターン
• メモリと演算リソースの近接性

モデルが大きくなり、より高度になるほど、こうした考慮事項の重要性は高まります。

これはウェアラブルデバイスにおいて特に重要な点です。なぜなら、外部メモリを追加すると、消費電力、コスト、基板スペース、およびシステムの複雑さが増加する可能性があるからです。

したがって、効率的なオンデバイスAIとは、単に計算を効率的に行うことだけではありません。計算の基盤となるデータの転送や保存に必要なエネルギー量を削減することも重要な要素なのです。

5. AIアーキテクチャに常時センシング機能を組み込む

多くのウェアラブルAI体験は、ニューラルネットワークが動作し始めるずっと前から始まっています。

デバイスは、何か意味のある事象が発生するのを待機している間、動き、音声、生理信号、環境からの入力、あるいはその他のセンサーストリームを継続的に監視することがある。

これらのタスクのために最高性能の処理リソースを継続的に稼働させると、エッジAIが持つバッテリー駆動時間の利点がすぐに損なわれてしまう。

その代わりに、超低消費電力アーキテクチャを採用することで、デバイスは特定のタスクに必要なリソースのみをアクティブに保つことができるようになるはずです。

軽量なセンシングおよび処理は、高性能な演算処理が低消費電力状態を維持している間にも実行可能です。イベントによりより高度な処理が必要になった場合、システムは追加のリソースを起動して処理を実行し、その後、低消費電力モードに戻ることができます。

この階層的なアプローチは、ウェアラブルコンピューティングにおいて特に重要です。なぜなら、「常時稼働」であっても、必ずしも最大性能で動作する必要はないからです。

極めて低い消費電力で有用な処理を実行し、必要に応じて選択的に演算能力を拡張できる能力は、小型のバッテリー駆動デバイスにおいて「継続的インテリジェンス」を実用化するための基盤となる。

6. ハードウェアとソフトウェアを合わせて評価する

高性能なシリコンは、開発者がその機能を効果的に活用できて初めて、価値を生み出す。

エッジAIの導入には、単にニューラルネットワークを動作させるだけでは不十分です。エンジニアリングチームは、モデルの変換、制約のあるハードウェアに合わせた最適化、パフォーマンスとメモリ使用状況のプロファイリング、実際のセンサーパイプラインの統合、そしてシステムがどこでエネルギーを消費しているかを把握する必要があります。

したがって、AIソフトウェアスタックは、当初の段階からシリコン評価に組み込むべきである。

Ambiqの neuralSPOT® SDK は、このハードウェアとソフトウェアの関係性を踏まえて設計されています。Apollo SoC上でAIモデルの開発、展開、チューニング、プロファイリングを行うための、オープンソースかつリアルタイム、OSに依存しない環境を提供します。

エンジニアリングチームにとって、これは、開発環境で動作するモデルから、超低消費電力のエンドポイントにおける最適化された実装に至るまでのプロセスを短縮するのに役立ちます。

また、エッジAIにおいてますます重要になっている「共同最適化」という機能も可能にします。

開発者は、モデルとシリコンを別々に最適化する代わりに、ターゲットハードウェア上で、モデルアーキテクチャ、量子化、メモリ使用率、処理リソース、および動作モードがどのように相互作用するかを評価することができます。

制約の多いウェアラブルデバイスにおいては、そうしたインタラクションが重要となる。

モデルアーキテクチャやメモリの挙動におけるわずかな変更は、AIのピーク性能の大幅な向上よりも、全体的なエネルギー消費量に大きな影響を与える可能性がある。

7. エッジAIに合わせて拡張可能なアーキテクチャを選択する

ウェアラブルAIの要件は急速に変化しています。

今日のデバイスでは、行動の分類やキーワードの検出が必要となるかもしれません。明日のデバイスでは、複数のセンサーに加え、より高度な音声処理、コンピュータビジョン、自然言語インターフェース、あるいはますます高性能化するデバイス内AIモデルが組み合わされる可能性があります。

だからといって、すべての製品が、利用可能な最大規模のAIアクセラレータから始めるべきだというわけではありません。つまり、基盤となるプラットフォームには、拡張の余地が必要だということです。

Ambiqのポートフォリオは、この進展を如実に示しています。

Apollo SoCは、組み込みおよびエッジAIワークロード向けの超低消費電力基盤を提供します。 Apollo510 は、多くのアプリケーションにおいてNPUを必要とすることなく、ますます高度化するAIに対応する高性能な処理能力により、その機能性をさらに拡張します。

大幅に強化された専用ニューラル処理の恩恵を受けるワークロード向けに、Ambiqが近日リリース予定の Atomiq ファミリーは、SPOTを超低消費電力の基盤として維持しつつ、NPUによる高速化機能を追加することで、アーキテクチャを拡張します。

これにより、エッジAIコンピューティングに対して「画一的なアプローチ」ではなく、連続的なアプローチが実現される。

ウェアラブル機器の設計者にとっては、これにより、ほとんど使用されない性能のために電力やシステムコストを自動的に負担するのではなく、アプリケーションが実際に必要とする要件に基づいてアーキテクチャを選択することが可能になる。

ウェアラブル向けエッジAIチップを比較する際に確認すべきポイント

仕様は候補を絞り込む上で役立ちますが、超低消費電力のウェアラブル機器向けのエッジAIチップを評価する際には、製品チームやエンジニアリングチームは仕様だけにとどまらず、さらに踏み込んだ検討を行う必要があります。

その目的は、実際のデバイスが直面する条件下で、各アーキテクチャがどのように動作するかを理解することです。

ワークロード全体のエネルギーコストはどれくらいか？

ベンダーには、センシング、前処理、メモリアクセス、AI推論、後処理、および動作状態間の遷移を考慮した測定値を依頼してください。

アクセラレータのベンチマーク結果が優れているからといって、必ずしもウェアラブルデバイスの全体的な消費電力が低くなるわけではない。

重要な点は、アプリケーション全体が実際の稼働期間中にどれだけのエネルギーを消費するかということです。

そのアプリケーションには、実際にNPUが必要なのでしょうか？

NPUは、十分に負荷の高いニューラルネットワークのワークロードに対して非常に高い効果を発揮します。しかし、必要のないときに専用の演算機能を追加したり有効化したりすると、システムに不必要な複雑さが生じる可能性があります。

どのワークロードがCPUやその他の利用可能な演算リソース上で効率的に実行できるか、また、専用のニューラル処理を採用することで、パフォーマンスやエネルギー効率の面で有意なメリットが得られるのはどのケースかを評価します。

ウェアラブルAIの場合、その答えは、仕様書に記載されているアクセラレータの有無ではなく、処理負荷によって決まるべきである。

このアーキテクチャは、各電源状態間をどの程度効率的に切り替えられるのか？

ウェアラブル機器が、常に最高のパフォーマンスで動作し続けることはめったにない。

プロセッサが、必要なときにどれほど迅速かつ効率的にパフォーマンスを向上させ、タスクが完了したら低消費電力状態に戻れるかを確認してください。

常時稼働するデバイスにおいて、こうした状態遷移の際に消費されるエネルギーは、バッテリーの総消費量に影響を与える可能性があります。

データの転送や保存にはどれだけのエネルギーが消費されるのか？

AIのベンチマークでは、計算能力を重視する一方で、メモリの性能が軽視されがちです。

モデルの重み、センサーデータ、および中間結果がシステム内でどのように流れるのか、また、頻繁に使用されるデータは、それを必要とする処理リソースの近くに保持できるかどうかを確認してください。

モデルの規模が大きくなるにつれて、メモリアーキテクチャやデータ移動が、AIの総エネルギー消費量に占める割合をますます大きくする可能性がある。

開発者は、実際のモデルをハードウェア上でテストしたり、プロファイリングしたりできるのでしょうか？

代表的なワークロードは、一般的なベンチマークよりも有用な情報を提供します。

エンジニアリングチームは、対象となる製品を忠実に再現したモデルやセンサーパイプラインを用いて、モデルのレイテンシ、メモリ使用率、演算リソース使用率、および電力消費の挙動を評価できる必要があります。

ベンチマークが実際のアプリケーションに近いほど、その結果はより有意義なものとなります。

AIの要件が変化しても、このプラットフォームは拡張性を維持できるのでしょうか？

現在のウェアラブルデバイスでは、センサーの分類やキーワードの検出が必要となる場合があります。将来の世代では、マルチモーダルセンシング、より高度な音声・映像機能、自然言語インターフェース、あるいはより高度なデバイス内モデルが追加される可能性があります。

そのアーキテクチャが、そもそもそのデバイスの実用性を可能にしたエネルギー効率の原則を放棄することなく、AIの性能向上に向けた現実的な道筋を提供しているかどうかを問う。

これらの質問を総合すると、比較の対象が次のようなものから：

どのチップのAI数値が最も高いですか？

宛先：

どのアーキテクチャなら、私のアプリケーションを最も効率的に実行できるでしょうか？

超低消費電力のウェアラブルAIにとっては、そちらの方がより適切な比較対象となります。

ベンチマークだけでなく、ワークロードもテストする

仕様書に基づいて、候補となるチップのリストを絞り込むべきです。最終的な選択は、実際のワークロードに基づいて決定すべきです。

エッジAIプラットフォームを選定する前に、代表的なモデル、センサー入力、サンプリングレート、メモリ要件、および動作パターンを用いてテストを行ってください。

経路全体を測定します：

これは、推論のレイテンシやアクセラレータの消費電力を個別に測定するよりも、ウェアラブルデバイスの消費電力についてより現実的な見方を提供します。

また、データシートからは明らかにならないボトルネックを明らかにすることもできます。

アクセラレータはニューラルネットワークを極めて効率的に実行できる一方で、前処理、メモリ転送、あるいはシステムのウェイクタイムが、総消費エネルギーの大部分を占めている場合がある。

したがって、最高のアーキテクチャとは、必ずしも単独のAIベンチマークで優勝したものであるとは限らない。

アプリケーションのワークロード全体を最も効率的に処理できるのがこれです。

真のベンチマーク：電力予算の範囲内での性能

次世代のウェアラブルデバイスは、エンジニアが手首や指、耳、あるいは体にどれだけのAI処理能力を詰め込めるかという点だけで定義されるわけではない。

それは、限られたエネルギーでどれだけの有用な情報を提供できるかによって決まるだろう。

そのため、超低消費電力のウェアラブル機器向けエッジAIチップを選定する際には、システム全体の消費電力、ワークロードに応じた演算処理、効率的なメモリ移動、常時稼働型のセンシング、動的なパフォーマンススケーリング、およびハードウェアとソフトウェアの共同最適化が、極めて重要な考慮事項となります。

Ambiqは、この問題に対して、電力アーキテクチャの観点からアプローチしています。

その SPOTプラットフォーム が、超低消費電力の基盤を提供しています。 Apollo は、その効率性をウェアラブルクラスのエッジコンピューティングにもたらします。 neuralSPOT は、開発者がこのハードウェア向けにAIワークロードを構築・最適化するためのツールを提供します。モデルにはより高い専用AIパフォーマンスが求められるため、 Atomiq は、この超低消費電力の理念をNPUベースのアーキテクチャにも拡張しています。

常時稼働型のバッテリー駆動エッジAIにとって、これこそが重要なベンチマークです。