Apple Silicon MacのNeural Engineはどのような場面で使われるのか

Apple M1やM2チップなどのApple Silicon SoCに搭載されているNeural Engine(Apple Neural Engine – ANE)は具体的にmacOS上でどのような場面で使われるのかApple M1 Max搭載のMac Studio(32GB・24GPU・1TB)で検証してみた。

結論から言えば今回の検証ではApple Silicon SoCのANEはmacOS Montereyの場合、Core ML APIを使用するアプリを除けば写真アプリの「調べる(日本国内では未提供の機能)」と「クイックルック」でしか使用されておらず、サードパーティーアプリケーションも含めてANEの使用は極めて限定的だ。

検証

検証に当たっては僕が知る限りでは唯一ANEの使用率をリアルタイムで調べることができるCLIツール「asitop」を使用した。

asitopでは画像のようにApple Silicon搭載Macの消費電力やメモリ使用量、CPU使用率の他に「ANE Usage」の項目でANEの使用率を計測することが可能だ。

Photoshopのニューラルフィルター

手持ちのアプリケーションではPhotoshopのニューラルフィルターが名前からしてANEを使用しそうだったので実際に「JPGのノイズを削除」のニューラルフィルターによる処理を行ってみたが、結果としてはPhotoshopのニューラルフィルターはApple Silicon MacにおいてはCPUしか使用せず、ANEの使用率はゼロだった。

Davinci Resolve 18

リリースされたばかりのDavinci Resolve 18でFusionなどを多用した動画編集を行なってみたが、ここでもどのような処理を行ってもANEの使用率はゼロとなった。

Davinci Resolveはバージョン17からApple Silicon Macにネイティブ対応しているが、17〜18のリリースノートを見てもCore MLについては全く触れられていなかったのでCore ML APIを活用していないということだろう。

Live Text

macOS MontereyのLive Textでは写真やスクリーンショットにおいて画像中の文字をコピー・ペースト・翻訳・検索することが可能だ。

macOS Montereyでは写真やスクリーンショットにおいて機械学習により写真中の文字部分をコピー、ペースト、翻訳、検索できる「Live Text」という機能があるが、この機能を使用中もANE使用率は微動だにしなかった。

Siri

Siriの音声認識ならば機械学習を使用するのでANEも活用されているのではないかと期待したが、どのような語句を用いてもSiriのANE使用率はゼロとなった。

クイックルック

クイックルック動作時、ANEの使用電力が0.1Wだけ上昇した

クイックルックは印象としてはANEとは無関係の機能に思われるが、何度もファイルをクイックルックしていた際にANE使用率はゼロではあるもののANEの電力使用量が0.1Wと極僅かではあるが上昇したのを確認した。クイックルック上でどのような処理を行っているかは不明であるが、クイックルックはANEを多少なりとも使用するようだ。

写真アプリの「調べる」

画像出典 Apple

写真アプリの「調べる」は日本国内のmacOS Montereyでは有効化されておらず利用できないが、下記の海外サイトによれば写真アプリの「調べる(Look Up)」はコンスタントにANEを使用すると書かれているため、写真アプリの「調べる」に限って言えばANEが有効に活用されているようだ。

参考 The hunt for the M1’s neural engineThe Eclectic Light Company

なお、写真アプリの「調べる」は国内ではmacOS Venturaの正式リリースと共に提供されると思われる(Venturaのパブリックベータで「調べる」を利用できるため)。

現状、Apple Silicon MacにおけるANEの使用は限定的

iPhoneなどにおいてはANEはFace IDなどの顔認識に使用されていたりとふんだんに活用されているのだが、現状Apple Silicon MacにおいてはFace ID搭載Macが存在しないのも相まってANEの使用は極めて限定的だ。

macOSの基本的な機能(SiriやLive Text)ではANEが活用されてもよさそうのものだが、Appleは現時点ではmacOSの各機能をほとんどCPUに処理させており、ANEが活用される場面は少ない。

サードパーティーアプリケーションに関してもGeekbench MLなどのCore ML APIを使用するベンチマークアプリであればANE使用率も高くなるのだろうが、テストした限りAdobeやBlackmagicのアプリケーション(PhotoshopやDavinci Resolve)ではCore MLを使用しておらず、どのような処理を行ってもANEの使用率はゼロだったのでCore ML APIを活用したアプリはまだまだ少ないということだろう。

Apple及びデベロッパー次第ではあるがApple Silicon MacにおいてANEが有効に活用されるには時間がかかりそうだ。