Microsoftの「Copilot＋ PC」は主張されているほどAI処理性能が高くないというベンチマーク結果が報告される

MicrosoftはAIアシスタントの「Copilot」をはじめとするAIタスクの実行に適したPCを「Copilot＋ PC」とカテゴライズし、AI向けPCの市場での存在感を強めています。ところが、実際にCopilot＋ PCとして販売されているMicrosoft Surface Pro(第11世代)でベンチマークを実行したところ、AIの実行性能に難ありという結果が出てしまったとAIハードウェア開発企業のUseful Sensorsが報告しています。
GitHub - usefulsensors/qc_npu_benchmark: Code sample showing how to run and benchmark models on Qualcomm's Window PCs
https://github.com/usefulsensors/qc_npu_benchmark

MicrosoftはCopilot＋ PCについて、「40TOPS以上のNPUを搭載したWindows 11デバイス」であると定義しています。つまり、たとえ高いAI処理性能を持つGPUを搭載しているとしても、NPUが搭載されていないPCはCopilot＋ PCとは認められないというわけです。
「NPU」はAIの推論処理を高速化するために設計されたプロセッサです。GPUでも高速なAIタスクの実行が可能ですが、AI処理だけでなくさまざまな演算に対応するユニットを内蔵しているため、消費電力は大きくなってしまいます。それに対し、AI処理に特化したNPUは演算ユニットも必要最小限であるため、同じAI処理を行う場合でも消費電力がはるかに小さいとのこと。
また、「TOPS」とはAIチップの処理速度を表す指標として用いられる単位です。従来のコンピューターの計算能力は、浮動小数点演算を1秒間に何回行えるかを示す「FLOPS」で表されていました。一方、AIタスクでは浮動小数点演算ではなく整数演算を行うことが多いため、AIタスクの処理速度を示す際は1秒間の整数演算回数を示した「TOPS」が用いられます。
Copilot＋ PCの要件として掲げられている「40TOPS以上のNPU」とは、「1秒間に40兆回以上の整数演算ができるNPU」という意味になります。そこでUseful Sensorsは、実際にテストスクリプトを用いてMicrosoft Surface Pro(第11世代)のベンチマーク測定を行いました。

Useful Sensorsはテストスクリプトの実行にPythonを使用していますが、2024年10月2日時点でMicrosoft Storeで入手できるPythonは、Armアーキテクチャのプロセッサをサポートしていません。そのため、既存のCopilot＋ PCに搭載されているQualcommのNPUにアクセスするパッケージの実行には適していないとのこと。代わりにUseful Sensorsは、公式のPython.orgインストーラーを使用したと説明しています。
ベンチマークは現実世界のAIモデルに似せて設計されており、OpenAIのWhisperをはじめとするトランスフォーマーモデルで最も時間がかかるレイヤーに似た、6つの巨大な行列乗算を実行するとのこと。モデルを最初から最後まで実行するのにかかった実時間をレイテンシとして計測し、そのレイテンシから1秒あたりの演算回数を逆算するという仕組みです。
テストの結果、Microsoft Surface Pro(第11世代)で実行されているQualcommのSnapdragon X Elite(12コア：クロック周波数3.40GHz)は、主張されているほどAI処理性能が高くないことが判明。ベンチマーク結果では、1秒あたりの演算回数は5730億回(0.573TOPS)で、マーケティング資料でうたわれている1秒当たり45兆回(45TOPS)には及ばないことが示されました。
一方、同じベンチマークテストをノートPCに搭載したNvidia Geforce RTX 4080で実行したところ、1秒あたりの演算回数は2兆1600億回(2.1TOPS)だったと報告されています。
Useful Sensorsは、「Androidなど他のプラットフォームでは、基盤となるハードウェアが非常に効果的に機能する様子を目にしているため、将来的にアプリケーション・フレームワーク・ドライバーのいずれかのレベルで、これらの結果を改善するソフトウェア変更が行われることを期待しています」と述べました。