顔面でマウスカーソルを操作する「Project Gameface」がオープンソース化されAndroidで利用可能に

GoogleがI/O 2023で発表した、眉毛や口の動きなどでマウスカーソルをコントロールできるオープンソースプロジェクト「Project Gameface」が、Androidでも利用できるようになると発表されました。
Project Gameface launches on Android - Google Developers Blog
https://developers.googleblog.com/en/project-gameface-launches-on-android/

Android apps will soon let you use your face to control your cursor - The Verge
https://www.theverge.com/2024/5/14/24156810/google-android-project-gameface-accessibility-io
Project Gamefaceは、進行性の筋力が低下する病気である筋ジストロフィーの患者であるゲームストリーマーのランス・カーさんの話からインスピレーションを受けて開発されたツールです。
Gaming with muscular dystrophy | Project GameFace featuring Lance Carr | Google - YouTube

すでにplayAbilityなどの企業がProject Gamefaceを用いた製品を開発しています。新たに、GoogleはすべてのAndroidアプリ開発者がProject Gamefaceを利用できるように、これをオープンソース化すると発表しました。これにより、Androidデバイスのカメラを通じて顔の表情や頭の動きをシームレスに追跡し、それらを直感的でパーソナライズされた操作に変換できるようになります。また、アプリ開発者は表情やジェスチャーでのカーソル操作体験をユーザーがカスタマイズできるように、表情・ジェスチャー・サイズ・カーソル速度などを微調整できるアプリケーションを構築できるようになるそうです。
Introducing Project Gameface for Android - YouTube

GoogleはAndroid向けのProject Gamefaceを構築する上で、以下の3つの基本原則に基づいて開発を進めたと述べています。
1：障害を持つ人々にAndroidデバイスを操作するための新たな追加手段を提供します。
2：スケーラブルな使用を可能にする、一般公開されている費用対効果の高いソリューションを構築します。
3：Project Gamefaceの最初の発売で学んだことと指針を活用し、製品をユーザーフレンドリーでカスタマイズ可能なものにします。
Android版のProject Gamefaceでは、通常版のProject Gamefaceと同じようにデバイスを操作できるようにするため、仮想カーソルを導入しています。Androidのアクセシビリティサービスを使用してカーソルを作成し、MediaPipeの顔ランドマーク検出APIを活用し、ユーザーの頭の動きに合わせてカーソルが動くようにプログラムされています。
同APIでは「左眉を上げる」「口を開ける」などの52種類もの顔ジェスチャーを表す顔ブレンドシェイプ値を有しており、これらを利用して幅広い機能を効果的にマッピングおよび制御し、ユーザーにカスタマイズと操作の可能性を広げています。開発者が特定の式ごとに異なるしきい値を設定できるようにするブレンドシェイプ係数も活用しており、エクスペリエンスをカスタマイズするのに役立ちます。

なお、オープンソースとなったProject GamefaceはGitHub上で公開されています。
GitHub - google/project-gameface
https://github.com/google/project-gameface