Apple Vision Proを使ってジェスチャーでロボットを操作してドアノブを開けたり物を拾ったりする技術が開発される

2024年2月に登場したAppleのヘッドセット型デバイス「Apple Vision Pro」を使用し、4足歩行のロボットを手や頭のジェスチャーで操作するApple Vision Pro専用アプリを、マサチューセッツ工科大学(MIT)の研究者らが開発しました。実際に研究者らが公開した動画を見ると、4足歩行のロボットをジェスチャーで動かし、ドアノブを開けたり物を拾ったりしている様子を確認できます。
VisionProTeleop/assets/short_paper_new.pdf at main · Improbable-AI/VisionProTeleop · GitHub
https://github.com/Improbable-AI/VisionProTeleop/blob/main/assets/short_paper_new.pdf
🥽 Want to use your new Apple Vision Pro to control your robot? Want to record how you navigate / manipulate the world to train a policy?
I developed an app for VisionOS that can stream your head / wrist / finger movements over WiFi, which you can subscribe on any machines using… pic.twitter.com/l5CbeINWWf— Younghyo Park (@younghyo_park) March 9, 2024
Watch scientists control a robot with their hands while wearing the Apple Vision Pro | Live Science
https://www.livescience.com/technology/virtual-reality/watch-scientists-control-a-robot-with-their-hands-while-wearing-the-apple-vision-pro
Apple Vision Proはフルカラーパススルーを使って周囲の現実と仮想空間を融合させる「空間コンピューティング」を実現したヘッドセットで、現実空間と重ね合わせたバーチャルな作業環境を構築することができます。すでにApple Vision Proを装着したまま街中を歩く人々の姿も目撃されています。
MITの博士課程に在籍するロボット工学者であるパク・ヨンヒョ氏らは、人間の頭や手の動きを追跡して同じWi-Fiに接続しているロボットに動きをストリーミングするApple Vision Pro専用アプリ「Tracking Streamer」を開発しました。実際にTracking Streamerを使用して、Apple Vision Proを着用した人が四足歩行ロボットを動かす様子は以下の埋め込み動画で確認できます。
[3/6] Look how @gabe_mrgl used this app/library to control his robot! pic.twitter.com/FIQHE7WGxO— Younghyo Park (@younghyo_park) March 9, 2024
Apple Vision Proを装着しているのはMITの大学院生であるゲイブ・マーゴリス氏。

マーゴリス氏の手の動きに連動して、四足歩行ロボットのアームが動きます。

よく見ると、マーゴリス氏が手を開くとロボットアームの先端が開き、手を閉じると先端が閉じることがわかります。

マーゴリス氏がしゃがむとロボットもしゃがみました。

うまく操作すれば、ロボットアームでドアノブをつかむことも可能。

「アームでドアノブをつかんで回し、そのままドアノブを押すことでドアを開ける」という複雑な動作を、手を動かすという直感的な操作で実行することができました。

Tracking Streamerによる操作で、四足歩行ロボットを入室させることができました。

また、四足歩行ロボットをしゃがませたままロボットアームを操作すれば、床に落ちている物を拾い上げることも可能です。

Tracking Streamerは、Apple Vision Proのカメラやセンサーで現実世界と映像を重ね合わせる「ARKit」を使用して、手や頭部のトラッキングを行っているとのことです。
[4/6] The repository also contains visualization codes. You can check how the axes are defined: pic.twitter.com/4S9kym2i5O— Younghyo Park (@younghyo_park) March 9, 2024