Googleが「航空券の予約」や「製品の購入」をブラウザ上で実行するAI機能「Jarvis」をChromeに導入する予定

Googleがユーザーのウェブブラウザ上で、「調査結果の収集」「製品の購入」「航空券の予約」といったタスクを実行するAIエージェント「Jarvis」を開発していると、海外メディアのThe Informationが報じました。
Google Preps AI That Takes Over Computers — The Information
https://www.theinformation.com/articles/google-preps-ai-that-takes-over-computers
Google is reportedly developing a ‘computer-using agent’ AI system - The Verge
https://www.theverge.com/2024/10/26/24280431/google-project-jarvis-ai-system-computer-using-agent

'Project Jarvis' leak highlights Google Gemini 2.0's superpower
https://www.androidpolice.com/google-gemini-project-jarvis-ai-agent/
Report: Google preps ‘Jarvis’ AI agent that works in Chrome
https://9to5google.com/2024/10/26/google-jarvis-agent-chrome/
Googleは2024年5月に開催した年次カンファレンス「Google I/O 2024」で、マルチモーダルAIのGemini Nanoをデスクトップ版Chromeに直接組み込むことを発表し、7月にはChrome 127のベータ版にGemini Nanoが組み込まれました。また、Googleは「日常生活に役立つユニバーサルAIエージェント」についても触れ、AIエージェントの機能の一部がGeminiに搭載される可能性があると述べました。
新たにThe Informationは、Googleが「Project Jarvis」というコードネームが付けられたプロジェクトを進めていると報じました。プロジェクトを知る3人の関係者によると、JarvisはGoogleが開発したマルチモーダルAI「Gemini」の将来的なバージョンである「Gemini 2.0」を搭載しており、ウェブブラウザ上で情報収集や製品の購入、航空券の購入といったタスクを実行するとのこと。
JarvisはChrome専用に調整されており、継続的に画面のスクリーンショットを撮影してそれを解釈し、ユーザーの指示に基づいてボタンをクリックしたりテキストを入力したりします。しかし、記事作成時点では応答がやや遅いそうで、その理由については「モデルが各アクションを実行する前に数秒間考える必要があるため」と報じられています。テクノロジー系メディアの9to5Googleは、「おそらくJarvisはまだオンデバイスで動作しておらず、クラウドを必要としているのでしょう」と指摘しました。

早ければ2024年12月にJarvisのプレビュー版が公開される予定だと報じられており、これは「Gemini 2.0が12月にリリースされる予定」といううわさとも合致しています。
テクノロジー系メディアのAndroid Policeは、「Googleは、最初はテストのため少人数のユーザーにJarvisを提供することを望んでおり、導入された時に広く利用できるようになるとは考えていません。また、12月のリリーススケジュールは決まっているわけではなく、The Informationが指摘するように、Googleはその時までにJarvisとその機能を披露しないことを選択するかもしれません」と述べました。
Jarvisのような、ブラウザと連携するAIモデルに取り組んでいるのはGoogleだけではありません。Microsoftはブラウザ上のテキストや画像に沿った会話が可能なAI機能「Copilot Vision」を開発しており、AI企業のAnthropicはAIモデル「Claude」がPCを操作する機能「computer use」のパブリックベータテストを開始しています。

なお、MicrosoftはユーザーによるPC上の操作を定期的にスクリーンショットし、データベースに保存して後から操作履歴を確認できるようにする機能「Recall」を2024年5月に発表しました。Recallにはプライバシー上の懸念が寄せられており、公開が延期されていましたが、10月からWindows Insiderを経由してプレビュー版が提供されています。