「かこって検索」で宿題ヘルプ。Geminiで来るAndroidの新機能たち

Geminiの賢さと、Androidの利便性が融合…！

Google I/Oのキーノートでは、最近のAndroidのベストな機能「かこって検索」が主役のひとつになりました。Androidに搭載のAI、Geminiのアップデートが発表され、内容は予想より地味だったかもしれませんが、ちゃんと使える新機能がいろいろあります。

Android関連では、Google I/Oの2日めとなる5月15日にさらなる発表があるとのことで、引き続き注目です。

かこって検索で宿題のヘルプ

Geminiの最初のアップデートは、かこって検索経由で、物理や数学のいろんな文章問題の答えを調べられる機能です。Google検索が、質問に対してステップ・バイ・ステップで解き方を教えてくれます。ただこの機能を使うには、GoogleのSearch Labsからオプトインしておく必要があります。

Googleはブログの中で、この機能を実現したのは「勉強用に最適化した新たなモデルのファミリー」である「LearnLM」だと言っています。今の学生さんはこんなヘルプ機能が使えてうらやましい限りです。

Googleは今年中に、グラフやダイアグラムの認識といった、STEM（科学技術や数学）系の宿題のヘルプ機能をもっとリリースしていく予定です。

文脈理解が進化

Geminiは今年、今まで以上に文脈を把握するようになります。今後のアップデートでは、任意のアプリとGeminiの間でやりとりできるようになるとのこと。たとえばGeminiが生成した画像を、メッセージのようなアプリやYouTube動画の中などにドラッグ・アンド・ドロップできます。

Gemini Advancedのユーザーなら、PDFを投げると簡単に要約してくれる機能も使えます。このアップデートに関しては、「今後数カ月」でロールアウトしていくそうです。

Gemini Nanoで音声や動画も同時処理

Pixelのデバイス上で動くGeminiの最小モデル「Gemini Nano」も今年中にアップデートされ、対応機種のPixelユーザーは恩恵を受けられます。

まずGemini Nanoはマルチモーダルに、つまりテキストと音声、動画を同時に処理できるようになります。これによってAndroidのTalkBackのような機能では、Gemini Nanoが画像やインターフェイス要素の説明を生成してくれるようになります。

Gemini Nanoはまた、電話アプリの中で詐欺検知機能も提供します。

この機能では会話をスマホ単独でスキャンして、詐欺っぽいトークではないかをリアルタイムで判定してくれます。Googleいわく、会話はハードウェア側で処理され、サーバーには送られません。Gemini Nanoが詐欺のトリガーとなる単語やフレーズを聞き取り、ユーザーへのフィードバックを提供するそうです。

Android開発環境でも使えます

Googleはデベロッパーに対し、Androidの開発環境・Android StudioでもGeminiが利用可能であることを改めてアピールしました。Android StudioではGemini 1.5 Proも今年中に使えるようになるとのことで、それでコーディングの効率が高まれば、いろんな新しいアプリや機能がもっと生まれてくる、といいですね。