Google レンズに動画での検索機能が登場、音声での質問も可能に

Google レンズに動画を使った検索機能と、撮影中のものについて音声で尋ねることができる機能が実装されました。これにより、Googleの試験運用機能を使えるプログラム「Search Labs」に登録している人は、映像と音声の質問を組み合わせてより簡単にリアルタイムな検索が可能となります。
Google Lens Voice Input: How to search with your voice in Google Lens
https://blog.google/products/search/google-lens-voice-search/
Google updates: AI-Organized Search, Google Lens, and more
https://blog.google/products/search/google-search-lens-october-2024-updates/
Google Lens now lets you search with video - The Verge
https://www.theverge.com/2024/10/3/24259759/google-lens-search-video-ai-launch
Googleは、2024年5月の開発者向けカンファレンス・Google I/Oで、Google レンズの「動画理解機能」を発表しました。この機能のデモムービーは、以下の動画の57秒頃から始まります。
Search in the Gemini era | Google I/O 2024 - YouTube

動画理解機能を使うと、例えば水族館で魚にスマートフォンをかざし、泳いでいる様子を録画しながら「なぜあの魚は一緒に泳いでいるの？」と質問することで、AIモデルのGeminiがその回答を生成してくれるようになります。

Search LabsでAI機能のテストにオプトインしている場合、Google レンズのシャッターボタンを押しっぱなしにすると動画が撮影され、音声による質問をすることができます。また、検索結果にあるマイクのアイコンをタップして別の質問をすることも可能です。

Googleのエンジニアリング担当ヴァイスプレジデントであるRajan Patel氏は、この機能について「動画を一連の画像フレームとしてキャプチャし、それをカスタムGeminiモデルに渡しています。すると、AIが複数のフレームを連続的に理解し、ウェブに基づいた応答を生成します」と説明しました。
動画内に入った音に対する質問をすること、例えば鳥の鳴き声を録音してその鳥の種類を尋ねるような使い方はまだできませんが、Googleはそのような機能のテストを進めているとのことです。
Google レンズの動画理解機能は全世界のAndroidおよびiOSユーザー向けに展開されていますが、音声での質問はこれまでのところ英語のみがサポートされています。