GoogleがAIによる「詐欺電話の検出」や「YouTubeの動画からの検索」機能を発表

Googleが、2024年5月14日に開催した開発者カンファレンス「Google I/O 2024」で、AIモデルのGeminiとAndroidをより深く統合させることで、動画からの検索やPDFの要約、銀行員などを装って個人情報を要求する詐欺への警告などの機能がスマートフォンに搭載されることを発表しました。
I/O 2024: New ways to experience Google AI on Android
https://blog.google/products/android/google-ai-android-update-io-2024/
Googleは今回の発表イベントで、Androidアプリ上にGeminiをオーバーレイ表示させられる機能や、Androidの内臓モデルGemini Nanoのアップデートによるマルチモーダル機能の実装などについて発表しました。
まず、使用中のアプリの上にGeminiを表示させられるようになることで、ユーザーはAIが生成した画像をメッセージやGmailに直接ドラッグ＆ドロップしたり、「このビデオに質問(Ask this video)」をタップしてYouTubeの映像から特定の情報を探したりできます。
また、有料のGemini Advancedを利用しているユーザーには、閲覧中のPDFをAIが要約する「このPDFに質問(Ask this PDF)」というオプションが追加され、すべてのページに目を通さなくてもその内容を把握することができるようになります。このアップデートは、今後数カ月かけて数億台のAndroidデバイスに提供される予定とのこと。
Gemini on @Android is becoming more helpful and context aware. Later this year, you’ll be able to drag-and-drop generated images into Google Messages & Gmail, and ask questions about @YouTube videos and PDFs right on your device. #GoogleIO pic.twitter.com/ZRajfzXBWw— Google (@Google) May 14, 2024
加えて、Androidに組み込まれたAIであるGemini Nanoが完全なマルチモーダルに対応し、AIがテキスト入力だけでなく光景や音、会話など、Android使用シーンのコンテキストをより多彩に理解できるようになります。このアップデートは、2024年後半にPixelシリーズの端末に展開されます。
Gemini Nanoがマルチモーダルになることで、画面の情報を読み上げるユーザー補助機能であるTalkBackも強化され、目の不自由なユーザーがより豊かな情報を受け取ることが可能になります。
Later this year, @Android’s accessibility feature TalkBack will get a boost with Gemini Nano. Image descriptions will be clearer and richer, helping low-vision and blind users better navigate their phone with spoken feedback. #GoogleIO pic.twitter.com/qGWhJVbeRF— Google (@Google) May 14, 2024
詐欺による世界的な被害は年々増加しており、世界43カ国の被害をまとめた2023年の調査報告では、詐欺や個人情報の窃取などによる被害は年間1兆ドル2600億ドル(約200兆円)と見積もられています。
GoogleはGemini Nanoにより、電話詐欺によく使われる会話パターンを解析して、本物の銀行員は決して行わないようなパスワードやPINなどの個人情報の要求、緊急の資金移動やギフトカードでの支払いの指示などを検知したらアラートを表示する機能のテストを実施しています。この機能はすべてスマートフォン内で完結するため、通話のプライバシーは維持されるとのこと。このオプトイン機能については、2024年後半にさらに詳しい情報が明かされる予定です。
Thanks to Gemini Nano, @Android will warn you in the middle of a call as soon as it detects suspicious activity, like being asked for your social security number and bank info. Stay tuned for more news in the coming months. #GoogleIO pic.twitter.com/wtc3rrk0Gc— Google (@Google) May 14, 2024
Googleは、今後GeminiとAndroidの統合をさらに進めて、スマートフォンのユーザー体験のあらゆる側面にAIを組み込んでいくとしています。
We're reimagining Android with AI at the core, enabling developers to build a whole new class of apps on mobile. With Gemini in Android Studio, you can take your development to the next level with coding help, a more helpful Crashlytics integration and more. #GoogleIO pic.twitter.com/SWFw9KGWet— Google (@Google) May 14, 2024