Microsoftが「Copilotと音声会話する機能」「画像を8倍にアップスケールする機能」「PCで操作中の内容を自動認識して次の操作を提案する機能」などのAI機能を大量に発表

2024年10月1日(火)にMicrosoftが「Copilot＋ PC」「Copilot」「Bing」向けのAI機能を大量に発表しました。発表された機能には「画像を8倍にアップスケールする機能」「Copilotと音声会話する機能」などが含まれています。
An AI companion for everyone - The Official Microsoft Blog
https://blogs.microsoft.com/blog/2024/10/01/an-ai-companion-for-everyone/
New experiences coming to Copilot+ PCs and Windows 11 | Windows Experience Blog
https://blogs.windows.com/windowsexperience/2024/10/01/new-experiences-coming-to-copilot-pcs-and-windows-11/
The next step in Bing generative search | Bing Search Blog
https://blogs.bing.com/search/October-2024/The-next-step-in-Bing-generative-search
◆Copilot＋ PC向けの新機能
Copilot＋ PCは高性能なAI処理チップ(NPU)を搭載したPCで、「落書きからイラストを生成」といったAI処理をローカルで実行できます。新たに、MicrosoftはCopilot＋ PC向けの複数の新機能を発表しました。各機能は2024年11月から段階的に展開される予定です。
・Recall(プレビュー)
Recallは「画面のスナップショット」を5秒ごとに撮影し、画面内に含まれるテキストや画像などを分析して後から検索可能にする機能です。Recallはセキュリティやプライバシー上の懸念からリリースが延期されていましたが、各種対策を施した上で2024年11月にプレビュー版がリリースされることとなりました。

なお、Recallに施されたセキュリティ対策やプライバシー対策の詳細は以下の記事にまとめています。
リリース延期になったWindowsのPC操作履歴検索AI「Recall」に施されたセキュリティ対策の詳細が明らかに - GIGAZINE

・Click to Do(プレビュー)
Click to Doは、画面内に表示されているテキストや画像を認識して次に実行する処理を提案する機能です。提案される処理は「Bingで画像検索」「写真内の背景をぼかす」「写真内の物体を削除する」「テキストを要約する」「対象をテキストエディタで開く」「メールアドレスを検出してメールを送信する」「URLを検出してブラウザで開く」など多岐にわたります。例えば、以下の例では画像を認識して「Bingで画像検索」「写真内の背景をぼかす」「写真内の物体を削除する」「ペイントで背景を削除する」といった処理を提案しています。

・検索機能の改善
Windowsのローカル検索機能にAIが組み込まれ、ファイル名ではなくコンテンツの内容から検索できるようになりました。例えば、「バーベキューパーティー」という語句で検索すれば、「バーベキューパーティーの写真」などを検索結果に表示させられます。AI検索機能は、まずエクスプローラーに搭載され、数カ月以内にタスクバーやスタートメニューの検索機能でも使えるようになります。

・写真の超解像
写真アプリに、AIを用いて品質を保ちつつ写真の解像度を最大8倍にまでアップスケールする機能が追加されます。

・ペイントに生成塗りつぶしと生成削除が追加
ペイントに生成塗りつぶしと生成削除が追加され、「画像の一部分を別の物に置き換える」「画像の一部分を違和感なく削除する」といった操作が可能になります。また、ペイントのAI生成機能の基盤モデルの改善により、生成速度や品質が向上しています。

◆Copilot
MicrosoftのAIアシスタント「Copilot」にも複数の新機能が追加されます。
・Copilot Voice
Copilot Voiceは、Copilotと音声で会話できる機能です。Copilotの声は4種類用意されており、質疑応答やブレインストリーミングの補助などに活用できます。
Copilot Voice - YouTube

Copilot Voiceはオーストラリア・カナダ・ニュージーランド・イギリス・アメリカで英語でのみ利用可能で、近日中に対応地域や対応言語を拡大する予定です。
・Copilot Daily
Copilot Dailyは「ニュースの要約」「天気予報」「リマインダー」などを読み上げる機能です。Copilot Dailyで読み上げられるニュースはMicrosoftと提携した報道機関のものに限られるとのこと。Microsoftはすでに「ロイター」「Axel Springer」「Hearst Magazines」「USA TODAY Network」「Financial Times」と契約を結んでおり、今後も提携先を増やす予定としています。

Copilot Dailyは2024年10月1日からアメリカとイギリスで利用可能になっており、近日中に対応地域を拡大する予定です。
・Discover
DiscoverはCopilotとの会話の切っ掛けや機能ガイドを表示する機能です。また、ユーザーが許可した場合、ユーザーの会話履歴に応じてDiscoverに表示する内容を最適化できます。

・EdgeでCopilotに簡単アクセス
Edgeのアドレスバーに「@copilot」と入力するだけでCopilotにアクセスできるようになります。
・Copilot Labs
Copilot Labsは、Copilotの実験的な機能を試せる機能です。Copilot Labsの最初の試みとして「Copilot Vision」と「Think Deeper」のテストが計画されています。
・Copilot Vision
Copilot Visionはブラウザに表示されているテキストや画像に沿った会話が可能な音声アシスト機能で、ウェブページの内容を認識しつつユーザーの質問に応じることができます。Copilot Visionはユーザーが明示的に使用開始したタイミングでのみコンテンツを認識し、会話が終了したらデータは破棄されます。Copilot Visionは、アメリカのCopilot Pro加入者の一部を対象にCopilot Labs上で間もなくテスト開始予定です。
Introducing Copilot Vision - YouTube

・Think Deeper
Think Deeperは応答速度が遅くなる代わりに複雑な質問に回答できるようになる機能です。例えば「AとBどちらの都市に引っ越すべきか？」「自分が買うべき車は？」といった実用的かつ日常的な質問に応答できるとのこと。
Think Deeperは今週中にCopilot Labsでテスト開始予定で、テスト対象者はオーストラリア・カナダ・ニュージーランド・イギリス・アメリカのCopilot Pro加入者の一部です。
◆Bing generative search
BingのAI検索機能「Bing generative search」が強化され、「1on1の効率的な実施方法」「ポッドキャストの録音データからノイズを削除する方法」といった複雑な検索語句にも対応できるようになります。すでにアメリカでは強化版Bing generative searchのテストが始まっているとのことです。