NVIDIAが音声認識追加や画像検索改善を行ったAIチャットボット「ChatRTX」を公開

NVIDIAが、AIチャットボット「ChatRTX」でサポートするLLMを追加して画像検索機能の改善や音声認識機能の追加を行ったことを発表しました。
Build a Custom LLM with ChatRTX | NVIDIA
https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/

ChatRTX Adds New AI Models and Features | NVIDIA Blog
https://blogs.nvidia.com/blog/ai-decoded-chatrtx-update/
Nvidia’s AI chatbot now supports Google’s Gemma model, voice queries, and more - The Verge
https://www.theverge.com/2024/5/1/24146130/nvidia-chatrtx-google-gemma-ai-model-features-updates
NVIDIA's On-Device AI Chatbot Now Supports Google Gemma and ChatGLM3
https://www.howtogeek.com/nvidias-chatrtx-adds-google-gemma-chatglm3/
「ChatRTX」は、NVIDIAが2024年2月にRTXシリーズのGPUを生かしてWindows PCのローカルで動作するAIチャットボットとして発表した「Chat with RTX」をアップデートしたもの。
無料のチャットボットAI「Chat With RTX」をNVIDIAがリリース、GeForce RTX GPU搭載PCでローカル動作が可能 - GIGAZINE

当初からLLMとして「Mistral」「Llama2」をサポートしていましたが、新たに「Gemma」「ChatGLM3」「CLIP」が加わりました。
CLIPはOpenAIが開発した画像認識AIで、ChatRTXの画像検索能力を高め、ラベリングなしでもローカルの写真データを検索できるようになっています。どのように動作するか、デモ映像で確認することができます。
ChatRTX Update: New Models & Features | Voice & Image Data Support - YouTube

LLMで「CLIP」を選択。

そして、写真の入ったフォルダーを選択しました。

プロンプトに「Hiking in the mountain(山歩き)」と入力。

すると、先ほど選択したフォルダーの中から、山歩きの写真に該当すると考えられる3枚の写真を提示してくれます。

そのほかの候補もチェック可能。このように、撮影した写真に「山」「ハイキング」などのラベルを付けなくても、CLIPがプロンプトに該当すると考えられる画像を探してくれます。

また、高性能文字起こしAI「Whisper」を統合したことで、音声認識が可能になり、プロンプトの複数の言語で音声入力できるようになりました。
ChatRTXはNVIDIA公式サイトから無料で入手・利用が可能。なお、ファイルサイズは30GBあり、利用時には少なくとも8GBのVRAMを搭載したRTX30シリーズまたは40シリーズのGPUが必要です。