OpenAIが画像読み取り可能なAI「GPT-4 Turbo with Vision」を一般公開開始、JSONモードや関数呼び出しをサポート

OpenAIが画像読み取り可能なAI「GPT-4 Turbo with Vision」を一般公開開始、JSONモードや関数呼び出しをサポート - 画像

OpenAIが画像の読み取りに対応したマルチモーダルAI「GPT-4 Turbo with Vision」の一般公開を開始しました。
GPT-4 Turbo with Vision is now generally available in the API. Vision requests can now also use JSON mode and function calling.
Below are some great ways developers are building with vision. Drop yours in a reply 🧵— OpenAI Developers (@OpenAIDevs) 2024年4月9日


OpenAIが画像読み取り可能なAI「GPT-4 Turbo with Vision」を一般公開開始、JSONモードや関数呼び出しをサポート - 画像

今回一般公開されたGPT-4 Turbo with Visionはこれまでプレビュー版として使用することが可能でした。そうしたプレビュー版のGPT-4 Turbo with Visionを活用して作成されたアプリをOpenAIのデベロッパーXアカウントが紹介しています。
AIスタートアップのCognitionはAIエンジニアの「Devin」を開発しており、GPT-4 Turbo with Visionを使用してさまざまなコーディングタスクをこなせるようになりました。「この問題を修正して」とお願いするだけでドキュメントやコードを確認し、必要な依存関係を処理しつつコードを仕上げるというデモムービーが公開されています。
Devin, built by @cognition_labs, is an AI software engineering assistant powered by GPT-4 Turbo that uses vision for a variety of coding tasks.— OpenAI Developers (@OpenAIDevs) 2024年4月9日

AIヘルス&フィットネスアプリを展開するHealthifyはGPT-4 Turbo with Visionを使用し、世界中の食品の写真認識を通じてユーザーに栄養に関する情報を提供する「Snap」というサービスを構築しました。
The @healthifyme team built Snap using GPT-4 Turbo with Vision to give users nutrition insights through photo recognition of foods from around the world.— OpenAI Developers (@OpenAIDevs) 2024年4月9日

tldrawは無限に広がるキャンバス上にUIなどを描けるサービスで、GPT-4 Turbo with Visionを使用することで描いたUIを自動でコード化できるようになりました。
Make Real, built by @tldraw, lets users draw UI on a whiteboard and uses GPT-4 Turbo with Vision to generate a working website powered by real code.— OpenAI Developers (@OpenAIDevs) 2024年4月9日

GPT-4 Turbo is (finally!) out of preview! This model is a mega improvement over previous ones (especially at math), go try it!— Owen Campbell-Moore ✪ (@owencm) 2024年4月9日