OpenAIが画像読み取り可能なAI「GPT-4 Turbo with Vision」を一般公開開始、JSONモードや関数呼び出しをサポート

OpenAIが画像の読み取りに対応したマルチモーダルAI「GPT-4 Turbo with Vision」の一般公開を開始しました。
GPT-4 Turbo with Vision is now generally available in the API. Vision requests can now also use JSON mode and function calling.https://t.co/cbvJjij3uL
Below are some great ways developers are building with vision. Drop yours in a reply 🧵— OpenAI Developers (@OpenAIDevs) 2024年4月9日

ドキュメントのモデルのページを確認すると、「gpt-4-turbo-2024-04-09」の導入と同時に「gpt-4-turbo」の参照先が「gpt-4-turbo-2024-04-09」に変わっている事が分かります。

今回一般公開されたGPT-4 Turbo with Visionはこれまでプレビュー版として使用することが可能でした。そうしたプレビュー版のGPT-4 Turbo with Visionを活用して作成されたアプリをOpenAIのデベロッパーXアカウントが紹介しています。
AIスタートアップのCognitionはAIエンジニアの「Devin」を開発しており、GPT-4 Turbo with Visionを使用してさまざまなコーディングタスクをこなせるようになりました。「この問題を修正して」とお願いするだけでドキュメントやコードを確認し、必要な依存関係を処理しつつコードを仕上げるというデモムービーが公開されています。
Devin, built by @cognition_labs, is an AI software engineering assistant powered by GPT-4 Turbo that uses vision for a variety of coding tasks. pic.twitter.com/E1Svxe5fBu— OpenAI Developers (@OpenAIDevs) 2024年4月9日

AIヘルス＆フィットネスアプリを展開するHealthifyはGPT-4 Turbo with Visionを使用し、世界中の食品の写真認識を通じてユーザーに栄養に関する情報を提供する「Snap」というサービスを構築しました。
The @healthifyme team built Snap using GPT-4 Turbo with Vision to give users nutrition insights through photo recognition of foods from around the world. pic.twitter.com/jWFLuBgEoA— OpenAI Developers (@OpenAIDevs) 2024年4月9日

tldrawは無限に広がるキャンバス上にUIなどを描けるサービスで、GPT-4 Turbo with Visionを使用することで描いたUIを自動でコード化できるようになりました。
Make Real, built by @tldraw, lets users draw UI on a whiteboard and uses GPT-4 Turbo with Vision to generate a working website powered by real code. pic.twitter.com/RYlbmfeNRZ— OpenAI Developers (@OpenAIDevs) 2024年4月9日

なお、OpenAIでプロジェクトマネージャーを務めているオーウェン・キャンベル＝ムーア氏によると新しいバージョンは画像を処理できるようになっただけでなく、数学など従来の機能面でも大幅に改善されているとのことです。
GPT-4 Turbo is (finally!) out of preview! This model is a mega improvement over previous ones (especially at math), go try it! https://t.co/B3RQUblCcV— Owen Campbell-Moore ✪ (@owencm) 2024年4月9日