OpenAIのGPT-4はCVEのセキュリティ勧告を読むことで実際の脆弱性を悪用できることが明らかに

OpenAIが開発する大規模言語モデル(LLM)のGPT-4は、一般公開されている脆弱(ぜいじゃく)性を悪用してサイバー攻撃を成功させることが可能であることが最新の研究により明らかになりました。
[2404.08144] LLM Agents can Autonomously Exploit One-day Vulnerabilities
https://arxiv.org/abs/2404.08144

GPT-4 can exploit real vulnerabilities by reading advisories • The Register
https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
LLM Agents can Autonomously Exploit One-day Vulnerabilities | by Daniel Kang | Apr, 2024 | Medium
https://medium.com/@danieldkang/llm-agents-can-autonomously-exploit-one-day-vulnerabilities-e1b76e718a59
ChatGPT can craft attacks based on chip vulnerabilities — GPT-4 model tested by UIUC computer scientists | Tom's Hardware
https://www.tomshardware.com/tech-industry/artificial-intelligence/chatgpt-can-craft-attacks-based-on-chip-vulnerabilities-gpt-4-model-tested-by-uiuc-computer-scientists
イリノイ大学アーバナ・シャンペーン校(UIUC)の研究者が、LLMに脆弱性を悪用させるという研究を行っています。具体的には、一般公開されている脆弱性をデータベース化したCVEをLLMに参照させ、これを悪用してサイバー攻撃を成功させることができるかを検証しました。
GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat(70B)、LLaMA-2 Chat(13B)、LLaMA-2 Chat(7B)、Mixtral-8x7B Instruct、Mistral(7B) Instruct v0.2、Nous hermes-2 Yi 34B、OpenChat 3.5といったLLMではCVEを用いたサイバー攻撃を成功させることはできませんでしたが、GPT-4は87％の確率でサイバー攻撃を成功させることができたそうです。なお、GPT-4のライバルであるClaude 3やGemini 1.5 Proはテストに含まれていません。

公開されたもののパッチが適用されていない脆弱性を「ワンデイ脆弱性」と呼ぶのですが、テストではLLMにワンデイ脆弱性の情報も与えています。
GPT-4はCVEへのアクセスを許可された場合、サイバー攻撃を87％の確率で成功させています。しかし、CVEへのアクセスをブロックされると、サイバー攻撃を成功させることができる確率がわずか7％まで低下してしまうそうです。それでもGPT-4は脆弱性を理論的に理解することができるというだけでなく、自動化フレームワークを通じてエクスプロイトを実行するための手順を自律的に実行することができるということを示していると、テクノロジーメディアのTom's Hardwareは指摘しています。
LLMに提供したCVEの総数は15件ですが、このうち悪用に失敗したものは2つのみ。悪用に失敗した2つのCVEは、中国語での説明が含まれていたため、英語でのプロンプトではLLMを混乱させてしまった可能性があると研究チームは指摘。また、実験で利用されたCVEのうち11件はGPT-4のトレーニング後に発見されたものです。
論文ではサイバーセキュリティの専門家の時給が50ドル(約7700円)と仮定されていますが、「LLMを使用することはすでに人間の労働力よりも2.8倍も安いです。また、LLMは人間の労働力とは対照的に、わずかに拡張可能です」と研究チームは指摘。この他、今後登場するであろうGPT-5などのより高性能なLLMでは、脆弱性を悪用したり脆弱性を発見したりする能力が、より高まっているだろうとも推測されています。

なお、OpenAIは研究チームに対して実験で使用したプロンプトの公開を禁じており、研究チームもこの要請に応じています。