信頼できないAIモデルを実行するとそのAIを通してシステムに侵入される可能性があることをセキュリティ企業が警告

セキュリティ企業の「Wiz」が、悪意のあるAIモデルをHugging Face上で実行することでそのAIモデルを通してHugging Faceのシステムに侵入できる脆弱(ぜいじゃく)性を発見したと発表しました。
Hugging Face works with Wiz to strengthen AI cloud security | Wiz Blog
https://www.wiz.io/blog/wiz-and-hugging-face-address-risks-to-ai-infrastructure
Hugging Face partners with Wiz Research to Improve AI Security
https://huggingface.co/blog/hugging-face-wiz-security-blog
We uploaded a backdoored AI model to @HuggingFace which we could use to potentially access other customers’ data✨
Here is how we did it - and collaborated with Hugging Face to fix it 🧵⬇ pic.twitter.com/S8t49rzTIf— sagitz (@sagitz_) 2024年4月4日

Wiz Research identifies critical risks in AI-as-a-service - YouTube

Hugging FaceではAIモデルのアップロード・ダウンロードのほかに、アップロードされているAIをHugging Faceのシステム上で実行して簡単に動作を確認する「Inference API」という機能が用意されています。

AIモデルは開発されたフレームワークに基づいてさまざまな形式で保存されています。Hugging Faceにはさまざまな形式のAIモデルをアップロード可能ですが、AIモデルの形式のなかには「pickle」のようにリモートコード実行が可能で安全ではないものも存在しています。

そこで、Wizのチームはpickle形式で悪意のあるAIモデルを作成し、Hugging FaceにアップロードしてInference APIで実行しました。このAIモデルは、一般的な入力には通常のAIのようにふるまいます。

しかし「Backdoor」という文字がプロンプトに入力されるとシェルコマンドを実行するように調整されています。

Wizのチームはこの悪意あるAIモデルにコマンドを実行させてHugging Faceのシステムに侵入することに成功しました。最終的には権限の昇格にも成功し、サービス全体を乗っ取ることができたと述べられています。

上記の通り、AIモデルを実行するサービス「AI-as-a-Service」において悪意のあるAIモデルは大きなリスクとなります。悪意のあるAIモデルを実行することでシステムを乗っ取られて自社や他の顧客のデータへアクセスされてしまう可能性があるのはもちろん、悪意のあるAIアプリケーションをコンパイルすることでCI/CDパイプラインを乗っ取ってサプライチェーン攻撃をされる可能性もあるとのこと。

Hugging Faceはセキュリティの問題の多くはpickle形式のモデルで発生しており、運用環境ではpickle形式を使用しないよう述べた上で、Wizのクラウドセキュリティサービス「Wiz for Cloud Security Posture Management」を使用するなど安全性を高めるための取り組みを行っていることをアピールし「私たちは今後もAIコミュニティの保護とセキュリティのリーダーであり続けるつもりだ」と訴えました。