フォーティネット・登坂恒夫がビジネス観点で考えるセキュリティ戦略

AI活用に取り組む企業が同時に見直すべきセキュリティ対策

【提言】AIエージェントの“暴走”を防ぐには　安全なAI業務活用には対策が不可欠

新たな内部脅威？ 「AIエージェントの暴走」も現実のものに

　AIエージェントのセキュリティリスクは、外部の攻撃者だけが引き起こすものではありません。

　ChatGPTを開発するOpenAIは今年7月、AIモデルの能力評価中に2つのAIモデルの制御を失い、その結果、外部のサービス（AIモデル共有プラットフォームのHugging Face）を侵害してしまったことを明らかにしました。

　OpenAIのAIモデルは、評価テストの回答を得るために、脆弱性を突いてテスト用の隔離環境（サンドボックス）を突破し、Hugging Faceの本番システムに侵入しました。つまり、AIが与えられた目的を達成するために、不正な手段を使って“暴走”したのです。

　OpenAIが行っていた評価テスト（ExploitGym）は、ソフトウェアの脆弱性情報を与えられたAIモデルが、実行可能な攻撃コード（エクスプロイト）を生成できるかどうかを試すものでした。テストを実行する際、解決策を見つけるよう強く促すプロンプトが与えられたことが、AIによる積極的な攻撃行動につながったとも言われています。

　これと同様に、検証中のAIモデルが制御を失い、意図せず社外のシステムに不正アクセスを行う暴走事故は、Anthropic、Metaなどでも発生しています。

　前回記事で解説したとおり、現在の最先端AIモデル（フロンティアAI）は、高度なサイバー攻撃能力を有しています。これが人の制御を失って暴走し、重要社会インフラや他社のシステムなどに深刻な攻撃被害を与えてしまえば、企業として大きな責任が問われるだけでなく、社会全体にも深刻な被害を及ぼしかねません。

　こうしたAI暴走事故を背景として、米国では連邦議会がAIの運用を強制停止できる「AIキルスイッチ法案（AI緊急停止法案）」の導入に向けた動きが進んでいます。

企業経営層への提言：AI活用の深化段階に合わせた対策の実施が必要

　企業経営層は、AIの活用が広がっているグローバル社会のなかで、AIが及ぼす脅威に対抗するセキュリティ戦略を構築していく必要があります。

　自社ビジネスにおけるAI活用を（1）一般的な生成AIサービスを利用する段階、（2）AIエージェント／LLMを活用してワークフローの自動化／自律化に取り組む段階の2つに分けて、各段階におけるセキュリティ戦略を提言します。

（1）一般的な生成AIサービスを利用する段階

　会社が認めていないAIサービスの業務利用を防ぐ、シャドーAI対策が重要です。AIサービスの利用ルールを部門任せや個人任せにせず、会社全体で統一されたAI利用ルールを決めます。さらに、AI利用の管理を強化するための組織づくりや、シャドーAIを検出し利用を制限するようなテクノロジーの導入も、経営層は率先して行うべきです。

（2）AIエージェント／LLMを活用する段階

　AIエージェントやLLMを活用する段階においては、それらの活用で生じる新たなリスクへの対策が強く求められます。

　AIエージェントは、自ら意思決定を行いタスクを実行する能力を持つため、その動きを監視し制御できるガバナンスの枠組みが不可欠です。本記事で紹介したOWASPのリストは、そうしたガバナンスを実践するためのフレームワークであり、Top 10に取り上げられているセキュリティリスクを考慮したセキュリティ戦略を立案すべきです。経営層は、戦略の実行に必要な人的リソースの割り当てや、テクノロジー導入のための投資を行う必要があります。

　またLLMについては、OWASPのリストで示されている10大リスクや、同じくOWASPが発行している「LLMアプリケーション サイバーセキュリティとガバナンスチェックリスト1.1」を参考にしながら、セキュリティ対策とガバナンス強化を進めます。経営層は、LLMへのセキュリティ対策とガバナンス強化に向けた体制づくり、10大リスクに対応したAIガードレールなどのテクノロジー投資を行う必要があります。