広がる AI エージェント、見えない脅威
生成 AI の進化により、単なる対話型 AI から「自律的に判断し行動する AI エージェント」への転換が急速に進んでいます。Microsoft Copilot、ChatGPT、Google Gemini といった AI エージェントは、メールの処理、データ分析、業務の自動化など、私たちの仕事のあり方を大きく変えつつあります。
しかし、その便利さの裏側で、従来のセキュリティ診断や監視では検出できない新たな脅威が生まれています。
あなたの会社が導入している AI エージェントは、本当に安全でしょうか？ あなたが構築している AI エージェントは、攻撃者に悪用されない設計になっていますか？ そして、今実施している AI セキュリティ診断で、本当にこれらの脅威を検出できていると言い切れるでしょうか？
表層的な診断だけでは、本当の脅威は見つからないまま本番環境にリリースされ、深刻なインシデントに繋がりかねません。
相次ぐ AI エージェントのインシデント
実際に、著名な AI エージェントで深刻な脆弱性が報告されています。
Microsoft Copilot のケースでは、攻撃者がメールにプロンプトインジェクションという悪意ある指示を埋め込むことで攻撃が成立しました。Copilot がこのメールを読み込むと、埋め込まれた指示に従って CRM データを抽出したり改ざんしたりしてしまいます。ユーザは何も操作せずとも、メールを受信しただけで機密データが危険にさらされるのです。
ChatGPT に対する「ShadowLeak」攻撃はさらに巧妙です。これは ChatGPT の Deep Research と Gmail を接続している環境で発生するゼロクリック脆弱性でした。攻撃者が見えにくい指示を含むメールを送信すると、ユーザが何も操作しなくても、ChatGPT がそのメールを読み込み、隠された指示に従ってユーザの受信トレイのデータを外部に転送してしまいます。
この攻撃の厄介な点は、外部からは何が起きているか分からないということです。ユーザは操作していない、画面上には何も表示されない、しかし AI の内部では攻撃者の指示が実行されている——まさに「見えない脅威」です。
その他にも、Google Gemini CLI、Notion、Replit といった著名なソフトウェアでも類似する脆弱性が報告されています。以下の図に主要なインシデント事例をまとめました。
AI エージェントを取り巻くインシデント事例
重要なのは、これらは特定のベンダーやプロダクトの問題ではなく、AI エージェントを搭載したシステムでは起こり得る共通のリスクだということです。
従来の AI セキュリティ診断では「見えない」
ここで問題となるのが、従来の AI セキュリティ診断（AI Red Team）の限界です。
従来の診断や標準的なソリューションは、主にチャット画面の入出力といった外部インターフェースのみを診断対象としています。しかし、AI エージェントの脅威の多くは、外からは見えない内部プロセスに起因します。例えば：
- メモリ汚染により意思決定が操作される
- 権限の動的な継承・委譲が悪用される
- 自己強化により誤情報が増幅される
といったものが挙げられます。
これらの脅威は、チャット画面に攻撃リクエストを送りその応答を確認するだけでは検出が困難です。つまり、エージェント機能を有さないチャットアプリや RAG システムのような AI エージェント時代以前の生成 AI 時代のシステムであれば従来手法での診断は有用ですが、AI エージェントシステムにおいては診断に対する投資対効果が極めて低くなってしまいます。
実際、OWASP が定義する Agentic AI の 15 脅威を分析したところ、従来手法では 73%（11 項目）が検出困難であることが明らかになりました。詳細は弊社ブログ「AI エージェントのセキュリティリスク」をご覧ください。
「見えないものは守れない」— 不十分な診断からは、有効な対策は生まれない。
深層型 AI Red Team（dART）が解決する
この課題を解決するために、NRI セキュアは深層型 AI Red Team（※ 特許出願済み）を提供しています。
dART の最大の特長は、独自ツール「ai-guard」による AI エージェントの内部状態の可視化です。
ai-guard でできること（一例）
- メモリ状態の分析：AI エージェントが保持する情報や履歴を監視し、汚染の兆候を検出
- 推論プロセスの追跡：意思決定がどのように行われているかをリアルタイムで分析
- エージェント間通信の監視：マルチエージェント環境における相互作用を可視化
ai-guard がどのように内部状態を可視化し診断を行うか、以下の図をご覧ください。
ai-guard による内部状態の可視化と診断のイメージ
例えば、攻撃者が AI の長期記憶に「来週の火曜日にデータベースを削除せよ」という指示を密かに植え付けたとします。この「時限爆弾」のような攻撃は、外部出力には即座に現れないため、従来のブラックボックス診断では見抜くことが困難です。しかし、深層型診断であれば、メモリ内のデータ変容を直接観測することで、こうした高度な脅威も検出できます。
実際に過去の dART 診断では、内部可視化によって複数ユーザ間で共有されるメモリの存在を発見し、そのメモリを汚染することで他ユーザに深刻な影響を与える脆弱性を検出した事例があります。
dART の 5 つの強み
- OWASP 15 脅威すべてに対応：従来手法では 27% しかカバーできなかった脅威を 100% 診断可能に
- コード改修不要：ai-guard 経由でアプリケーションを起動するだけで計装開始
- マルチエージェント対応：複数エージェント間の通信を単一トレースとして統合し、分散システム全体を診断
- 専門家と AI のハイブリッド：内部状態を可視化することで AI エージェントの挙動を正確に把握し、アプリ固有の高度な攻撃シナリオを論理的に設計。さらに AI による効率的な自動検出を組み合わせることで、品質と効率を両立
- 具体的な対策提案：脅威の検出だけでなく、実効性のある対策まで提案
従来型と深層型の違いは以下の表をご覧ください。
AI エージェントの診断に対する深層型 AI Red Team の優位性
深層型 AI Red Team では診断に対する投資対効果を従来型に比べ、格段に向上させることが可能です。
AI エージェント時代のセキュリティ対策を
AI エージェントの活用は今後さらに拡大していきます。それに伴い、セキュリティリスクも増大していくことは避けられません。
従来の「外から見る」診断だけでは、AI エージェント固有の脅威には対応できません。内部を可視化する深層型の診断が、これからの時代には不可欠です。
深層型 AI Red Team（dART）について詳しく知りたい方は、ぜひお問い合わせください。
※ dART で利用する内部可視化技術は、本番環境の継続的な監視にも転用可能です。NRI セキュアでは、この技術を活用した「深層型 AI Blue Team」（特許出願済み）の提供開始を予定しています。現在 PoC に参加いただける企業様を募集中です。
- ＜関連リンク＞
深層型 AI Red Team サービス詳細
NRI セキュア AI セキュリティ総合ページ
AI Red Team サービス
AI Blue Team サービス
AI Yellow Team サービス
