NRIセキュアテクノロジーズ株式会社(以下、NRIセキュア)は、AIエージェント[i]システムの内部状態を可視化し、従来手法では検出困難だった脅威を検出するセキュリティ診断サービス「深層型AI Red Team(以下、本サービス)」の提供を、本日開始します。本サービスでは、独自開発したツール「ai-guard(エーアイガード)」[ii]を使って、AIエージェント内部に潜む脅威を可視化します。さらに、専門家による知見とAI技術を組み合わせることで、より高度な脅威の検出を可能にしました。
近年、AIエージェントの導入による業務効率化が急速に進む一方で、AIエージェント固有のセキュリティインシデントが増加しています。AIエージェントは、非決定論的な振る舞い[iii]、自律的な連鎖実行[iv]、適応的な学習[v]、分散的な相互作用[vi]といった特性を持ち、従来のセキュリティ対策では対応が難しい場合があります。従来のAIセキュリティ診断や診断自動化ツールは、チャット画面など外部インターフェースを中心に検証してきましたが、AIエージェントでは内部動作や相互作用に起因する脅威が確認されています[vii]。
NRIセキュアの分析によると、OWASP[viii]が定義するAIエージェントの15の脅威のうち、11項目(73%)は従来のアプローチでは検出困難であることが明らかになりました(ご参考を参照)。
従来の手法では検出困難な脅威に対応するため、NRIセキュアは内部状態を可視化して診断するアプローチを開発しました。AIエージェントの自律的な実行能力の悪用や、AIエージェントが果たすべき目的の改変、正当な権限と機能を組み合わせた攻撃など、外部からの観察が困難なケースを想定した診断にも対応可能です。これにより、AIエージェントシステムの大幅な安全性向上が期待できます。
本サービスの主な特長は、以下の2点です。
1.独自ツールによる内部状態の可視化
独自開発したツール「ai-guard」により、マルチエージェント環境を含む内部動作(メモリやエージェント相互作用等)を、お客様のプログラムを変更することなくリアルタイムで分析します。AIエージェントの推論プロセス、メモリ状態の変化、エージェント間通信などを包括的に可視化することで、OWASPが定義する15項目の脅威すべてに対応可能です[ix]。
NRIセキュアの専門家が、可視化された内部状態を観察しながら、従来の診断や標準的なソリューションでは検出困難な攻撃シナリオを立案し診断します。これにAIを活用した効率的な自動検出を組み合わせることで、品質と効率性を両立した診断を実現します(図を参照)。
※Observability基盤: システムの内部状態を収集・可視化・分析するための統合プラットフォーム。
※OTel(OpenTelemetry): ログ・トレース・メトリクスなどの観測データを収集・エクスポートするための、ベンダー中立なオープンソース標準フレームワーク。
本サービスの詳細については、次のWebサイトをご参照ください。
https://www.nri-secure.co.jp/service/assessment/deep-ai-red-team
NRIセキュアでは、AIエージェントシステムのセキュリティ対策を継続的に支援していくために、本サービスと同様の内部状態可視化技術を応用した本番環境での継続的な監視サービス「深層型AI Blue Team[x]」を開発しています。既存の「AI Blue Team[xi]」を深化させたこのサービスでは、本サービスで発見した脅威パターンを監視ルールに採用することで、診断から監視へのシームレスな移行が可能となり、「診断→監視→改善」の持続可能なセキュリティ運用サイクルを構築できます。「深層型AI Blue Team」は2026年前半の提供開始を予定しており、現在、PoC(Proof of Concept:概念検証)に参加していただける企業を募集しています。
NRIセキュアは今後も、企業・組織の情報セキュリティ対策を支援するさまざまな製品・サービスを提供し、安全・安心な情報システム環境と社会の実現に貢献していきます。
[i] AIエージェント:与えられた目的を解釈し、外部/社内ツールを選択・連携させながら、自律的に目標を達成するソフトウェアのこと。
[ii] 特許出願済み。
[iii] 非決定論的な振る舞い:同じ入力でも異なる判断を下すこと。
[iv] 自律的な連鎖実行:人間の承認を待たずに次々とアクションを実行すること。
[v] 適応的な学習:経験から学習し行動パターンを変化させること。
[vi] 分散的な相互作用:複数のエージェントが連携して動作すること。
[vii] 詳細は次のWebサイトをご参照ください。https://www.nri-secure.co.jp/blog/deep-ai-red-team
[viii] OWASP(Open Web Application Security Project):Webをはじめとするソフトウェアのセキュリティの現状や、セキュアなソフトウェア開発を促進する技術・プロセスに関する情報共有と普及啓発を目的とした、世界的なコミュニティです。
[ix] T10、T15等の一部の項目については、脅威を引き起こすエージェント側の行動パターンを誘発したり検出することで評価します。
[x] 特許出願済み。
[xi] AI Blue Team:2024年6月に提供開始した、生成AIアプリケーションに対するセキュリティ監視サービスです。詳細は、次のWebサイトをご参照ください。https://www.nri-secure.co.jp/service/solution/ai-blue-team
NRIセキュアは、2023年12月より、生成AIを利用するシステムやサービスを対象にしたセキュリティ診断サービス「AI Red Team」を提供しています。「深層型AI Red Team」との違いは、以下の表の通りです。
NRIセキュアの分析では、4項目(T2、T4、T9、T11)以外の11項目が従来の手法では検出困難です。詳細については、NRIセキュアブログ『AIエージェントを脅かす15の脅威|OWASP脅威分析が示す「検知困難な攻撃」とは?』をご参照ください。https://www.nri-secure.co.jp/blog/ai-agent-3
NRIセキュアテクノロジーズ株式会社 広報担当
E-mail:info@nri-secure.co.jp