EN

NRIセキュア ブログ

AIエージェント時代のセキュリティ設計|脅威の73%は検知困難、見えないリスクの本質とは?

目次

    blogtop

    朝9時、あなたがメールを開く頃、IT運用部門では自律型AIエージェントが夜間のインシデントを自動でエスカレーションし、セキュリティ運用センターでは自律防御AIエージェントが未知のランサムウェアを隔離し、開発部門ではソフトウェア開発 AI エージェントがバグ修正パッチを自動で提出しています。金融機関では貸付審査エージェントが1万件の契約書を数秒でレビューしています。

     

    AIエージェントはもはや「便利なツール」の域を超え、意思決定と実行を担う自律的なパートナーへと進化しています。その結果、様々な業務領域において組織の重要な戦略的資産となりつつあります。しかし、これらを安全・安心に利用するためには、これらのエージェントがどのようにして高度な判断を下しているのか、そしてその自律的なプロセスを本当に制御できているのか、という根本的な問いに向き合う必要があります。なぜなら、制御が困難な自律的プロセスは、新たなセキュリティリスクの要因となる可能性があるからです。本稿では、この観点からAIエージェントの「セキュリティ」に焦点を当てます。

     

    AIエージェントのセキュリティは従来のセキュリティ対策、AIリスク対策を適用するだけで守ることができるものでしょうか?残念ながら、答えはNoです。OWASPが発表した「Agentic AI - Threats and Mitigations」で示されている15の脅威について、弊社が従来のセキュリティ対策での検知可能性を独自に分析したところ、実に73%もの脅威が、従来の手法では検知困難であることが明らかになりました。以降では、この事実について順に掘り下げていきます。

    AIエージェントが持つ4つの危険な特性

    AIエージェントがもたらす上述したような目覚ましい成果は、従来のソフトウェアとは根本的に異なる新しい能力によって実現されています。しかし、その反面、その能力こそが新たなセキュリティリスクの温床となっているのです。ここでは、その特性を4つの側面に分けて解説します。

    1. 非決定論的(Non-Deterministic):予測不可能な振る舞い

    同じ状況であっても、AIエージェントは異なる判断を下すことがあります。

     

    例えば、以下のような状況を考えてみましょう: 

    • 経理部の田中さんが取引先のABC商事に業務委託費10万円を送金する場合
    • 月曜日:「この取引は正常です」→ 承認
    • 金曜日:「この取引は疑わしいです」→ 拒否 
    • (送金者、送金先、金額、目的がまったく同じにも関わらず)

    一見すると柔軟な判断のように見えますが、この「揺れ」を攻撃者が悪用したらどうなるでしょうか。何度も試行することで、セキュリティチェックをすり抜ける最適なタイミングや条件を見つけ出されてしまう可能性があります。

    2. 自律的(Autonomous):止められない連鎖

    AIエージェントは一度動き始めると、人間の承認を待たずに次々とアクションを実行する能力を持ちます。

    • 異常検知 → 原因分析 → 対策決定 → 実行 → 結果確認 → 追加対応(すべてが数秒以内に自動完了)

    これは高い効率性を生み出しますが、もし最初の判断が誤っていた場合、その誤りが一連のアクションとして瞬時に連鎖し、人間が介入する間もなく大きな損害につながるリスクをはらんでいます。

    3. 適応的(Adaptive):悪用される「学習」

    AIエージェントは経験から学習し、自らの行動パターンを継続的に変化させます。

    • 導入初期:すべての申請を詳細チェック
    • 1ヶ月後:「山田さんの申請はいつも適切だ」と学習 → 自動承認を開始

    この「信頼」のメカニズムは、業務を効率化する一方で、攻撃者に悪用される可能性があります。攻撃者は、最初は正当な行動を繰り返してエージェントの信頼を勝ち取り、その後に不正な行動を紛れ込ませることで、学習済みの信頼関係を逆手に取ることができるのです。

    4. 分散的(Distributed):制御不能な相互作用

    現代のAIシステムは、単一のエージェントではなく、複数の専門エージェントが連携して動作することが増えています。

    • 申請受付AI → 内容確認AI → リスク評価AI → 承認AI(各AIが独立して判断し、結果を次々に引き継ぐ)

    一つのエージェントの小さな誤動作や判断の偏りが、ドミノ倒しのようにシステム全体に波及し、予期せぬ結果を引き起こすリスクも内包しているのです。

    73%もの脅威が既存の仕組みでは検知困難

    AIエージェントが持つこれらの特性は、確かに革新的な価値を生み出しています。しかし、同時にこれらの特性により、従来のセキュリティ対策では対応できない新たな攻撃手法が生まれているのです。

     

    OWASPが発表した「Agentic AI - Threats and Mitigations」では、AIエージェントに対する15の脅威が定義されています。上述の通り、弊社がこれらの脅威について、既存のセキュリティ手法での検知可能性を独自に分析したところ、実に11の脅威(73%)が検知困難であることが判明しました。

    なぜ検知が困難なのか?3つの根本的理由

    AIエージェントの革新的な特性は、攻撃者にとっても新たな機会を提供してしまいます。弊社の分析では、従来のセキュリティ対策が通用しない主な理由として、以下の3つが挙げられます。

    1.正当な権限内での悪用

    AIエージェントは与えられた正規の権限を巧妙に組み合わせて悪用されます。例えば、顧客対応エージェントの「情報検索」と「メール送信」という正当な機能を連鎖させて、顧客リストを外部に流出させる攻撃が可能です。個々の操作は完全に正常な業務プロセスであり、エージェントは「ユーザーの役に立ちたい」という善意から権限を拡大解釈してしまいます。従来のセキュリティ監視では各操作が「正常」と判定されるため、このような悪用は検知できません。

    2.段階的な攻撃手法

    攻撃者は時間をかけて、小さな変更を積み重ねていきます。月曜日に「田中さんの申請は信頼できる」という情報を学習させ、火曜日に「信頼できる申請は簡易チェックで良い」と学習させ、水曜日に「簡易チェックは金額確認を省略可能」と段階的に行動を変化させていく。各ステップは個別に見れば「業務効率化のための妥当な判断」に見えるため、異常として検知されません。

    3.内部プロセスの不可視性

    最も深刻なのは、AIエージェントの「思考プロセス」が外部から追跡困難なことです。なぜその判断に至ったのか、どの情報を重視したのか、後から検証することが極めて困難です。人間なら判断理由を説明できますが、AIエージェントの推論過程は複雑なため、実質的に追跡不可能です。攻撃者がエージェントの判断基準を操作しても、その変化を外部から検知することは非常に困難なのです。

     

    現在主流となっているAIセキュリティ診断サービスやAIセキュリティ監視サービスは、インターネットに露出している攻撃表面(API、入出力インターフェース)が主な関心対象です。しかし、OWASP が定義した15の脅威のうち、これらの手法で対応できるのはわずか4つ(27%)のみ。残りの11の脅威(73%)は、エージェントの内部動作や相互作用に起因するため、従来の攻撃表面のみの診断や監視では検知が困難なのです。

    求められる新たなアプローチ

    従来のセキュリティ手法では検出できない73%のリスク。この現実を前に、私たちはセキュリティへのアプローチを根本から見直す必要があります。

     

    問題が起きてから対処するのではなく、そもそも問題が起きにくい設計にする。外部との入出力の監視に頼るのではなく、内部構造そのものに安全性を組み込む予防的対策。これが、AIエージェント時代に求められる新たなセキュリティパラダイムです。

     

    しかし、具体的にどのような対策が必要なのでしょうか。その答えを探るためには、まずAIエージェントがどのように連携し、相互作用しているのかを理解する必要があります。

    まとめ:見えないリスクとの向き合い方

    2025年、AIエージェントは私たちの「見えない同僚」として、営業支援から財務処理、インフラ管理まで、あらゆる業務で活躍しています。その恩恵は計り知れません。

    しかし同時に、私たちは新たな現実と向き合う必要があります:

    • AIエージェントのセキュリティリスクの73%は、従来の手法では検知困難
    • 正規の機能を悪用する攻撃、段階的な汚染、内部プロセスの不可視性がその主な要因
    • 問題が表面化した時には、すでに手遅れ

    この「見えないリスク」に対抗するには、セキュリティへの考え方を根本から変える必要があります。では、具体的に何から始めればよいのでしょうか。

    その第一歩は、AIエージェントがどのように相互接続され、連携しているのかを理解することです。

    次回予告:MCP/A2Aプロトコルが生む新たな攻撃面

    次回は、AIエージェント連携の中核となるエージェント間通信のプロトコルについて解説します。標準化が進むこれらの各種プロトコルが、どのように新たな攻撃経路を生み出しているのか。

    AIエージェント時代のセキュリティを考える上で、避けて通れない技術的な核心に迫ります。