AI時代でも変わらないセキュリティの本質｜AIシステムに潜むリスクと設計段階での対策｜MBSD×NRIセキュア対談

クラウドサービス登場時から、安易に翻訳などのサービスに機微情報を入力すると情報漏洩のリスクがあることは指摘されていました。生成AI時代になってもその点は基本的に変わらないと思います。

生成AIサービスの場合はさらに、設定次第ですが、ユーザーが入力したデータを学習されてしまうリスクがあるという別の問題もあります。一度学習されてしまうと裏側のエンジンに取り込まれ、ピンポイントで消すことはほぼできません。結果として、第三者のプロンプトを介して、学習されてしまった機微情報が漏洩するリスクがあります。

これは、うっかりクラウド系サービスへ機微情報を入力してしまう従来の問題と、少し毛色が異なるように思いますし、誰が入力したデータが学習されたのかを特定するのは非常に困難です。同様のリスクは各所で指摘されています。

こうした事象を防ぐためのユーザー教育やルール作りといった部分はまだ十分に整備されていない状況だと感じています。

そうですね。たとえばフィッシングメールの文面作成のように、これまで人間が手作業や簡単なツールで行っていた作業がさらに高度化しています。昔の日本語のフィッシングメールにはどこかおかしいところがありましたが、おそらく生成AIを使うことにより、文面の自然さがかなり高まっています。

また、簡単なプロンプトでコードを生成できるようになり、サイバー攻撃のためのコード作成に要する技術的なハードルもだいぶ下がっていると思います。以前、国内で未成年による不正アクセス事件が発生しましたが、この攻撃コードも生成AIを用いて作成したと報道されていました。この例のように、さほど技術を持たない人でも気軽にサイバー攻撃ができるようになったのは、大きな脅威だと思います。

元々、技術を悪用する側は法律や規制を無視してやってくる一方、防御する側はそれらを遵守しながらシステムを守らなければならないという非対称性がありました。AI技術の進展でその不利がさらに大きくなっているかもしれません。

Webの場合に比べると、まだ、初期からセキュリティの必要性が叫ばれてはいます。しかしそれでも技術先行でセキュリティが追いついていないと感じています。

OWASPをはじめとするガイドラインが出され、関係者が努力してはいるものの、AI関連技術はそれを置き去りにするほど早く進化しています。また、ガイドラインの考え方は理解しても、具体的にどう実践していくかとなると、現状では「これさえ入れれば安全だ」というような回答が存在しません。また、何が脅威なのかを理解するのも困難な状況といえるでしょう。

「何かこれ1つをやっておけば守れます」というソリューションは現時点では存在せず、従来のセキュリティ対策の上に、AIならではのリスクに備えた多層防御を通して攻撃の成功率を下げていくかがポイントになります。LLMに入ってくる悪意あるものをいかに検知・ブロックするか、やられてしまった場合でも何か危ない情報が出る前にいかに検知するか、そして、LLM自体をいかに強くするかーーつまり、入口と出口とLLM本体という3つの観点でとらえていくことが重要だと思います。

おっしゃるとおりですね。何のために生成AIを使うのかを明確にした上で、その際守らなければいけない情報が何かを洗い出す、つまりデザインを明確にした上で、リスクベースで進めていくやり方はこれまでのセキュリティと変わりません。それが明確になれば、どのようなシステムと連携するのか、どんなユーザーがそのシステムを使うのかを検討し、それらが安全かどうかを確認していくことができます。

もう一つ付け加えるならば、生成AIが出す回答はあくまでも確率に基づいて出すものであり、必ずしも事実ではない点に注意が必要です。ついつい見逃されがちですが、そうした生成AIの特質もきちんと啓発し、利用者側を教育することも重要でしょう。必要に応じてガイドラインを作成することになるかもしれません。社内横断的なチームを作って進めるのでもいいですし、不安があれば知見を持ったベンダーに協力を依頼するなど、いろいろな選択肢があると思います。

その上で、構築したシステムについても、従来のシステムと同じようにリリース前、あるいは直後にセキュリティテストをしっかり実施することも1つの手だと思います。

今、急速にエージェントが普及しています。

ChatGPTが登場した当初は、人間がプロンプトを入力し、回答をもらって何かをするという比較的単純なモデルでした。しかし、エージェントとLLMが合体し、LLMを思考基盤にしたエージェントが実際の行動を取るようになり、2024年末ごろからエージェントを使ったサービスが増えてきました。2025年に入ってからは、複数のエージェントを協調させ、より複雑なタスクを自律的に実行するマルチエージェントが登場しています。

これまでは、1つのLLMが侵害されても影響するのは1人のユーザー、1つのアプリケーション程度でした。しかしエージェントはさまざまなコンポーネントにつながってくるため、侵害された場合の被害が非常に拡大してくることが懸念されます。その意味で、Security for AIの重要性は今後いっそう増してくるのではないかと思います。

LLMをベースにしたエージェントが社会に普及していくと、この先のWebは、人間が操作してきた従来のWebとは異なり、エージェントが自律的にいろいろなWebやシステムと連携して情報を収集し、処理を実行し、結果だけを人間に返すようなエージェントベースの「エージェンティックWeb」になっていくでしょう。SFっぽい世界ですが、すでに「AIブラウザ」が登場し始めていることから、Web全体がエージェントを前提した世界になる可能性があるのではないでしょうか。

これが実現されれば業務がさらに高度化・効率化する一方で、システムが複雑化しすぎて、どこにどのような脅威があるのかがわかりにくくなります。そして、エージェント自体にも、意図しない動きをしてしまうリスクがあります。そんな中でエージェント一個一個の動きをどう見える化し、監査し、セキュリティを担保していくのかが、セキュリティベンダーに求められていくと考えています。

ベースのLLM、その上に乗って動作するエージェント、エージェント同士がつながって形成されるマルチエージェントシステムーーそれらに対し、脅威モデリングやAIレッドチーミングによってセキュリティを担保するといった役割を果たしていきたいと考えています。