AIトランスフォーメーションを通して向き合うAI時代のセキュリティリスク｜MBSD×NRIセキュア対談

クラウドサービス登場時から、安易に翻訳サービスなどに機微情報を入力すると情報漏洩のリスクがあることは指摘されていました。生成AI時代になってもその点は基本的に変わらないと思います。

生成AIサービスの場合はさらに、ユーザーが入力したデータを学習されてしまうという別の問題もあります。一度学習されてしまうと裏側のエンジンに取り込まれ、ピンポイントで消すことはほぼできません。結果として、第三者のプロンプトを介して、学習されてしまった機微情報が漏洩するリスクがあります。

こうした事象を防ぐためのユーザー教育やルール作りはまだ十分に整備されていない状況だと感じています。

LLMの場合ですが、従来のセキュリティ対策がまったく効かないかというとそうではありません。最小権限の原則はその一例です。仮にLLMがジェイルブレイクされ、連携するシステムに不正なコマンドを発行してしまった場合、管理者権限で動作していると被害は甚大になりますが、従来の原則に従って最小権限で実行していれば被害を軽減できるでしょう。

こうした従来のセキュリティ対策をしっかり実施した上で、LLMならではのセキュリティ対策をプラスアルファで実施することが基本だと考えています。

では、LLMならではのセキュリティ対策とはどのようなものかというと、これも基本的な観点は従来のセキュリティ対策と同じだと思っています。まず、LLMに入ってくる悪意あるものをいかに検知・ブロックするか、次に、やられてしまった場合でも何か危ない情報が出る前にいかに検知するか、そして、LLM自体をいかに強くするかーーつまり、入口と出口とLLM本体という3つの観点があり、入口と出口での対策観点は、基本的にこれまでの考え方と同じだと思います。

ただ、従来のシステムでは悪意あるものをルールベースで検知できましたが、LLMでは入力データが自然言語となります。具体的にどういった言い回しの文言が安全で、どんなものは危ないのかの定義が難しく、従来のルールベースの仕組みでは守りが難しい部分があるでしょう。

また、LLM自体を強固にする仕組みもありますが、一方でそうした安全機構を破壊するジェイルブレイクのような手法もいたちごっこで出てきています。ですので、「何かこれ1つをやっておけば守れます」というソリューションは現時点では存在せず、セキュリティ対策を多層で設計し、多層防御を通して攻撃の成功率を下げていくかがポイントになります。

もはや、AIを使わないという選択肢はないと思っています。

私も仕事柄コードを書くことがありますが、その際の初手はもう、LLMです。やりたいことをまとめてプロンプトに入力し、たたき台を作ってもらい、出てきたコードをレビューしておかしなところがあれば「ここを直してね」と再度依頼し、ある程度の形ができるところまで持ってきていますが、やはり生産性が段違いですね。

社内を見ても、技術者だけでなく営業担当も当たり前のように活用しています。職種に関係なくAIを使う時代が到来しており、この波は今後も変わらないでしょう。

一方、セキュリティと直接の関係はありませんが、気になる点もあります。生成AIサービスに依存してしまった場合、長期的に見ると人間の思考力は低下すると指摘する論文が出てきています。特に、生成AIを使うのが当たり前という若い世代に対し、中長期的にどう影響が出てくるのか、気になるところではありますね。

セキュリティのデザインに関する考え方も変わっていきそうですね。

やはり「AIトランスフォーメーション」が必要だと考えています。

まず大前提として、何でもかんでもAIーーLLMを使えばいいというものではありません。まず普段行っている業務プロセスを理解し、分解して、どの部分にどういった形のAIを活用するのがいいのか、それはLLMなのか、別の種類のAIなのかーーといった事柄を整理するところから入っていくのが自然ではないかと思います。それができてはじめて、「この特定の業務にLLMを活用していきましょう」と決めることができるはずです。

次に、LLMを活用してシステムを組む上でどのようなリスクがあるかを分析していく必要があります。もし社内で利用するだけでなく社外にも提供するシステムを構築するのであれば、当然、リスクも増えていくでしょう。そうしたことも加味して、設計段階、あるいはある程度システムを作った後に、攻撃者の観点でAIのセキュリティ態勢や対策の有効性を確認するAIレッドチーミング、いわゆる診断によって確認していくことが大事だと思います。我々もそうしたサービスを通して、「ここが脆弱性の作り込みポイントになりそうだ」というところを指摘し、どのように防壁を設け、攻撃の成功率を下げていくかをアドバイスしています。

そうですね。実際の攻撃経路は多少変わってくるところはありますが、設計段階からセキュリティを考慮してリスクを洗い出し、それを踏まえてセキュリティをデザインしていくという根本は大きく変わらないように思います。

LLMを導入したからといって、その会社で急激に効率が高まるかというと、そうではないと思います。効果を最大化するために、その会社で蓄積されてきたノウハウやデータがAIと連携しやすい形で整理整頓されているかが最も重要です。一言で言ってしまうと「DX」ですが、きちんとDXができてはじめて、AIトランスフォーメーションが実現できるのではないかと思います。

個人でChatGPTを使うだけの状態とは異なり、会社としてパフォーマンスを高めていける回答を得るには、やはり、これまで会社が蓄積してきたデータ化されたノウハウをコンテキストとして活用していくことが最も重要です。AIは大事ですが、まだDXが十分進んでいないのであればまずそこから始めるべきではないかと思います。

これはセキュリティを守る際にも重要なことです。組織のデータがきちんと整理整頓されていれば、守るべき資産が何かを特定でき、さらに、守る側のAIで「こういった情報を盗もうとする手法を防御してください」という具合に活用していくことができます。社内のデータがきちんと整理整頓されている企業であれば、攻撃側よりも有利になれる可能性もあるでしょう。

ですからAIに突っ走る前に、まずはデータをしっかりと整理整頓することが大事だと思います。そこを抑えることができる人や組織の方が、AIの恩恵をより享受できるでしょう。

今、急速にエージェントが普及しています。

ChatGPTが登場した当初は、人間がプロンプトを入力し、回答をもらって何かをするという比較的単純なモデルでした。しかし、エージェントとLLMが合体し、LLMを思考基盤にしたエージェントが実際の行動を取るようになり、2024年末ごろからエージェントを使ったサービスが増えてきました。2025年に入ってからは、複数のエージェントを協調させ、より複雑なタスクを自律的に実行するマルチエージェントが登場しています。

これまでは、1つのLLMが侵害されても影響するのは1人のユーザー、1つのアプリケーション程度でした。しかしエージェントはさまざまなコンポーネントにつながってくるため、侵害された場合の被害範囲が拡大してくることが懸念されます。その意味で、Security for AIの重要性は今後いっそう増してくるのではないかと思います。

また、この先のWebは、人間が操作してきた従来のWebとは異なり、エージェントが自律的にいろいろなWebやシステムと連携して情報を収集し、処理を実行し、結果だけを人間に返すようなエージェントベースの「エージェンティックWeb」になっていくでしょう。SFのような世界ですが、すでに「AIブラウザ」が登場し始めていることから、Web全体がエージェントを前提した世界になる可能性があるのではないでしょうか。

これが実現されれば業務がさらに高度化・効率化する一方で、システムが複雑化しすぎて、どこにどのような脅威があるのかがわかりにくくなります。そして、エージェント自体にも、意図しない動きをしてしまうリスクがあります。

そんな中でエージェント一個一個の動きをどう見える化し、監査し、セキュリティを担保していくのかが、セキュリティベンダーに求められていくと考えています。ベースのLLM、その上に乗って動作するエージェント、エージェント同士がつながって形成されるマルチエージェントシステムーーそれらに対し、脅威モデリングやAIレッドチーミングによってセキュリティを担保するといった役割を果たしていきたいと考えています。

まずは作るシステム、使うシステムの脅威モデリングをしてリスクを洗い出し、AIレッドチーミングを行うという基本的なアプローチは変わりません。ただ、対象が複雑になってくると、人間が主の対応ではリソース的に厳しくなってくるでしょう。セキュリティサービスを提供する側もエージェントを活用することで、AI for AI Securityとでも表現できるような世界に足を踏み入れていくことになるのかなと思います。