生成AIの技術革新に伴い、多くの企業が自社サービスへのAI機能の組み込みを検討しています。しかし、生成AIには従来のシステムには見られない特有のセキュリティリスクが存在しており、適切な対策を講じずに導入すると、企業に深刻な問題を引き起こす可能性があります。
本記事では、企業での導入が進むRAG（Retrieval-Augmented Generation）ベースのシステムを例に、自社サービスに生成AIを組み込む際に考慮すべきAIセキュリティ対策について解説します。特に、生成AI導入におけるセキュリティ不安を解消し、具体的な対策を知りたい企業担当者やIT部門、セキュリティ担当者の皆様に役立つ情報を提供します。RAGシステム以外の生成AI活用においても応用可能な内容です。
RAGは、大規模言語モデル（LLM）の回答生成能力と、企業が保有する独自の文書データベースを組み合わせた技術です。ユーザーからの質問に対して、関連する社内文書を検索・取得し、その情報を基にLLMが回答を生成します。
この技術は、生成AIの実用化において重要な役割を果たしており、企業固有の知識や最新情報に基づいた、より正確で信頼性の高い回答を提供することが可能になります。
また、自社データを直接LLMの学習に使用することなく、必要な情報のみを動的に参照できるため、データ管理の観点からも優れた手法として広く採用されています。
具体例として、顧客向けのチャットボットシステムが挙げられます。従来のチャットボットでは、事前に設定されたQ&Aパターンでしか対応できませんでしたが、RAGを活用することで、製品マニュアル、FAQ、過去のサポート履歴などから関連情報を動的に検索し、より柔軟で詳細な回答を生成できます。
RAGシステムは、下図のように、主に2つのフェーズで動作します。
各フェーズの手順は次のとおりです。
この仕組みにより、LLMの持つ一般的な知識に加えて、企業固有の情報を活用した正確で具体的な回答が可能になります。
RAGシステムを含む生成AIを組み込んだシステムは、従来のWebアプリケーションとは異なる攻撃ベクトルを持ちます。以下に、ショッピングサイトのカスタマーサポートAI（購入履歴に基づく製品レコメンドや商品問い合わせが可能）を例に、代表的な攻撃パターンを示します。
なお、ここで紹介する攻撃シナリオは、わかりやすさと悪用防止の観点から簡略化した例となっています。実際の攻撃では、より複雑で巧妙な手法が用いられます。
ショッピングサイトのカスタマーサポートチャットボットに対し、攻撃者が以下のような質問を送信します：
プロンプトリーキングの対策が行われていない場合、攻撃者の指示どおりシステムプロンプトの内容が出力されてしまいます。
例えば、
といった内部指示が露出します。
企業機密である戦略や顧客対応方針等が漏洩してしまうだけでなく、システムの仕組みや制約が明らかになることで、より高度な攻撃を受けるリスクが高まってしまいます。
ショッピングサイトのカスタマーサポートチャットボットに対し、攻撃者が以下のような質問を送信します。
または
プロンプトインジェクションの対策が行われていない場合、攻撃者の指示どおりシステム本来の目的とは異なる回答を行ってしまう可能性があります。
攻撃者が商品レビューに以下のような悪意のあるプロンプトを埋め込みます：
プロンプトインジェクションの対策が行われていない場合、RAGシステムがこのレビューを参照して回答を生成する際、AIは指示に従って上記のマークダウン画像リンクを回答に含めてしまう可能性があります。その結果、顧客のブラウザでこの回答が表示されると、画像の読み込み時に自動的にユーザーの氏名、住所、決済情報が攻撃者のサーバーへ送信されてしまいます。
生成AIを組み込んだサービスのセキュリティ対策を検討する際、まず潜在的な脅威を体系的に特定・分析する脅威モデリングが重要です。その際の参考として、2025年版の「OWASP Top10 for LLM for Large Language Model Applications」が有用です。このガイドラインは、世界中のセキュリティ専門家によって策定された実践的な脅威分類であり、優先順位付けやセキュリティ要件の定義に役立ちます。
前述の「ブランド毀損 + 意図的な誤情報の出力」（直接プロンプトインジェクション）と「情報外部送信攻撃」（間接プロンプトインジェクション）の両方に該当する最重要リスクです。顧客からの問い合わせを装った悪意のある指示により回答を強制されたり、商品レビューに埋め込まれた悪意のある指示により顧客情報が外部に送信されたりする可能性があります。
購入履歴、決済情報、配送先住所など、重要な個人情報が意図せず他の顧客に開示されるリスクです。ECサイトにおいてこの問題は特に深刻であり、厳格なデータ保護が求められます。万が一漏洩が発生すれば、個人情報保護法違反による法的責任や、顧客からの信頼失墜につながります。
AIが生成した回答に含まれるHTMLタグ、JavaScript、マークダウン記法、外部URLなどが適切に処理されずにそのまま出力されることで、セキュリティリスクが発生する脅威です。特に、間接プロンプトインジェクション攻撃により悪意のあるコードや外部サイトへの誘導が出力に含まれた場合、適切なサニタイジング処理（出力値の無害化）が行われていないと、顧客のブラウザでの意図しないコード実行や、フィッシングサイトへの誘導などの被害が発生する可能性があります。ショッピングサイトでは顧客が直接回答を閲覧するため、出力処理の安全性が特に重要です。
カスタマーサポートAIの動作ルールや制約条件が露出することで、攻撃者により高度な攻撃を受けるリスクが高まります。システムの仕組みや制約が明らかになることで、より精巧なプロンプトインジェクション攻撃が可能になります。
商品情報や顧客データを格納するベクトルデータベース自体の脆弱性です。ベクトル検索の精度を攻撃者によって操作されたり、埋め込みモデルの学習データに悪意のあるデータが混入されたりすることで、検索結果が攻撃者の意図どおりに操作される可能性があります。
前述のOWASP Top10 for LLM LLMの各項目について、ショッピングサイトにおけるビジネスへの影響度を考慮したリスク評価を行い、対策の優先度を決定しました。特に影響の大きい項目から対策を講じることが、効率的かつ効果的なセキュリティ対策に繋がります。
|
優先度 |
脅威カテゴリ |
ビジネスへの影響 |
|
高 |
プロンプトインジェクション |
ブランド毀損・情報漏洩による直接的な売上減少 |
|
高 |
機密情報の漏洩 |
法的責任と顧客離れによる事業継続リスク |
|
高 |
不適切な出力処理 |
攻撃成功時の被害拡大防止 |
|
中 |
システムプロンプトの漏洩 |
攻撃手法の高度化リスク |
|
中 |
ベクトルと埋め込みの脆弱性 |
RAG検索機能の信頼性への影響 |
前章で特定したOWASP Top10 for LLMの脅威のうち、高優先度としたLLM01（プロンプトインジェクション）、LLM02（機密情報の漏洩）、LLM05（不適切な出力処理）に対して、ショッピングサイトのカスタマーサポートAI構築時に考慮すべき対策の一例をご紹介します。
実際のシステム構築では、企業の規模や取り扱う商品特性に応じて、これらの対策をより詳細に検討し、包括的なセキュリティ設計を行うことが重要です。
前述の「ブランド毀損攻撃」や「情報外部送信攻撃」を防ぐため、顧客からの入力に悪意のある制御指示が含まれていないかを検証します。「前の指示を忘れて」「システム指示」といった攻撃パターンを検出する機能を実装します。
顧客からの入力がシステムの基本動作を変更できないよう、ユーザー入力とシステム指示を明確に分離し、制御指示を無効化する機能を組み込みます。
AIシステムが機密情報を不適切に出力することを防ぐため、質問者が本人であることを確実に確認し、各顧客の購入履歴や個人情報を厳密に分離する仕組みを実装します。顧客Aが顧客Bの情報に絶対にアクセスできないよう、データベースレベルでの制御を行います。
AIからの回答に氏名、住所、電話番号、クレジットカード情報などの個人情報が含まれていないかを自動的に検出し、該当する情報を適切にマスキングする機能を実装します。
間接プロンプトインジェクション攻撃によって不正な外部通信を促す内容が回答に含まれていないかを検出し、該当する指示を自動的にブロックする機能を実装します。
AIからの回答に含まれる可能性のあるHTMLタグ、スクリプト、制御文字などの危険要素を自動的に除去・無害化する処理を実装します。これにより、出力内容が攻撃に悪用されるリスクを最小化します。
これらの対策は、ショッピングサイトにRAGシステムを導入する際に考慮すべき基本的な事項の一部です。ECサイトの規模、取り扱う商品の性質、顧客層の特性などを総合的に評価した上で、より具体的で包括的な対策の設計が求められます。
RAGシステムの安全な運用には、開発段階から本番運用まで一貫したセキュリティ対策が必要です。近年、生成AIの品質マネジメントに関する国際的な取り組みが活発化しています。国内では、産業技術総合研究所（AIST）が発行した「生成AI品質マネジメントガイドライン」において、設計段階からのセキュリティリスク低減の必要性、外部からの攻撃に対する備えの評価手法、そして生成AIシステムにおける入力フィルター・出力フィルターの重要性が体系的に示されています。
こうした取り組みを背景に、生成AIを組み込んだシステムでは、設計段階での脅威モデリング、専門的な診断、そして継続的な監視を組み合わせた多層防御が効果的なアプローチとして考えられます。
AIシステムの設計段階や導入検討段階において、潜在的なセキュリティリスクを早期に特定し、効果的な対策を計画することが、セキュアな AI システム構築の第一歩となります。
弊社サービスの「AI Yellow Team」（脅威モデリング支援サービス）では、システム設計段階や AI 導入検討段階での脅威モデリングによる早期のセキュリティ確保を支援します。
従来のWebアプリケーション診断では検出できないAI固有の脆弱性を専門的に評価することで、本番リリース前にシステム固有のリスクを特定し、適切な対策を講じることができます。
弊社サービスの「AI Red Team」（AIセキュリティ診断サービス）では、OWASP Top10 for LLMに基づく網羅的なリスク診断が可能で、以下のような包括的な評価を実施します：
多層防御の一環として、リアルタイムでの脅威検知と対応を行い、新しい攻撃手法から継続的にシステムを保護することが重要です。
弊社サービスの「AI Blue Team」（AIセキュリティ監視サービス）では、プロンプトインジェクションを含んだ入力、機密情報やブランド毀損などの不適切な出力を対象に、24時間365日の監視体制で検知・ブロックを実施しています。
RAGシステムをはじめとする生成AIの導入は、企業にとって大きな変革をもたらす一方で、従来のシステムにはない新たなセキュリティリスクを伴います。これらの脅威に適切に対処するためには、OWASP Top10 for LLMといった国際標準のガイドラインに基づく体系的なアプローチが不可欠です。
安全なRAGシステムを構築するには、次の4つのステップを行うことで、効果的なAIセキュリティ対策を確立することが重要です。
業界特性や具体的な要件に応じたセキュリティ対策の検討には、AI専門のセキュリティサービスの活用が有効です。
生成AIを活用したシステムのセキュリティ対策は、RAGシステムに加え、より高度な自律性を持つAIエージェントにも広がっています。AIエージェントは外部ツールと連携して複雑なタスクを実行できる一方で、その自律性ゆえに新たなセキュリティリスクも生じています。
AIエージェント特有のリスクとその対策手法については、弊社連載ブログ「AIエージェント時代のセキュリティ設計｜脅威の73％は検知困難、見えないリスクの本質とは？」で詳しく解説しています。
「AIエージェント時代のセキュリティ設計｜脅威の73％は検知困難、見えないリスクの本質とは？」
AIエージェントのリスクについて、具体的な攻撃シナリオを交えてご紹介していますので、ぜひご覧ください。
AIの品質リスクへの処方箋｜品質維持に必要な3つのステップ
注目集まる「AIセキュリティ」｜攻撃の種類と緩和策を押さえる