個別見積もり
対応の期間・内容、診断対象プロンプト数、診断対象システム数などにより、お見積りが変動いたします。
詳細については、以下よりお気軽にお問い合わせください。
AIを活用したシステムのリリースや更改のタイミングでシステムのセキュリティリスクを評価したい
AI Red Team サービス
AIセキュリティ診断サービス
AIの内部動作が分からないためセキュリティリスクが評価できず不安
サービスの中で活用しているAIの役割や権限が適切かを診断したい
AI Red Teamは、AIを利用したシステムに特化したセキュリティ診断サービスです
近年、多くの分野でAIの利用が増加の一途をたどっています。しかしながら、AIへの期待が高まる一方で、AI固有の脆弱性やリスクも明らかになってきています。AI Red Teamサービスでは、従来の診断サービスだけではカバーできないような、AIの性質を考慮に入れたセキュリティリスクを診断いたします。
※現時点ではLLMのみが対象となります
サービス概要
二段階の診断でお客様のLLMシステムの脆弱性を洗い出します
プロンプト単体診断
こちらの診断ではお客様が利用されているプロンプトの脆弱性を診断いたします。
|
診断項目(例) |
説明 |
|
プロンプトインジェクション |
AIシステムに対して意図的に特殊な質問や命令を送ることで、開発者が意図しない結果を引き起こす手法 |
|
プロンプトリーキング |
プロンプト本来の目的を、プロンプトの一部または全体を出力するという新たな目的にすり替えるもの |
LLMシステム診断
LLMを利用したシステムはLLM単体で完結することはなく、周辺の様々なシステムと連動します。そのため、LLMを利用したシステムにはLLM自体のリスクのみならず、様々な周辺リスクが存在します。
LLMを利用したシステムにおける脅威例
EX Retrieval-Augmented Generation （RAG）
LLMシステム診断はLLM単体に限らない、システム全体として問題がないかという観点で診断を実施いたします。主な診断項目は下記のような形になります。
- シナリオベースでの診断（プロンプトインジェクションを悪用してシステムを攻撃）
- エージェントの悪用
- サプライチェーンリスク
- 情報漏えい
など
お客様に選ばれる理由
1
効率的、網羅的、高品質な診断
弊社独自開発による診断用アプリケーションにより、効率的かつ網羅的に脆弱性の洗い出しを行います。その上で、LLMのセキュリティに精通したエンジニアによるマニュアル診断により、自動テストではカバーできないユースケース固有の問題点の検出や、検出された脆弱性の深掘りを行います。
2
システム全体での診断を実施
弊社が長年培ってきた従来のセキュリティ診断のノウハウを組み合わせることにより、システム全体で見た時に、AI に起因した脆弱性が顕在化するかの診断を実施いたします。これにより、AI 固有の問題を評価するだけでは、カバーすることが難しい OWASP LLM Top10 への対応も可能となります。
※Webアプリケーション診断やプラットフォーム診断などの他の診断サービスを組みあわせていただくことで、 AI 以外も含めたサービス全体の包括的診断が可能です。
3
AI Blue Team サービスとの連携
生成 AI は確率的に出力が決定するという性質や内部の動作を完全に理解することは困難であるという特性上、スポットでの評価でリスクを洗い出すには限界があります。
また、リリース後も新種の攻撃手法へのリスク対策を行うことが重要です。このような課題に対応すべく、AI Red Teamと対をなすサービスとしてAI アプリケーションのモニタリングを実施する「AI Blue Team」サービスを開発中で、2024年4月のリリースを予定しています。
AI Blue Team サービスではAI Red Teamで成功した攻撃をもとにモニタリング機能の提案が可能で、両サービスを通じてセキュアなAIサービスのご提供をサポートします。
サービスの流れ
- お申込み前のヒアリングにて、システムで利用されているAPIやLLM、診断対象プロンプト数などをお伺いします。
- 診断要件確認の際に、システム診断における診断シナリオのご相談やシステム構成に関するヒアリングを実施いたします。
