独自に開発したアプリケーションで AI を活用したシステムを常時モニタリングすることで
AI による業務効率化やビジネスの変革をサポートします
生成 AI を活用したいがどのようなリスクがあるか分からない。また適用する対策の妥当性や網羅性に不安がある
従来のセキュリティ対策同様に防御ソリューションを導入したいが、 AI 固有のリスクに対しては何を利用したらいいのか分からない
業界最新動向や本番システムへのリクエスト分析等をベースにして継続的に対策をアップデートしたいが、内部に専任のアナリストやリサーチャーがおらず最新のリスクに追従できているか不安
AI Blue Team は、AI を利用したシステムに特化したセキュリティ監視サービスです
近年、多くの分野でAIの利用が増加の一途をたどっています。しかしながら、AIへの期待が高まる一方で、AI固有の脆弱性やリスクも明らかになってきています。本サービスでは、従来の監視サービスだけではカバーできないような、AIの性質を考慮に入れたセキュリティリスクをモニタリングいたします。
※現時点では LLM のみが対象となります
生成 AI、特に大規模言語モデル（LLM） を、業務効率化や新規サービスに活用する動きが急速に広がる中で、それらのセキュリティ対策もますます重要になっています。LLMが抱えるセキュリティリスクは、「プロンプトインジェクション」 「プロンプトリーキング」 といった脆弱性や「ハルシネーション」 「機微情報の漏洩」「不適切なコンテンツの生成」「バイアスリスク」 など、多岐にわたります（図1を参照）。
例：Retrieval-Augmented Generation （RAG）の場合
NRIセキュアは、生成AI（LLM）を取り巻くこれらのリスクを的確に検知することに加え、新種の攻撃手法やシステムの運用開始後に検出された脆弱性に対処するため、関連情報を「インテリジェンス（セキュリティ脅威について収集・分析した情報等の総称）」として継続的に蓄積し、監視業務に適用していくことを重視しております。LLMに関連するリスクから導入企業のシステムを保護する仕組みを独自に開発し、アプリケーションとして本サービスに組み込みました（特許出願中）。これにより、例えば、本サービスと対となる、AI Red Team のようなスポットでのAI セキュリティ診断だけでリスクを網羅的に洗い出して対策するには限界があるといった課題の解消も期待ができます。
生成AI活用システムを継続的にモニタリングし、広範囲かつ最新のAIリスクを回避
監視対象となるシステムと生成AI間で行われる入出力の情報を、本サービスで提供する「検知API」 に連携し、有害な入出力を検知した場合、導入企業の担当者に通知します。前述したLLMが抱えるセキュリティリスクのモニタリングと対応に留まらず、NRIセキュアのアナリストが検知結果をもとに攻撃傾向を分析し、新種の攻撃手法等にも対応できるようにインテリジェンスを蓄積し、継続的に最新化します。アナリストがモニタリングする監視用画面は、導入企業の担当者もアクセスできるため、検知状況を直接確認することも可能です。
AI Red Team で検出したシステム固有の脆弱性を防御し、保護レベルを強化
生成AIを活用したシステムの開発現場では、どのようにAIを活用しているか等のAI への依存方式や権限委譲レベルに応じて、システム固有の脆弱性を作り込んでしまうことがあります。このような脆弱性は汎用的な防御ソリューションでは対処できない領域であり、個別の対策が求められます。
本サービスでは、「AI Red Team」のセキュリティ診断で検出されたシステム固有の脆弱性にも対応できるように、汎用的なインテリジェンスとは別に導入企業専用のインテリジェンスを蓄積します。これにより、固有の脆弱性を攻撃から防御しつつ、システム全体の保護レベルを一層強化することが期待できます（図2を参照）。
