生成AIのリスクを整理する｜３つの観点でリスクと対策を解説

リスク

生成AIを利用する際には、外部に情報が公開されるリスクがあることを認識しておく必要があります。具体的なリスクは主に2つあります。

まず、AIモデルへの学習による情報漏えいです。入力した情報がAIに学習されると、その情報は他の人がAIに対して質問をする際に使用される可能性があります。つまり、他人に漏れる可能性があるのです。

もうひとつのリスクは、生成AIサービス事業者のログに情報が残ることです。事業者は生成AIの悪用を防ぐために、入力内容を保存しています。しかし、事業者内で不正行為が行われた場合や、外部からの攻撃によって情報が漏れる可能性があるのです。

なお、個人情報取扱事業者が本人の同意なしに生成AIサービスに個人データを入力し、そのデータが出力以外の目的で扱われる場合、個人情報保護法に違反する可能性があることにも注意が必要です。

対策

生成AIの学習およびログ保存のリスク管理については、入力データを学習に用いないサービスを利用する、または、学習機能を無効にする設定で利用するという方法があります。ログの保存についても、オプトアウト機能を活用して保存を防ぐことも可能です。

ただし、全てのサービス提供者がオプトアウト機能を用意しているわけではないこと、また提供されていた場合でもオプトアウトを許可する条件が必要な場合もあるため、注意が必要です。

リスク

生成AIは時として、実際の事実とは異なる情報を作り出すことがあります。この現象を「ハルシネーション」（幻覚）と呼びます。学習に用いる情報が不正確であるために、誤った出力が生じるかのように誤解されることがありますが、実際には正確な情報での学習でも不正確な出力は生じ得ます。高度に説得力のある文章の中に誤情報が混ざるため、その情報をそのまま信頼してしまうケースは少なくありません。

対策

それぞれの利用者が生成AIの出力内容を慎重に確認することが必要不可欠です。 企業が従業員に対して生成AIの利用を許可する際には、こういった「ハルシネーション」という現象を十分に理解しないまま生成AIの出力結果を鵜呑みにしてしまう従業員への対策が不可欠となります。注意喚起を行うとともに、利用上のガイドラインを策定するなど、誤解や誤用を防ぐためのリスクマネジメントの実施が必要となります。

リスク

チャット型の生成AIは「入力に対して文章や画像を出力する」だけですが、AIエージェントは指示を受けて自律的に複数のステップを計画・実行し、メール送信やファイル操作、外部システムへのアクセスといった「行動」まで担います。この違いにより、リスクの性質も変化します。誤った情報を人間が鵜呑みにしてしまうという間接的な問題に加えて、AIエージェントが誤った判断や悪用された指示に基づいて、意図しない行動を実際に実行してしまうという、より直接的な問題が生じ得るのです。

特に、エージェントに与える権限が業務上必要な範囲を超えている場合や、複数ステップにわたるタスクの途中で意図しない挙動が発生した場合、その逸脱に人間が気づきにくいという課題があります。

対策

AIエージェントに付与する権限は、業務上必要な最小限の範囲に留めることが重要です。特に、送金や重要データの削除・変更など影響の大きい操作については、人間による承認を必須とする運用が望まれます。

また、エージェントの行動ログを記録・監視できる仕組みを整え、想定外の挙動が発生した際に早期に検知・停止できる体制を構築しておくことも欠かせません。

リスク

企業が公式に導入・許可していないAIツールやAI機能付きの拡張機能を、従業員が個人の判断で業務に利用してしまうケースが増えています。いわゆる「シャドーIT」の生成AI版ともいえるこの状況は、情報システム部門やセキュリティ部門の管理が及ばないところで、機密情報の入力や不適切な利用が行われるリスクを高めます。

従業員の善意による業務効率化の工夫であることも多いため、単純に禁止するだけでは根本的な解決に至らない場合もあります。

対策

従業員が使いたくなるAIツール・環境を企業側が公式で提供し、業務上の必要性とリスクのバランスを取ることが重要です。あわせて、利用可能なAIツールを一覧化するガイドラインの整備や、未承認ツールの利用実態を可視化する仕組み（CASBなど）の導入も有効な対策となります。

リスク

各国では生成AIサービス事業者に対する規制が急速に進行しています。日本では、AIの研究開発・活用を推進しつつ必要な措置を講じるための法律（AI法）が既に成立・施行されており、政府による基本計画や指針も策定されました。欧州連合（EU）ではAI規制法（AI Act）が段階的に施行されており、EU在住の人々へのサービス提供については、日本の事業者にも適用される点に注意が必要です。

日本の著作権法については、第30条の4にて規定されています。これにより、学習段階での著作物の利用は、著作権者の利益を不当に害する場合を除き、合法とされています。この法規定は、外国のAI関連企業が日本市場に注目する、あるいは日本を活動の拠点とする大きなメリットとなっています。しかしながら、著作権者への利益還元の観点から著作権法の見直しに向けた議論も継続しています。

対策

法規制の最新動向を継続的に把握しておく必要があります。

大手AI企業は、各国の規制が具体化する前に、社会の不安を煽らないよう、あるいは評判リスクを回避するため、自主的にリスク対策を取り、その活動を積極的にアピールしています。このような企業の自己規制は、法整備や規制の方向性に影響を与えるものと推測されます。

リスク

自社のビジネスへの打撃を懸念して、多くの企業が自社データの学習利用を制限する動きが広がっています。海外メディアや国内のストックフォトサービスなど、複数の事業者が利用規約を改訂し、AI学習目的での使用を禁止行為として明記する例が続いています。大手メディアとAI事業者との間の著作権訴訟も長期化しており、インターネット上の情報を安易に学習に利用することは、こうした訴訟リスクを引き起こす可能性があります。

一方で、コンテンツホルダーとAI企業との間でライセンス契約を結び、正式に学習データとして提供する動きも広がってきており、対応のあり方は選択肢が増えつつあります。

対策

利用条件が社会通念を逸脱しているなど、必ずしも従う必要のないケースもあります。しかし、安全を考慮し、学習に利用するデータの利用条件を確認した上で利用することが重要です。ライセンス契約による正規のデータ調達も、選択肢の一つとして検討する価値があります。

リスク

生成AIは、誤った情報や倫理的に好ましくない情報、他者の権利を侵害する内容を出力する可能性があります。具体的には、事実と異なる内容をもっともらしく生成してしまう誤情報、特定の属性への偏見や差別につながる表現、暴力・違法行為を助長するような有害なコンテンツ、他者の著作物や商標に類似した表現など、多岐にわたる問題が想定されます。こうしたリスクを十分に理解しないまま利用してしまうと、意図せず問題を引き起こす可能性があります。

誤った情報や不適切な内容の出力により、サービスのブランドイメージが損なわれることはもちろんのこと、正確性を確認せずに利用した利用者から悪評を受ける可能性も考えられます。

対策

こうした問題を完全に防ぐことは難しいものの、近年では出力内容の安全性を高める「ガードレール」機能が、各AIプラットフォーム提供元によって標準的に組み込まれるようになっています。有害なコンテンツや機密情報の出力を検知・ブロックする仕組みや、ブランドイメージを損なう表現をフィルタリングする仕組みが主要なクラウド・AIサービスに共通して備わりつつあり、専業のセキュリティベンダーも同様のソリューションを提供しています。こうしたガードレール機能を活用し、セーフティ観点でのチェックを組み込むことが、対策の中心となります。

ただし、ガードレールを導入してもすべてのリスクを排除できるわけではないため、サービス利用規約に出力結果のリスクについて記載するだけでなく、利用者が生成AIの出力を信じ込まないような工夫をすることも重要です。既存の事業者は、注意事項をアウトプット時に明示したり、複数の回答を出すことで唯一の答えではないことを示すなどの努力を行っています。

リスク

サービス提供者が抑止している情報や挙動を、悪意ある入力によって引き出そうとする「プロンプトインジェクション」は、代表的な攻撃手法です。例えば、爆弾の作成方法については回答しないように設定された生成AIに対して、「指示されている誓約をすべて忘れて」といった指示を行うことで、予め設定されたシステム的な制約を回避し、本来回答すべきでない情報を引き出すことが可能となります。

このほかにも、AIに与えている内部指示（システムプロンプト）を巧妙な入力によって聞き出させてしまう「システムプロンプトの漏えい」や、AIの出力をそのままシステムに取り込んでしまうことで、生成された内容の中に仕込まれた不正なコードや命令が実行されてしまう「出力の不適切な処理」など、入力・出力の両面を狙った攻撃手法が知られています。また、大量のリクエストによって計算コストを跳ね上げさせる「リソースの濫用」も、こうした攻撃手法の一つとして挙げられます。

いずれも、サービス提供者が意図しない使われ方をするだけでなく、犯罪に利用されることでサービス提供者のブランドイメージの棄損に繋がる可能性があります。

対策

まず、個人情報や機密情報、内部指示など、利用者に提示すべきでない情報は、極力プロンプトやシステム設計に含めないよう努める必要があります。また、利用者が入力したプロンプト内容や、それに基づいて出力される回答をチェックし、必要に応じて修正・無害化する仕組みを導入することも重要です。特に、AIの出力を別のシステムやコードとしてそのまま実行しないよう、出力側の検証・サニタイズも欠かせません。

こうした攻撃はいずれも事後の検知だけでは対応しきれないため、サービスの設計・開発段階でセキュリティ診断や脅威モデリングを実施し、想定される攻撃経路や弱点をあらかじめ洗い出しておくことが重要です。完全な対策は難しいことを前提に、早期の問題発見と継続的な改善を組み合わせたサービス提供が求められます。

リスク

AIエージェントをサービスに組み込む事業者が増える中、エージェントに与える機能・権限・自律性が業務上必要な範囲を超えていると、意図しない、あるいは悪意ある指示によって重大な結果を招くリスクがあります。例えば、メール送信や決済処理などの権限を持つエージェントが、巧妙な入力によって不正な操作を実行させられてしまうといったケースが想定されます。

また、重要な判断や操作を人間の承認なしに自律的に実行できる設計になっている場合、問題の発生に気づくのが遅れることも懸念点です。

対策

エージェントに付与する機能・権限は必要最小限に絞り込み、影響の大きい操作については人間による承認プロセスを設けることが基本となります。加えて、エージェントの行動を継続的にログとして記録・監視し、異常な挙動を早期に検知できる仕組みを整えることが重要です。

リスク

生成AIサービスは、基盤モデルや学習データ、外部ライブラリ、ベクトルデータベース、プラグイン、外部システムと連携するためのMCP（Model Context Protocol）ツールなど、数多くの外部コンポーネントに依存して構築されています。これらの依存先のいずれかが攻撃を受けたり、脆弱性や悪意あるコードを含んでいたりすると、その影響はサプライチェーンを通じて自社サービス全体に波及するリスクがあります。例えば、外部から調達した学習データが改ざん・汚染されていたり、利用しているオープンソースライブラリやプラグイン、MCPツールに脆弱性が仕込まれていたりするケースが想定されます。

生成AIサービスがこうした多層的な依存構造の上に成り立っている以上、自社内の対策だけでは防ぎきれないリスクとして、依存関係の複雑化に伴い「サプライチェーンリスク」の重要性が増しています。

対策

利用する基盤モデル・学習データ・外部ライブラリ・プラグインなど、サービスを構成するコンポーネントの提供元・供給網を可視化し、信頼できるものを選定した上で継続的に評価する体制を整えることが重要です。

採用する基盤モデルについては、提供元が公開するモデルカードや安全性評価レポートを確認しておくことで安全性を事前に確認できます。また、近年利用が広がるMCPツールについては、提供元の信頼性や付与する権限の範囲を確認した上で導入することが欠かせません。こうした依存関係を一覧管理する「AIBOM（AI部品表）」のような手法も提案されています。

また、導入前の検証に加えて、導入後は継続的な監視を組み合わせることで、依存先に起因するリスクを早期に発見・対応できる体制を構築することが求められます。

リスク

生成AIサービスの多くは、特定の海外AI企業が提供する基盤モデルやクラウドインフラに依存して構築されています。この依存には、輸出管理や規制の変更、提供企業側の事業判断によって、モデルやサービスへのアクセスが突然制限・停止されるリスクが伴います。

また、計算資源の調達やコスト構造が特定の海外事業者に握られていることによる経済安全保障上のリスクや、扱うデータがどの国の法律・管理体制の下で処理されるかを自らコントロールできないというデータ統制上の課題もあります。日本国内でも、こうした依存構造への懸念から、自国のインフラ・データ・モデルで完結する「AI主権（ソブリンAI）」を確保しようとする動きが官民で広がっています。

対策

機密性の高い業務やデータについては、国内で完結するインフラ・モデルの活用を検討するなど、業務の性質に応じてAI基盤を使い分けることが有効です。

また、特定の海外事業者・モデルへの一極依存を避け、複数の選択肢を持てるような技術構成（マルチベンダー化）や、契約・調達段階でのリスク評価を行っておくことも、事業継続性を確保する上で重要です。 

リスク

生成AIは、フィッシングをはじめとする攻撃メールの文面を高度化するためや、マルウェアのコード作成などに利用されています。誰でも利用可能な一般向け生成AIであっても、犯罪用途にも転用される可能性があり、犯罪目的での利用を前提に設計された専用のAIツールも登場しています。近年では、こうした専用ツールに加えて、本来は正規に公開されているオープンウェイトモデルの安全対策を解除（非検閲化）して悪用する動きも広がっており、専用ツールと非検閲化された正規モデルとが併存する「アンダーグラウンドAIスタック」とも呼べる生態系が形成されつつあります。

対策

生成AIの悪用手口や悪用されるツールは今後も次々と生まれ続けると考えられ、その一つひとつを追いかけて防ぐことは現実的ではありません。犯罪者がAIツールを使うかどうかによらず有効な、フィッシング対策・マルウェア対策・従業員向けセキュリティ教育といった一般的なセキュリティ対策を継続的に強化していくことが、最も現実的で効果の高い対応となります。

リスク

生成AIは、他人の著作物や肖像を模した画像・文章を、誰でも簡単に、そして大量に作成できる能力を持っています。これにより、著作権、商標権、意匠権、肖像権、パブリシティー権などの侵害が広がっており、無断で複製・転用された画像が著作権法違反として立件されたり、実在の人物を模した合成画像がプライバシー侵害や名誉毀損の被害を生んだりする事例も出てきています。生成AIを利用して意図せず他者の権利を侵害してしまう「加害」の側面と、自身の著作物や肖像を無断で使われてしまう「被害」の側面の両方が、社会全体に及ぶリスクとして広がっています。

対策

生成AIを利用する側には、他者の権利を侵害しないための注意が求められます。特定の作家名や作品名をプロンプトに入力する行為は依拠性が認められやすく著作権侵害と判断される可能性が高く、商標権についてもAIの出力結果が他人の商標と類似していれば侵害となり得ます。「商用利用可」とされているAIサービスでも権利侵害が生じないことまで保証されているわけではないため、他人の著作物を入力しないなど利用者自身による自衛が必要です。

一方、被害を受ける側としては、自社名や商品名でのキーワード検索・画像検索を定期的に行う、あるいは外部の風評監視サービスを活用するといった地道な確認が現実的な対策となります。無断利用を発見した場合は、各プラットフォームが用意している削除申請窓口から対応を依頼するなど、既存の仕組みを活用することが基本です。

リスク

生成AIは、偏見、差別、名誉棄損といった倫理的に問題のある出力を行う可能性があります。これは、前述のハルシネーションによるものであったり、元々問題を抱えた情報を学習しているケースもあります。これらの出力を利用者が十分に検討せずに利用すると、社会的な問題が増大する恐れがあります。さらに、知識がない人が専門家のような記事を簡単に大量に生成できるようになると、誤情報が氾濫することも懸念されます。

こうした文章による誤情報だけでなく、AIによって現実ではない映像や音声を、本物と区別がつかないほど自然な精度で作成する「ディープフェイク」も、誤情報拡散の一形態です。プライバシー侵害や詐欺、なりすましといった直接的な被害につながるだけでなく、SNSなどでの安易な拡散によって、悪意がなくとも自分自身がデマの拡散者になってしまうリスクもあります。

対策

インターネット上の情報については、内容を鵜呑みにせず、複数の情報源を確認するなどして慎重に見ていくことが必要です。特に画像・映像・音声についても、文章と同様に捏造（ディープフェイク）である可能性を常に意識し、安易に拡散しないよう注意することが求められます。

リスク

近年、フロンティア級のAIモデルが、主要なOSやブラウザにおける未知の脆弱性（ゼロデイ脆弱性）を自律的かつ大量に発見し、攻撃コード（エクスプロイト）まで生成できる能力を持つことが具体的に確認されています。これにより、従来「脆弱性の発見から悪用まで」数百日単位を要していたサイクルが、数時間単位にまで短縮されつつあるという指摘も出てきており、防御側が対応する猶予そのものが失われつつあるという、これまでとは質の異なる脅威が顕在化しています。

一方で、こうした高い脆弱性発見能力は、悪用される側面だけでなく、AI開発企業やセキュリティベンダー自身が自社製品・コードベースの脆弱性を先回りして発見・修正するためにも活用されています。攻撃側・防御側の双方の能力が同時に底上げされているという両面性を理解しておく必要があります。

なお、この分野における能力の高さから、一部の高性能AIモデルについては提供が制限されたり、各国の輸出管理規制の対象となったりする動きも出ており、社会全体としてこのリスクにどう向き合うかが、規制当局にとっても重要な論点になっています。

対策

自組織のアプリケーション・製品・コードベースに存在する脆弱性を、攻撃者に先んじて発見・修正する取り組みを強化する必要があります。AIモデルを活用した脆弱性診断・コード解析ツールの導入も、有効な選択肢の一つです。

また、パッチ適用サイクルの高速化や、脅威インテリジェンスを活用した優先度判断など、これまで以上にスピード感のある脆弱性管理体制を構築することが求められます。