EN

NRIセキュア ブログ

生成AIがもたらすセキュリティ面での影響

目次

    blogtop

    昨今、「生成AI」のサービスが多くのメディアで取り上げられるようになり、個人での利用にとどまらず、企業としての利用やビジネスへの取り込みも含めその可能性が大きな話題となっています。しかしその一方で生成AIを利用する企業においては、生成AIにより発生するリスクについても十分に検討する必要があります。


    本記事では、生成AIの登場により想定されるセキュリティ面でのリスクを取り上げるとともに、それらに対する対応策について考察いたします。

     

    ▶「DX時代のソフトウェア開発手法」をダウンロードする

    生成AIとは

    読者の皆様の中には生成AIという言葉に聞き馴染みがない方もいらっしゃるかもしれません。しかし、「ChatGPT」というサービス名を目にした、もしくは耳にしたことがあるという方は多いのではないでしょうか。


    生成AIはガートナー社によると「コンテンツやモノについてデータから学習し、それを使用して創造的かつ現実的な、まったく新しいアウトプットを生み出す機械学習手法」[1]と定義され、過去の機械学習で取り入れた膨大なデータを基に、利用者が入力した情報に応じて特定の出力を生成する技術・サービスを指します。また、生成AIの中でも入出力する情報により、ChatGPTに代表されるテキスト生成AIなど、大きく4種類に区分されます。

     

    表 1: 生成AIの種別例

    項番

    種別

    説明

    サービス例

    1

    テキスト生成AI

    利用者がテキストボックスに質問などを入力し、その内容をAIが解析して回答となるテキストを生成します。サービスによってはプログラミングコードや小説などの生成が可能なものもあります。

    ChatGPT

    NovelAI

    2

    画像生成AI

    利用者がテキストでイメージを指定するだけで自動的に画像やイラストを生成します。
    単純な画像出力はもちろん、Webサイトや広告のデザイン制作の補助ツールとしての利用も広まっています。

    Midjourney

    Stable Diffusion

    3

    音声生成AI

    利用者が指定した文章を読み上げる音声データを出力します。予めサービス側に搭載されている声色だけではなく、実際の人の声のデータを入力することで音声の特徴を学習し、声色や感情のトーンも再現した音声を生成することが可能なサービスもあります。

    VALL-E

    Text-to-Speech

    4

    動画生成AI

    入力されたテキストから動画データを生成するサービスや、既存の動画の修正・編集が可能なサービスなどがあります。比較的発展途上な分野ですが、エンターテインメントやマーケティングの分野で注目されています。

    Gen-2

    Firefly

     

    生成AI自体は数年前から発達している分野ではありますが、2022年11月にChatGPTが公開されてから一気に注目度が高まっています。その手軽さ・利便性から個人や企業による利用が広がっている[2]一方で、生成AIの抱える課題やリスクについても浮き彫りになってきています。


    次項以降で、生成AIが与えるセキュリティ面での影響の一部をご紹介するとともに、その対応策について考えていきます。尚、生成AIの種別によって想定されるリスクは異なってくると考えられるため、本記事では資料作成や事務作業など幅広い業務での利用が期待されるテキスト生成AIを念頭に考察します。

    生成AIのセキュリティリスクと対策 - 利用者としての視点

    まず生成AIを従業員が利用者として業務で利用するケースを考えると、注意すべきなのが機密情報の取り扱いです。業務に関連する情報収集や英文ドキュメントの和訳などといった利用ケースが考えられますが、その質問・投稿内容に業務上の機密情報や個人情報が含まれていれば、その情報がサービス側に収集されてしまう可能性があります。

     

    この点については、生成AI以外(検索エンジンや翻訳サイトなど)のWebサービスでも同様のことが言えますので、目新しいポイントではないかもしれません。しかし、生成AIでは利用者が入力したデータについても学習する場合があるため、その情報がサービス側に削除困難な形で残存し、他の利用者への回答内容に活用されることで漏洩につながる可能性も指摘されています。01

    図1: 入力データの利用に関するイメージ比較

     

    では、生成AIを利用する企業としてこうしたリスクを軽減するにはどうすればいいでしょうか。先にも述べた通り、機密情報の入力やそれに伴う漏洩のリスクについてはこれまでのWebサービスでも当てはまりますので、対応策としても生成AIとそれ以外のWebサービスで大きな差異はないと考えられます。


    まず1つ目のアプローチはそもそも生成AIを利用させない、というものです。機密情報漏洩リスク以外の理由も含まれますが、既にChatGPTの利用を禁止している企業も出てきています。[2]生成AIサービスへのアクセスを社内システムで禁止すれば、当然そこからの情報漏洩リスクについては限りなくゼロに近くなると考えられます。しかし、多くの企業は生成AIの利便性を享受したいと考えるのではないでしょうか。


    そこで2つ目のアプローチは従業員の投稿内容を監視・制御し、機密情報が含まれるような投稿を防ぐ、というものです。クラウドサービスへのアクセスを制御するCASB(Cloud Access Security Broker)[3]製品の一部では、ChatGPTなど生成AI利用時の通信を可視化し、機密情報を含むようであればDLP(Data Loss Prevention)[4]機能で投稿をブロックする、という動作が既に実現可能となっています。[5]

     

    こうした手法で実際に投稿のブロックを実現していく場合、まず利用企業側でどういった情報・文字列が機密情報なのかを整理し、定義する必要があるので比較的導入ハードルは高いと言えます。現実的にはCASB機能を用いながら生成AIへの投稿内容をロギング・モニタリングしていく、というのが踏み出しやすい第一歩と考えられます。


    また、違ったアプローチとして、自社で生成AIを構築してしまう、という方針を取る企業もあるようです。[6]開発のスキルが必要となるためこちらも導入ハードルは高いかもしれませんが、セキュアに且つ利便性を存分に活用するためには有効な手段といえると考えます。

    生成AIのセキュリティリスクと対策 – 攻撃者としての視点

    ここまで、生成AIを利用者の立場で考えたときのセキュリティリスクとその対策についてご紹介してきました。ここからは、サイバー攻撃の攻撃者が生成AIを利用することによって生じる影響について考えていきます。


    まず指摘されているのがフィッシング等の攻撃メールの文章の高度化です。不自然な日本語でURLリンクへのアクセスを誘う不審なメールを一度は見たことがあるかと思います。メールの文章に不自然な点があればセキュリティの知識が少ない従業員でも怪しいメールであると気づくことができる可能性が高いです。しかし、生成AIを用いると単純な翻訳サイトよりも自然な日本語メールが容易に生成できます。
    図1: 生成AIによる日本語メール文の生成例

    図2: 生成AIによる日本語メール文の生成例[7]

     

    日本語に長けていない海外の攻撃者であっても自然な日本語での攻撃メールが作成できるため、受信者が文章の違和感で攻撃メールであると気づけるケースは減っていくと考えられます。

     

    またもう一点指摘されているのが、生成AIを用いてマルウェアのコード作成を行うケースが出てくる可能性がある、という点です。

    図2: 生成AIによるマルウェアコードの生成例

    図3: 生成AIによるマルウェアコードの生成例[8]

     

    上図は生成AIでマルウェアコードを作成している例です。実現したい処理内容を自然言語で記載するだけでマルウェアコードが生成されていることが分かります。これにより、プログラミングスキルが低い人物でも容易にマルウェアを生成できるようになり、攻撃の増加・多様化につながる可能性があります。
     
    こうした攻撃者による悪用について、犯罪に利用されると思われる質問には回答しないなどの対策機能が既に生成AIサービス側で搭載されている場合があります。しかしそれでも攻撃者側の質問文の工夫によって対策機能を回避できてしまうケースがある、というのが実情です。
     
    それでは、サイバー攻撃における生成AIの利用に対して一般の企業はどのような対策をすべきでしょうか。まず、一目で攻撃メールと判別できるケースが減っていく可能性がありますので、スパムメールフィルタリングシステムやメールドメイン認証技術(SPF/DKIM/DMARC)を整備する、等といったこれまでの対応がより一層重要になると考えられます。ユーザ側が攻撃メールに気づける可能性は低いと考え、システム的な部分での対応をしっかりと施していくことが大切です。
     
    また生成AIがマルウェアコードを生成することにより攻撃の増加・多様化が進んだ場合、アンチウイルスなどの入口対策で防御しきれないケースが増えると考えられます。端末の一連の挙動から不審な点を検知できるEDR(Endpoint Detection and Response)[9]などの製品を用いて攻撃を面で捉え、対応していくことが重要と考えられます。

    おわりに

    今回は生成AIがセキュリティ面に与える影響を利用者・攻撃者の観点から考察してきました。生成AIを自社サービス等に組み込む場合などにはまた異なる観点での検討が必要ですが、今回ご紹介した対策はいずれも目新しい対策ではありません。生成AIという新しい概念を過剰に恐れることなく、リスクを正しく捉え、適切に利用することで自社のビジネスを加速させることが重要だと考えます。


    弊社では今回対策として挙げたCASB製品やスパムメールフィルタリングシステム、EDR製品のマネージドセキュリティサービスを提供しております。他にも、メールドメイン認証技術の導入などに関するご支援も可能ですので、お悩み事やご相談事項がありましたらお気軽に弊社担当までお問い合わせいただければ幸いです。

    脚注・参考

    [1]

    ジェネレーティブAIとは?

    https://www.aist.go.jp/aist_j/magazine/20221026.html

    [2]

    ChatGPTの利用を禁止する企業は16%、調査では禁止の理由が明らかに

    https://dxmagazine.jp/news/WwCgE

    [3]

    セキュリティ用語解説 CASB(Cloud Access Security Broker)

    https://www.nri-secure.co.jp/glossary/casb

    [4]

    セキュリティ用語解説 DLP(Data Loss Prevention)

    https://www.nri-secure.co.jp/glossary/dlp

    [5]

    Netskope、ChatGPTの安全な活用を示すデモンストレーションを公開

    https://news.yahoo.co.jp/byline/ohmototakashi/20230512-00349267

    [6]

    ベネッセHD、「ChatGPT」を全社解禁 自社専用で漏洩防ぐ

    https://business.nikkei.com/atcl/seminar/19/00030/041300468/

    [7]

    ChatGPTの登場で詐欺メールはさらに巧妙に? 気を付けたい【文例3選】

    https://www.itmedia.co.jp/business/articles/2305/12/news025_3.html

    [8]

    チェック・ポイント・リサーチ、ChatGPTを利用した悪意あるメールやコード攻撃への注意喚起

    https://prtimes.jp/main/html/rd/p/000000166.000021207.html

    [9]

    セキュリティ用語解説 EDR(Endpoint Detection and Response)

    https://www.nri-secure.co.jp/glossary/edr

     

    DX時代のソフトウェア開発手法