ITセキュリティーに関連したホットトピックを取り上げ、動向や対策をひもときます。今回は、AI（人工知能）への攻撃に対抗する「AIセキュリティー」を解説します。
AIそのもののセキュリティー
AIセキュリティーはここ数年、徐々に注目を集めてきたキーワードです。AIを利用したサービスを提供する事業体にとって今後、避けては通れない課題となる可能性があります。
AIセキュリティーとは一般に「AIを活用したセキュリティー対策」ではなく、「AIそのもののセキュリティー」を指します。つまり、AIに対する攻撃への耐性と捉えてよいでしょう。
AIセキュリティーは10年程前から学術界で研究が活発な領域でしたが、ここ数年でAI侵害時の社会的影響などを踏まえて産業界でも懸念され始めてきています。
これは世界的なトレンドで、例えばEUで提案されている欧州AI規制法案でもそれを垣間見 られます。具体的に同法案のArticle 15にて、ハイリスクAIシステムにおける、正確性、堅牢性、サイバーセキュリティーに関する適切な対策について言及しています。
AI原則におけるAIセキュリティー
ここでは、AIセキュリティーだけではなく、それを含めた包括的な考え方であるAI原則とAIセキュリティーの関係を説明します。
AIの研究は1950年代に始まったといわれていますが、「信頼できるAI」とは何かといった観点での議論が活発化したのは比較的最近のことです。AIについての議論が活発化している背景は2つあります。
1つは、AIを活用した画像認識や音声認識、自然言語処理など、さまざまなAI技術の社会実装が進んだこと。ビジネスや社会のさまざまな難問を解決するための技術としてAIへの期待が高まっています。
もう1つは、「大量のデータから帰納的にルールを予測するという最近のAIの特性」に起因する懸念が高まっていることです。信頼できる「AI原則」についての国際的な合意形成が進んでいます。
AI原則とは、AI開発者やAIを利用してサービスを提供する主体が、AIを開発、提供するにあたって順守すべき「基準」を定めたものです。AI原則は、大きく5つに分類できます。その中でAIセキュリティーは、主に無危害原則に関連します。
AI原則におけるAIセキュリティーの位置づけ｜大きく5つの「原則」がある
従って、AIセキュリティーはあくまでもAIが満たすべき「複数の原則（全体）」のうちの「1つの原則（部分）」という高い視座でとらえることも、AIを利用したサービスを提供する事業体には重要となります。
これらを実現すべく、AI原則の具現化の方法論（How）の検討が進んできています。つまり、「AI原則」（What）についておおむね国際的な合意が形成される中、「AI原則」の具現化の方法論の検討が進んでいるという状況です。方法論としては、対策指針や規制案といったAIガイドライン、国際標準、分野・ユースケース別ルール、モニタリングルールといったものが挙げられます。
AIへの攻撃の種類
AIへの攻撃には以下のようなものがあります。
ポイズニング攻撃
AIモデルの学習に使われるデータやモデルそのものを何らかの手段で汚染して誤動作を引き起こさせるプロセスを指します。例えば、特定のパターンのデータをモデルに入力した場合にのみ、攻撃者が望む振る舞いを起こさせるバックドアを仕込むような攻撃が挙げられます。昨今サイバーセキュリティー領域においてサプライチェーン上での攻撃リスクが話題になっていますが、本攻撃が示すように、AIにおいても同様のリスクが存在し得ます。
特に昨今、複数のエンティティーが共同でモデルを開発する連合学習が注目されていますが、その過程で汚染されるリスクも懸念されています。AIセキュリティー研究者の中にはポイズニング攻撃が最もリスクが高いと訴える人もいますし、著者自身もそう考えます。
なぜなら、AIモデルといえどもプログラムとして作動している以上、攻撃者が意図した挙動となるように直接的、もしくは間接的にモデルを改変するのが合理的な攻撃だと考えるからです。
回避攻撃
敵対的サンプルと呼ばれる細工されたデータなどを攻撃対象モデルに入力し、攻撃者が望む推論結果に誤動作させる攻撃を指します。攻撃の幅は広く、例えば画像分類モデルを任意の分類結果に誘導させるものから、物体検知モデルの検知、ウイルス検知、ディープフェーク検知を回避するような攻撃までさまざまです。
例えば、物体検知モデルへの攻撃に関する論文を基に、筆者が特殊なパッチ（模様）を生成して、Tシャツにプリントした上で、YOLOv5と呼ばれる物体検知モデルを攻撃して人物の検知が回避できます。左の写真は3人とも正しく人（person）として検出されていますが、右の写真では一番右の特殊なパッチを印刷したＴシャツを着ている男性は検出されていません。
どのようなパッチでも有効なわけではなく、数学的に計算されています。実際、右写真の中の左男性のTシャツにはデタラメに作ったパッチを張り付けていますが、誤認識されずに人 （person）として正しく検知されています。
物体検知モデルへの人検知回避攻撃の例｜ユースケースで対策は異なる
モデル抽出攻撃
モデルの入力に対する出力を分析することで、モデルと同等の機能を持つモデルを作成する攻撃です。攻撃者は復元したモデルを頼りに、上述した敵対的サンプルを生成して攻撃に利用 する可能性もあります。
メンバーシップ推論攻撃
学習済みAIモデルから、特定のデータが学習データに含まれていたかどうかを推定する攻撃です。研究が活発な領域で、米マイクロソフトもMicrosoft Membership InferenceCompetition（MICO）というコンペティションを主催し、この問題に取り組んでいます。
モデルインバージョン攻撃
モデルから学習時に使われたデータを復元する攻撃です。個人データを学習データとして使っている場合に、特定の個人データが復元されプライバシーが侵害される可能性があります。
AIへの攻撃分類の例｜さまざまな攻撃を想定しておく
AI攻撃への緩和策
AIの代表的な攻撃について紹介してきましたが、それに対する緩和策も存在します。例えば、敵対的サンプルへの緩和策としてモデルの堅牢性を高める敵対的トレーニング、数学的に敵対的サンプルが一定の入力範囲内に存在しないことを確率的に証明するRandomizedSmoothingや、健全かつ完全に保証するFormal Verifi cationがあります。いずれも、研究が活発な領域ではあるものの、攻撃への対策として完全に有効とは言えません。
もちろん、そのような対策アプローチが有効に利用できる場合においては適用が望ましいといえますが、網羅的に対応するのは難しく現実的ではありません。また、攻撃リスクはAIモデルがなぜ、どこで、だれに、いつ、どのように使われるかによって異なるので、攻撃シナリオ、攻撃成功時の影響度、難易度等は一意に決まりません。
物体検知を利用したシステムを構築している筆者の顧客を例に挙げて考察してみます。この顧客は、それまでカメラ映像に映る危険物を目視で確認していましたが、それを物体検知モデルで置き換えようとしています。先ほど紹介した攻撃例は例えば、不審者を検知するための防犯カメラのコンテキストであれば高いリスクと言えます。しかしこの顧客の場合は、危険物を危険物以外の物体として誤検知させられることを高いリスクとしてとらえており、人検知回避はハイリスクととらえていません。
人検知であれば、赤外線センサーなども同時に導入するなどして緩和できるかもしれませんが、別のものとして検知させる攻撃への対策とはなり得ません。この例からもわかるように、同じようなAIモデルを使っていたとして、そのユースケースによって攻撃シナリオもそれらに対する対策も根本的に異なります。
そのため、画一的なソリューションのみで対応すること自体がAIモデルの性質上、不可能だと筆者は考えています。このような考え方はすでに常識化しており、EUや米国ではリスクに応じて対策アプローチを変えるリスクベースアプローチをとる流れになっています。例えばEUでは先の欧州AI規制法案、米国ではAIリスクに取り組むための包括的フレームワークであるNIST AI Risk Management Frameworkなどでその姿勢がうかがえます。
従来のサイバーセキュリティーであれば、Webアプリケーションやネットワークのセキュリティーは画一的な方法で対策が可能なのが大部分なので、特定ソリューションの導入で対策が完了することがあります。しかし、AIセキュリティーではそのようなアプローチを取れず、AIモデルのユースケースごとに個別のアプローチが必要になります。この点が、AIセキュリティーにおける最もチャレンジングな理由の1つと言えます。
AIの品質向上が重要
ここまで読んで、そもそも上述したようなAI固有の攻撃が発生しているのか疑問を持った人 もいるでしょう。結論から言うと、そのような攻撃は現時点ではほとんど確認されていません。
このような事例が発生しているかは、例えばAIのインシデントを集めたWebサイトであるAIIncident DatabaseやAIAAIC Repositoryで確認できます。例えば前者には、2023年5月時点で約2600件の事例が登録されているものの、ほとんどがAIセキュリティーならではの攻撃事例ではなく、一般的な品質の低さに起因するものです。このような状況から、AIセキュリティーよりはむしろ、いかにAIの品質を高めるかが重要な課題と筆者は考えます。
AIセキュリティーは信頼できるAIの実現に向けて、今後意識せざるを得ない領域となっていくでしょう。まだ黎明（れいめい）期ですが、これから新しい対策手法の考案、法規制やガイドラインの充実などにより、一定レベルの成熟は期待できるとは思います。
しかしAIセキュリティーに取り組む際には、そのような汎（はん）化されたものだけをよりどころにするのではなく、リスクベースアプローチでリスクと対策すべきスコープを見極める必要があります。従来のサイバーセキュリティーのように画一的なソリューションを求めるのではなく、ユースケースに応じて個別に対策することをいとわない姿勢や覚悟が重要になるでしょう。
※「日経コンピュータ」2023年6月22日号より、一部加筆の上、転載。
https://xtech.nikkei.com/atcl/nxt/mag/nc/18/012300337/061200006/
日経BPの了承を得て転載／無断転載・複製を禁じます。
