本稿では、RSA Conference等と並ぶ「世界最大級のサイバーセキュリティカンファレンス」の一つで、サイバーセキュリティ従事者が世界中から集結する一大イベントであるBlack Hatと、同時に開催されるDEF CONについて、NRIセキュアのコンサルタントとエンジニアによる現地レポートをお届けします。
※Black Hat USA / DEF CON参加レポートにつきましては、UBセキュア社のブログもぜひご覧ください。(近日公開予定)
Black Hat USA参加レポート
Black Hat USAとは?
毎年アメリカ、アジア、欧州、中東アフリカの4地域で開催されており、今回参加したのはその中でも最大規模となるBlack Hat USAになります。
Black Hat USAではサイバーセキュリティに関連する多様なコンテンツが扱われ、例えばサイバーセキュリティに関する最新の研究成果が発表されるBriefingsや各ベンダ出展ブースにて最新ソリューションの紹介が行われるBusiness Hall、セキュリティ技術に関するハンズオントレーニングを行うTrainingsなどが提供されます。
※各コンテンツの詳細な説明は2022年度参加レポートおよび2023年度参加レポートをご覧ください。
2024年の開催状況と現地の様子
全体概要
今年は8月3日(土)~8月8日(木)の日程(※)でラスベガスのMandalay Bay Convection Centerで開催されました。
※3日~6日:トレーニング、7日~8日:メインカンファレンス
メインカンファレンスKeynoteの様子
Business Hallの様子
毎年多数のセキュリティ関連企業が展示を行っているBusiness Hallですが、今年も数百社がブースを展開しておりました。各所でセッションや抽選会、ゲームの展示を行っておりまさにお祭りのような雰囲気となっておりました。
Business Hallの様子
2024年のBusiness Hallの特徴としては、AIセキュリティ関連会社に特化した「AI Zone」が設けられていた他、ほぼ全ての企業が「AIの活用」をアピールしていたように、AIがセキュリティビジネスにおける最重要キーワードになっていた点が挙げられます。
また、様々な他ソリューションやプラットフォームと統合・データ連携可能である点をアピールポイントとしているソリューションも非常に多く、SOARをはじめとする統合ソリューションのニーズの高さを感じました。
Briefingsセッションの紹介
2024年のBlack Hat USAのBriefingsでは、セキュリティ専門家により100件以上の発表が行われました。
テーマ別のセッション数を見てみると、昨年度セッション数が大幅増加した「AI/ML&Data Science」は横ばいとなっており、引き続き注目度が高いことが分かります。一方、昨年度はAI/ML/LLM関連のセッションは全て立ち見が出るほどの大盛況でしたが、2024年はそこまでの盛り上がりは無く、少し落ち着きを見せているように感じました。
また、今回「Exploit Development」テーマに脆弱性関連「Vulnerability Discovery」が加えられ大幅にセッション数が増加した他、「Threat Hunting & Incident Response」のように新設されたテーマや逆に今年から統廃合されたテーマもあり、注目トピックも大きく移り変わっていることがうかがえます。
テーマ別のセッション数
ここからは弊社参加者が聴講した注目セッションを複数紹介させていただきます。
セッション紹介①Windows Downdate: Downgrade Attacks Using Windows Updates
セッション概要
SafeBreach社のセキュリティ研究者Alon Leviev氏による、Windowsアップデートを悪用した脆弱性(CVE-2024-21302、CVE-2024-38202)に関する講演です。
本脆弱性を悪用するとWindowsを脆弱なバージョンへ戻す(ダウングレード攻撃)ことが可能で、本講演では脆弱性の仕組みや手法についてデモ等を利用して紹介していました。
なお、本脆弱性の詳細についてはSafeBreach社のブログが用意されておりますので、脆弱性の詳細や論文、デモ動画などを確認したい方はそちらをご参照ください。
Windows Downdate: Downgrade Attacks Using Windows Updates
https://www.safebreach.com/blog/downgrade-attacks-using-windows-updates/
発表された脆弱性の概要
初めにWindowsアップデートで登場する2つのプロセスをご紹介します。Windowsアップデートはクライアントプロセス(以下、クライアント)とサーバプロセス(以下、サーバ)の二つのプロセスによって行われます。通常、サーバはTrusted Installer権限で起動されます。Windowsアップデートに関連するファイルへアクセス可能なのはサーバのみで、管理者権限やシステム権限ではアクセスすることはできません。
Windowsアップデート時のプロセス
SafeBreach社のブログより引用
(https://www.safebreach.com/wp-content/uploads/2024/08/Windows-Downdate-1.webp)
次にWindowsアップデートフローについて簡単にご紹介します。
- クライアントはサーバへWindowsアップデートのための更新フォルダに含まれる更新作業を実行するように要求します。
- サーバは更新フォルダの整合性を検証します。
- 検証後に、サーバはWindowsアップデートに必要な更新ファイルをサーバ以外アクセスが出来ないフォルダへ保存します。
- 次にサーバはWindowsアップデートで実行する更新アクションなどが記載されたアクセスリストをサーバ以外アクセスができないフォルダへ保存します。
- Windows OSが再起動されるとアクションリストが操作され、再起動中に更新アクションが実行されます。
本講演ではフロー5でサーバが参照するアクションリストのパスの情報が、Trusted Installer以外でも書き換えられる仕様であったことを発表しました。この仕様によって、本来参照されるアクションリストから悪意のあるアクションリストへ変更することでダウングレード攻撃を行うことが可能です。ただし、アクションリストのパスの情報を書き換えるには管理者権限が必要となり、一般ユーザ権限では書き換えができません。
この手法の大きな特徴は、攻撃の検知が困難かつシステム的にアップデートが正常に完了しているように見えるという点です。これは通常のWindowsアップデートのフローを改ざんすることなくダウングレードを行っているためです。
影響と緩和策
本脆弱性の影響として、Windows10、Windows11、Windows Serverが過去の脆弱性を含むバージョンへダウングレードされる、仮想化ベースのセキュリティ(VBS)の一部の機能が回避されるなどが考えられます。
また、本脆弱性にはMicrosoft社より暫定パッチが公開されておりますので、パッチ適用いただくことで影響を緩和することが可能です。
- CVE-2024-38202
https://msrc.microsoft.com/update-guide/vulnerability/CVE-2024-38202 - CVE-2024-21302
https://msrc.microsoft.com/update-guide/vulnerability/CVE-2024-21302
セッション紹介②Practical LLM Security: Takeaways From a Year in the Trenches
セッション概要
本セッションでは、LLM(大規模言語モデル)を利用したアプリケーション(以下、LLM統合アプリケーション)のセキュリティについて、NVIDIAの実践的な知見を基に解説されていました。従来のLLMセキュリティはLLM自体に焦点を当てる傾向がある中、本公演ではLLM統合アプリケーション全体の機密性、完全性、可用性といった、従来のセキュリティ特性に注目しています。
LLM統合アプリケーションにおける脅威
LLM統合アプリケーションにおいて現実的に発生する可能性が高い脅威の具体例として、下記があげられていました。LLM本体起因のものではなく、周囲のシステムにおける権限設定が脅威の原因となっていることがみてとれます。
RAG(Retrieval-Augmented Generation)関連の脅威 |
RAGのデータソースへの悪意ある命令の挿入や、不適切な権限設定による重要データへのアクセス、RAG検索による意図しない情報流出。 |
ガードレール経由での情報流出 |
LLM入力を事前に検査するガードレール、(ブラックリスト等)の存在自体が情報漏洩につながる可能性。例えば、通常の応答とブラックリストに拒否された際の応答の差から推測可能。 |
ログ経由での情報流出 |
ログのアクセス権限と、RAGデータのアクセス権限の不一致により、本来アクセスすべきでない人に情報が流出するリスク。 |
プラグインの過剰な権限による脅威 |
LLMの応答をもとに動作するプラグインを利用しているケースを想定。過度な権限を与えることで、任意コード実行やSQLインジェクションなどのリスクが発生。 |
LLM統合アプリケーションにおけるセキュリティ対策と緩和策
これらの脅威に対して、以下のようなセキュリティ対策と緩和策が述べられていました。基本的なセキュリティ対策と共通するものも多いですが、特にLLMの応答は信頼すべきでないものとして扱うという点が印象的でした。
データ管理と権限設定 |
LLMが取り扱うデータから機密情報を排除するか、適切な権限分けを実施することが重要。特に、RAGソースは信頼できるものに限定すべき。 |
プラグインとシステム連携の制御 |
プラグインには最小限の権限のみを付与し、コンテンツ(リンクなど)のユーザ許可なしの有効化を制限。 |
ログ管理 |
センシティブな情報のログ記録を最小限に抑えることで、ログ経由の情報流出リスクを低減。 |
サンドボックス化 |
コード実行を伴うケースでは、適切にサンドボックス化を実施し、潜在的な脅威を封じ込めます。 |
セキュリティ設計 |
信頼境界、セキュリティ境界の明確化と、アプリケーションの入出力データのトレーサビリティ確保。 |
LLM特有の考慮事項 |
LLMの出力を信頼すべきでないものとして扱う。想定外の出力を考慮した設計や、サニタイジングなどを行う。 |
結論
LLM統合アプリケーションのセキュリティは、従来のセキュリティ対策に加え、LLMの特性を考慮することが必要と述べられていました。特にデータの流れと権限管理、そしてLLMの出力を信頼しないという姿勢が重要と結論付けられていました。
その他詳細
RAG(Retrieval-Augmented Generation):生成AIが回答を生成する際に、モデル内の学習データだけではなく、外部の情報も考慮に入れる手法。LLMが生成する回答の品質や信頼性を向上させる目的で利用される。
セッション紹介③ Uncovering Supply Chain Attack with Code Genome Framework
セッション概要
プログラムの計算セマンティクス(プログラムの意味内容)をもとにプログラムの「遺伝子情報」を生成することで、メタデータに依存しないプログラム検証を可能にするフレームワーク「Code Genome」に関するセッションです。
本セッションでは、昨今のサプライチェーンリスクや現行のソフトウェア検証方法の限界について触れた後、Code Genomeの技術的な解説や活用方法等を、実際にCode Genomeを用いてサプライチェーン攻撃を検出するデモを交えて紹介しています。
背景:ソフトウェアサプライチェーンリスク対策の限界
昨今ソフトウェアサプライチェーンリスク対策としてSBOMが注目されています。SBOMはソフトウェアコンポーネントやそれらの依存関係を機械処理可能な形で一覧化したもので、ソフトウェアサプライチェーンの透明性の確保や脆弱性管理の課題に対する解決策の一つとして普及しつつあります。
しかし、このような「プログラムに付与するメタデータ」を用いてプログラムを管理・検証する方法は、メタデータと実際のプログラムの挙動に乖離が生じた際破綻してしまいます。
例えば、特定のサプライヤが悪性コンポーネントを仕込み偽装されたSBOMを作成した場合、上流のソフトウェア作成会社や利用者において悪性コンポーネントの有無を特定することは非常に困難です。
もちろん、リバースエンジニアリングを行いプログラムの挙動を細かく解析すれば特定することは可能ですが、全てのプログラムを解析し検証することは非常にコストがかかり現実的ではありません。
そのため結局は、各種コンポーネントの信頼性は「サプライヤやソフトウェアベンダが信頼できるか否か」に依存してしまう形となってしまいます。
この状況を打開可能なのがCode Genomeであり、「誰でも簡単にプログラムの機能面の特徴を表す遺伝子情報を抽出できれば、メタデータに依存せずにプログラムの安全性を検証可能となる。」というのが根底の考え方となります。
Code Genome
Code Genomeはプログラムの計算セマンティクス(プログラムの意味内容)を、遺伝子のような情報として抽出可能なフレームワークです。
遺伝子情報の抽出フローは以下の通りで、プログラム(実行ファイル)を解析し関数を抽出し、中間表現(IR)への変換や正規化の実施後、特徴ベクトルを抽出することで生成されます。
code-genome/codegenome
Code Genome is a framework for extracting semantic code fingerprints (github.com)より
このフローで抽出された遺伝子情報はプログラムの「機能」に依存するため、機能面で似ている二つのプログラムの遺伝子情報は似たデータとなります。
そのため例えば、既に安全性が確認されたプログラムと新バージョンのプログラムを比較することで、機能面で大きな変更が生じていないか、生じている場合どの関数に変更が生じているかを特定することができます。
本セッションでは、本年パッケージの汚染被害で非常に話題となったXZ-utilパッケージを用いて検証デモを行い、beta版リリース移行ほとんど遺伝子情報の類似度が変わらなかった状態から、汚染されたv5.6.0以降大幅に類似度が低下する様子を示しました。
なお、本フレームワークは以下のGitHubリポジトリにて一般公開されています。
code-genome/codegenome: Code Genome is a framework for extracting semantic code fingerprints (github.com)
今後について
現状Code GenomeフレームワークはELFやPE等の実行ファイルのみがサポート対象となっています。本セッションでは今後deb, rpm, ipa等のパッケージやcpio, bzip, 7zip等のアーカイブ形式にも対応していく予定であることを示していました。
Trainingの紹介
Black Hatでは、サイバーセキュリティの最前線で活躍するエキスパートたちが設計したトレーニングカリキュラムが多数提供されており、様々なトピックに関する最新の攻撃手法や防御技術などの多様な知識を学ぶことができます。
弊社からは2名がAIセキュリティに関するトレーニングを受講いたしました。このうち1つのトレーニングに関して紹介いたします。
AI Red Teaming in Practice
セッション概要
生成AIを利用したシステムに対する「レッドチーム」の実践的なアプローチを学ぶことができる、Microsoft社が主催するトレーニングです。
冒頭では機械学習やAI全般に関する歴史や仕組みが説明され、攻撃のアプローチが解説された後、生成AI特有の攻撃手法を掘り下げていく構成となっています。基本的な攻撃から、2024年に論文で報告された最近の手法まで、非常にわかりやすい解説が行われていました。
また、Microsoft社がオープンソースとして公開し、最近注目を集めているAIレッドチームの自動化フレームワークであるPyRITを利用した演習も含まれています。
受講の感想
弊社では、本トレーニングで取り上げられた各種情報に関して既に内部で収集し把握していたこともあり、内容自体には新たに知る情報は少なかったものの、体系的に解説された資料や講師の説明などのわかりやすさから、初級者から上級者まで、幅広くお薦めできる内容だと感じました。
講義の終盤では、講師と受講生の間で長時間のディスカッションが行われました。このようなインタラクティブな参加形態は、本トレーニングに限らず今回の他イベントでも同様に見受けられ、海外カンファレンスへ現地参加することの意義を感じることができました。
また、トレーニング中には、講義で解説されたテクニックを応用してフラグを手に入れるCTFが、演習として並行して開催されます。弊社から参加した2名は、ともに全てのフラグを獲得することができました。なお、参加者57名のうち、全問正解者は弊社2名を含む7名のみでした。
Trainingの様子:専用のチャットインターフェースや、配布されるNotebookを利用したCTF
DEF CON 32 参加レポート
毎年ラスベガスではBlack Hatに加え、もう一つ大きなセキュリティカンファレンスDEF CONが開催されています。今年もBlack Hat直後の8月9日(金)~11日(日)に開催されたため、弊社社員も参加しました。本章ではDEF CONの概要や現地の様子を報告します。
DEF CONとは
DEF CONはBlack Hat USAと同様にラスベガスで開催されるもう1つのサイバーセキュリティイベントです。Black Hat USAと同時期に開催されることから続けて参加する人も多く、弊社メンバーも続けて現地参加しました。
Black Hat USAとの違いとしては、Black Hat USAでは研究成果の発表講演や企業ブースでの最新ソリューション紹介等ビジネスライクなコンテンツが多い一方、DEF CONでは様々なセキュリティテーマごとに「Village」が作られ、そのVillage主催でよりギーク(技術的に深く、所謂オタクなイメージ)な展示や講演、コンテストやワークショップが提供されるのが特徴であり、カジュアルなお祭り感が強いイベントとなっています。
なお、本年度のDEF CONは全てのVillage会場がLVCC(Las Vegas Convention Center)に集約されていたため、昨年度と比較して非常に回りやすくなっていました。
※昨年度は各Villageが3,4か所のホテルに分かれており移動が大変でした。
DEF CONの様子
Villageの様子
DEF CONの一番の特徴は「実際に手を動かして、様々なハッキングを体験できる」点が挙げられます。この点についてはほぼ全てのVillageに共通しており、各所テーマに即したワークショップやCTFを開催していました。
例えば、弊社メンバーが参加したCar Hacking Village(CHV)にて開催されたCHV CTFでは写真のようなピックアップトラックがCTF問題の一つとして展示されており、Ethernet通信越しにドアロックをリモート解除することが問題となっていました。(残念ながら最後まで解けませんでしたが。。。)
※CHV CTFの詳細は別途NDIAS社のブログ記事にて解説いたします。(近日公開)
DEF CONの様子:CTF競技用に展示されたピックアップトラック
AI Village においては、Generative Red Team 2(GRT2)が開催されました。このイベントでは、参加者が用意された生成AIモデルの脆弱性を発見し報告することで、賞金を獲得する機会が提供されました。弊社からは2名の社員がこのイベントに参加しました。残念ながら賞金獲得には至りませんでしたが、複数の脆弱性報告を行い、その結果としてバッジを獲得しました。
また、GRT2のイベント以外にも、DEF CONらしい講演がいくつもありました。例えば、カジノのAIシステムへのハッキングの実施記録や、音声変換アプリケーションと言語モデルを組み合わせてAIに誘拐犯を演じさせるシミュレーションなどが発表されていました。いずれもイベントも生成AIのセキュリティに関する理解を深める貴重な機会となりました。
(左)AI Village でGRT2や講演が行われている様子
(右)AI Village GRT2 にてバグ報告をした際に入手したバッジ
他にも航空機操縦シミュレーションを体験できる Aerospace Villageやピッキングを体験できるLockPick Village等、普段触れることのない様々な分野のセキュリティに触れることができます。
(左)Aerospace Villageに展示され操縦シミュレータ
(右)LockPick Villageで自由に体験できるピッキングコーナー
もちろん定番セキュリティテーマのVillageも多数展開されており、Red Team VillageやApp Sec Village 等は入場が困難な程の大盛況となっていました。
また、ギーク向けの物販が充実していることもDEF CONの大きな特徴といえます。キーボードをはじめとする各種PCパーツや、恐らく日本では販売されていないハッキングツール等が大量に販売されており、DEF CONならではの体験ができます。
物販コーナーの様子
このように、DEF CONはBlack Hat等のカンファレンスと比べると明らかに異色ですが、その異色さこそがDEF CONらしさであり、普段なかなか体験できないような「ハッカー体験」を経験できる非常に貴重なカンファレンスとなっています。
余談:DEF CONバッジについて
DEF CONは毎年個性的なデザインの”バッジ”が配布されことでも有名で、そのバッジがDEF CONへの参加資格を有する身分証としての役割を有しています。2024年は以下のようなゲーム機型のバッジが配布されました。
DEF CONバッジ①
こちらは実際にRaspberry Piとゲームボーイエミュレータが組み込まれており、ゲームボーイのROMをプレイすることができるようになっています。ROMはSDカードスロットにあらかじめ挿入されているSDカードに書き込まれており、配布された状態では DEF CONオリジナルゲーム(DEF CON会場のマップや各Villageの説明を確認できる)が入っていました。
DEF CONバッジ②:バッジでDEF CONオリジナルゲームをプレイ可能
また、このゲームではゲーム機本体を、RGB値を自由に指定して光らせることも可能となっており、多くの参加者が思い思いの色にバッジを光らせDEF CONに参加していました。
DEF CONバッジ③:ボタン部分を自由な色で発光させることが可能
まとめ
Black Hat USAおよびDEF CONそれぞれ特徴の異なる二大セキュリティカンファレンスについて紹介してきましたが、どちらにも共通しているのがその規模間と熱量で、本場アメリカにおけるセキュリティ業界の盛り上がりを体験することができました。
また、AIが一番のホットトピックであることも共通しており、今後セキュリティを語る上でAIは切っても切り離せないテクノロジーとなることは間違いなく、継続的な情報収集が重要になると感じました。
弊社では今後もBlack HatやDEF CON等のカンファレンスに参加し、最先端の情報収集を実施してまいります。