コース概要
1日目:基礎知識と主要な脅威
モジュール1:OWASP GenAI Security Projectへの概要(1時間)
学習目標:
- OWASP Top 10からGenAI固有のセキュリティ課題への変遷を理解する。
- OWASP GenAI Security Projectのエコシステムとリソースを探求する。
- 従来のアプリケーションセキュリティとAIセキュリティの主な相違点を特定する。
扱われるトピック:
- OWASP GenAI Security Projectのミッションとスコープの概要
- Threat Defense COMPASSフレームワークの紹介
- AIセキュリティの状況と規制要件の理解
- AI攻撃面と従来のWebアプリケーション脆弱性の比較
実習: OWASP Threat Defense COMPASSツールのセットアップと初期脅威評価の実施
モジュール2:LLM向けのOWASP Top 10 - パート1(2.5時間)
学習目標:
- 重要な5つのLLM脆弱性をマスターする。
- 攻撃ベクトルと実証技術を理解する。
- 実践的な軽減戦略を適用する。
扱われるトピック:
LLM01:プロンプトインジェクション
- 直接および間接のプロンプトインジェクション技術
- 隠された指示攻撃とクロスプロンプト汚染
- 実例:チャットボットの jailbreaking および安全対策の回避
- 防御戦略:入力サニタイズ、プロンプトフィルタリング、差分プライバシー
LLM02:機密情報開示
- 学習データ抽出とシステムプロンプルリーク
- 機密情報の露出のためのモデル行動分析
- プライバシーへの影響と規制コンプライアンスの考慮事項
- 軽減策:出力フィルタリング、アクセスコントロール、データ匿名化
LLM03:サプライチェーン脆弱性
- 第三者モデル依存関係とプラグインセキュリティ
- 侵害された学習データセットとモデルポイズニング
- AIコンポーネントベンダーリスク評価
- 安全なモデル展開と検証プラクティス
実習: 脆弱なLLMアプリケーションに対するプロンプトインジェクション攻撃の実演および防御対策の実装
モジュール3:LLM向けのOWASP Top 10 - パート2(2時間)
扱われるトピック:
LLM04:データおよびモデルポイズニング
- 学習データの操作技術
- 汚染された入力によるモデル行動の変更
- バックドア攻撃とデータ整合性の検証
- 予防策:データ検証パイプライン、出所追跡
LLM05:不適切な出力処理
- LLM生成コンテンツの安全でない処理
- AI生成出力を通じたコードインジェクション
- AI応答からのクロスサイトスクリプティング(XSS)
- 出力検証およびサニタイズフレームワーク
実習: データポイズニング攻撃のシミュレーションと堅牢な出力検証メカニズムの実装
モジュール4:高度なLLM脅威(1.5時間)
扱われるトピック:
LLM06:過度のエージェンシー(自律性)
- 自律的意思決定のリスクと境界違反
- エージェントの権限とアクセス管理
- 意図しないシステム相互作用と特権昇格
- ガードレールと人的監視コントロールの実装
LLM07:システムプロンプトリーク
- システム指示の露出脆弱性
- プロンプトを通じた認証情報とロジックの開示
- システムプロンプト抽出の攻撃技術
- システム指示と外部設定の保護
実習: 適切なアクセスコントロールと監視を備えた安全なエージェントアーキテクチャの設計
2日目:高度な脅威と実装
モジュール5:新興AI脅威(2時間)
学習目標:
- 最先端のAIセキュリティ脅威を理解する。
- 高度な検知および防止技術を実装する。
- 巧妙な攻撃に対するレジリエントなAIシステムを設計する。
扱われるトピック:
LLM08:ベクトルおよび埋め込みの脆弱性
- RAGシステムの脆弱性とベクトルデータベースセキュリティ
- 埋め込みポイズニングおよび類似度操作攻撃
- セマンティック検索における敵対的例(アドバーサリアル・エクザンプル)
- ベクトルストアの保護と異常検知の実装
LLM09:誤情報とモデル信頼性
- ハルシネーション(幻覚)の検知と軽減
- バイアス増幅と公平性の考慮事項
- 事実確認およびソース検証メカニズム
- コンテンツ検証と人的監視の統合
LLM10:無制限のリソース消費
- リソース枯渇およびサービス拒否(DoS)攻撃
- レートリミティングおよびリソース管理戦略
- コスト最適化と予算コントロール
- パフォーマンス監視およびアラートシステム
実習: ベクトルデータベース保護とハルシネーション検知機能を備えた安全なRAGパイプラインの構築
モジュール6:エージェント型AIセキュリティ(2時間)
学習目標:
- 自律型AIエージェントに特有のセキュリティ課題を理解する。
- 現実世界のシステムにOWASP Agentic AIタクソノミを適用する。
- マルチエージェント環境のセキュリティコントロールを実装する。
扱われるトピック:
- Agentic AIおよび自律システムへの入門
- OWASP Agentic AI脅威タクソノミ:エージェント設計、メモリ、計画、ツール使用、展開
- マルチエージェントシステムのセキュリティと調整リスク
- ツールの悪用、メモリポイズニング、目標ハイジャッキング攻撃
- エージェント間の通信および意思決定プロセスの保護
実習: OWASP Agentic AIタクソノミを使用したマルチエージェント顧客サービスシステムの脅威モデリング演習
モジュール7:OWASP Threat Defense COMPASSの実装(2時間)
学習目標:
- Threat Defense COMPASSの実践的な適用をマスターする。
- 組織のセキュリティプログラムにAI脅威評価を統合する。
- 包括的なAIリスク管理戦略を開発する。
扱われるトピック:
- Threat Defense COMPASS方法論の深い掘り下げ
- OODAループの統合:観察(Observe)、配置(Orient)、決定(Decide)、行動(Act)
- MITRE ATT&CKおよびATLASフレームワークへの脅威マッピング
- AI脅威レジリエンス戦略ダッシュボードの構築
- 既存のセキュリティツールおよびプロセスとの統合
実習: Microsoft Copilot展開シナリオに対するCOMPASSを使用した完全な脅威評価
モジュール8:実践的実装とベストプラクティス(2.5時間)
学習目標:
- ゼロから安全なAIアーキテクチャを設計する。
- AIシステムのための監視およびインシデント対応を実装する。
- AIセキュリティのガバナンスフレームワークを作成する。
扱われるトピック:
安全なAI開発ライフサイクル:
- AIアプリケーションのための設計段階からのセキュリティ(Security-by-Design)原則
- LLM統合に関するコードレビュープラクティス
- テスト方法論および脆弱性スキャン
- 展開セキュリティおよび本番環境の強化
監視および検出:
- AI固有のロギングおよび監視要件
- AIシステムの異常検知
- AIセキュリティ事案に対するインシデント対応手順
- フォレンジック調査技術
ガバナンスとコンプライアンス:
- AIリスク管理フレームワークおよびポリシー
- 規制コンプライアンスの考慮事項(GDPR、AI Actなど)
- AIベンダーに対する第三者リスク評価
- AI開発チーム向けのセキュリティ意識向上トレーニング
実習: 監視、ガバナンス、およびインシデント対応手順を含むエンタープライズAIチャットボットの完全なセキュリティアーキテクチャの設計
モジュール9:ツールおよびテクノロジー(1時間)
学習目標:
- AIセキュリティツールの評価と実装。
- 現在のAIセキュリティソリューションの状況についての理解。
- 実践的な検知および防止能力の構築。
扱われるトピック:
- AIセキュリティツールのエコシステムとベンダー状況
- オープンソースセキュリティツール:Garak、PyRIT、Giskard
- AIセキュリティおよび監視のための商用ソリューション
- 統合パターンおよび展開戦略
- ツールの選択基準および評価フレームワーク
実習: AIセキュリティテストツールの実演および実装計画の策定
モジュール10:将来のトレンドとまとめ(1時間)
学習目標:
- 新興脅威と将来のセキュリティ課題を理解する。
- 継続的な学習および改善戦略を開発する。
- 組織のAIセキュリティプログラム向けのアクションプランを作成する。
扱われるトピック:
- 新興脅威:ディープフェイク、高度なプロンプトインジェクション、モデル逆転
- 将来のOWASP GenAIプロジェクトの開発とロードマップ
- AIセキュリティコミュニティの構築と知識共有
- 継続的改善および脅知能(Threat Intelligence)の統合
アクションプラン演習: 参加者所属組織におけるOWASP GenAIセキュリティプラクティスの実装に向けた90日間のアクションプランの開発
要求
- Webアプリケーションセキュリティの原則に関する一般的な理解
- AI/ML概念への基本的な親しみ
- セキュリティフレームワークまたはリスク評価方法論の実務経験があると望ましい
対象者
- サイバーセキュリティ専門家
- AI開発者
- システムアーキテクト
- コンプライアンス担当者
- セキュリティ実務家
お客様の声 (1)
AI攻撃とその実践に役立つツールの知識を学べたことは非常に有意義でした。セキュリティテストのために積極的に活用するにあたり、多くの新たな知見を得ることができました。この講座は私の期待を上回る内容であり、特に「Comet Browser」の機能には大きな感動を覚えました。今後はさらに掘り下げて調査したいと思っています。全体として大変優れた講座であり、OWASP GenAI Top 10の全項目を学ぶことができたことを嬉しく思います。
Patrick Collins - Optum
コース - OWASP GenAI Security
機械翻訳