コース概要
1日目: 基礎とコアの脅威
モジュール1: OWASP GenAIセキュリティプロジェクトの紹介 (1時間)
学習目標:
- OWASP Top 10からGenAI特有のセキュリティ課題への進化を理解する
- OWASP GenAIセキュリティプロジェクトのエコシステムとリソースを探索する
- 従来のアプリケーションセキュリティとAIセキュリティの主な違いを特定する
カバーされるトピック:
- OWASP GenAIセキュリティプロジェクトのミッションとスコープの概要
- Threat Defense COMPASSフレームワークの紹介
- AIセキュリティの状況と規制要件の理解
- AIのアタックサーフェスと従来のWebアプリケーションの脆弱性の比較
実践演習: OWASP Threat Defense COMPASSツールのセットアップと初期の脅威評価の実行
モジュール2: OWASP Top 10 for LLMs - Part 1 (2.5時間)
学習目標:
- 最初の5つの重要なLLM脆弱性を習得する
- 攻撃ベクトルと悪用テクニックを理解する
- 実践的な軽減戦略を適用する
カバーされるトピック:
LLM01: プロンプトインジェクション
- 直接および間接のプロンプトインジェクションテクニック
- 隠蔽された指示攻撃とクロスプロンプト汚染
- 実践例: チャットボットのジェイルブレイキングと安全対策の回避
- 防御戦略: 入力のサニタイズ、プロンプトフィルタリング、微分プライバシー
LLM02: 機密情報の漏洩
- トレーニングデータの抽出とシステムプロンプトの漏洩
- 機密情報公開に関するモデル行動の分析
- プライバシーへの影響と規制遵守の考慮事項
- 軽減策: 出力フィルタリング、アクセス制御、データ匿名化
LLM03: サプライチェーン脆弱性
- サードパーティモデルへの依存関係とプラグインセキュリティ
- 破損したトレーニングデータセットとモデルポイゾニング
- AIコンポーネントに対するベンダーリスク評価
- 安全なモデル展開と検証の実践
実践演習: 脆弱なLLMアプリケーションに対するプロンプトインジェクション攻撃のデモンストレーションと防御措置の実装
モジュール3: OWASP Top 10 for LLMs - Part 2 (2時間)
カバーされるトピック:
LLM04: データおよびモデルポイゾニング
- トレーニングデータの操作テクニック
- 汚染された入力を介したモデル行動の変更
- バックドア攻撃とデータ整合性の検証
- 予防策: データ検証パイプライン、プロベナンス追跡
LLM05: 不適切な出力処理
- LLMが生成したコンテンツの安全でない処理
- AI生成出力を通じたコードインジェクション
- AIレスポンスを通じたクロスサイトスクリプティング
- 出力検証とサニタイズフレームワーク
実践演習: データポイゾニング攻撃のシミュレーションと堅牢な出力検証メカニズムの実装
モジュール4: 高度なLLM脅威 (1.5時間)
カバーされるトピック:
LLM06: 過度な代理権限
- 自律的な意思決定のリスクと境界の侵害
- エージェントの権限とパーミッション管理
- 意図しないシステム相互作用と特権エスカレーション
- ガードレールと人間の監督コントロールの実装
LLM07: システムプロンプトの漏洩
- システム指示の公開脆弱性
- プロンプトを通じた認証情報とロジックの漏洩
- システムプロンプトを抽出する攻撃テクニック
- システム指示と外部設定の保護
実践演習: 適切なアクセス制御と監視を備えた安全なエージェントアーキテクチャの設計
2日目: 高度な脅威と実装
モジュール5: 新興のAI脅威 (2時間)
学習目標:
- 先端のAIセキュリティ脅威を理解する
- 高度な検知と予防テクニックを実装する
- 洗練された攻撃に対して堅牢なAIシステムを設計する
カバーされるトピック:
LLM08: ベクトルと埋め込みの弱点
- RAGシステムの脆弱性とベクトルデータベースのセキュリティ
- 埋め込みポイゾニングと類似性操作攻撃
- セマンティック検索における敵対的例
- ベクトルストアの保護と異常検知の実装
LLM09: 誤情報とモデルの信頼性
- ハルシネーション(幻覚)の検知と軽減
- バイアスの増幅と公平性の考慮事項
- ファクトチェックとソース検証メカニズム
- コンテンツ検証と人間の監督の統合
LLM10: 無制限な消費
- リソース枯渇とサービス拒否攻撃
- レート制限とリソース管理戦略
- コスト最適化と予算管理
- パフォーマンス監視とアラートシステム
実践演習: ベクトルデータベースの保護とハルシネーション検知を備えた安全なRAGパイプラインの構築
モジュール6: エージェント型AIセキュリティ (2時間)
学習目標:
- 自律型AIエージェントの独自のセキュリティ課題を理解する
- 現実世界のシステムにOWASPエージェント型AI分類を適用する
- マルチエージェント環境でのセキュリティコントロールを実装する
カバーされるトピック:
- エージェント型AIと自律型システムの紹介
- OWASPエージェント型AI脅威分類: エージェント設計、メモリ、計画、ツール使用、展開
- マルチエージェントシステムのセキュリティと調整リスク
- ツールの悪用、メモリポイゾニング、目標ハイジャック攻撃
- エージェントの通信と意思決定プロセスの保護
実践演習: マルチエージェントカスタマーサービスシステムに対するOWASPエージェント型AI分類を使用した脅威モデリング演習
モジュール7: OWASP Threat Defense COMPASSの実装 (2時間)
学習目標:
- Threat Defense COMPASSの実際的な応用を習得する
- AI脅威評価を組織のセキュリティプログラムに統合する
- 包括的なAIリスク管理戦略を開発する
カバーされるトピック:
- Threat Defense COMPASSメソッド論の深掘り
- OODAループの統合: 観察、状況把握、判断、行動
- MITRE ATT&CKとATLASフレームワークへの脅威のマッピング
- AI脅威レジリエンス戦略ダッシュボードの構築
- 既存のセキュリティツールとプロセスとの統合
実践演習: Microsoft Copilot展開シナリオに対するCOMPASSを使用した完全な脅威評価
モジュール8: 実践的な実装とベストプラクティス (2.5時間)
学習目標:
- ゼロから安全なAIアーキテクチャを設計する
- AIシステムのための監視とインシデントレスポンスを実装する
- AIセキュリティのためのガバナンスフレームワークを作成する
カバーされるトピック:
安全なAI開発ライフサイクル:
- AIアプリケーションのためのセキュリティ・バイ・デザイン原則
- LLM統合のためのコードレビュー実践
- テスト方法論と脆弱性スキャン
- 展開セキュリティと本番環境のハードニング
監視と検知:
- AI特有のロギングと監視要件
- AIシステムの異常検知
- AIセキュリティイベントに対するインシデントレスポンス手順
- フォレンジックと調査テクニック
ガバナンスとコンプライアンス:
- AIリスク管理フレームワークとポリシー
- 規制遵守の考慮事項(GDPR、AI法案など)
- AIベンダーに対するサードパーティリスク評価
- AI開発チーム向けのセキュリティ意識向上研修
実践演習: 監視、ガバナンス、インシデントレスポンス手順を含むエンタープライズAIチャットボットの完全なセキュリティアーキテクチャの設計
モジュール9: ツールとテクノロジー (1時間)
学習目標:
- AIセキュリティツールを評価し実装する
- 現在のAIセキュリティソリューションの状況を理解する
- 実践的な検知と予防能力を構築する
カバーされるトピック:
- AIセキュリティツールのエコシステムとベンダーの状況
- オープンソースセキュリティツール: Garak, PyRIT, Giskard
- AIセキュリティと監視のための商用ソリューション
- 統合パターンと展開戦略
- ツール選択の基準と評価フレームワーク
実践演習: AIセキュリティテストツールのデモンストレーションと実装計画
モジュール10: 将来のトレンドとまとめ (1時間)
学習目標:
- 新興の脅威と将来のセキュリティ課題を理解する
- 継続的な学習と改善戦略を開発する
- 組織のAIセキュリティプログラムのためのアクションプランを作成する
カバーされるトピック:
- 新興の脅威: ディープフェイク、高度なプロンプトインジェクション、モデル反転
- 将来のOWASP GenAIプロジェクトの発展とロードマップ
- AIセキュリティコミュニティの構築と知識の共有
- 継続的改善と脅威インテリジェンスの統合
アクションプラン演習: 参加者の組織においてOWASP GenAIセキュリティプラクティスを導入するための90日間アクションプランの開発
要求
- Webアプリケーションセキュリティの原則に関する基本的な理解
- AI/ML概念の基礎的な知識
- セキュリティフレームワークまたはリスク評価メソッド論の経験があることが望ましい
対象読者
- サイバーセキュリティ専門家
- AI開発者
- システムアーキテクト
- コンプライアンス責任者
- セキュリティ実践者
お客様の声 (1)
AI攻撃とその実践に役立つツールの知識を学べたことは非常に有意義でした。セキュリティテストのために積極的に活用するにあたり、多くの新たな知見を得ることができました。この講座は私の期待を上回る内容であり、特に「Comet Browser」の機能には大きな感動を覚えました。今後はさらに掘り下げて調査したいと思っています。全体として大変優れた講座であり、OWASP GenAI Top 10の全項目を学ぶことができたことを嬉しく思います。
Patrick Collins - Optum
コース - OWASP GenAI Security
機械翻訳