コース概要
1日目: 基礎と主要な脅威
モジュール 1: OWASP GenAI セキュリティプロジェクトの紹介 (1時間)
学習目標:
- OWASP Top 10 から GenAI 特有のセキュリティ課題への進化を理解します。
- OWASP GenAI セキュリティプロジェクトのエコシステムとリソースについて探ります。
- 伝統的なアプリケーションセキュリティと AI セキュリティの主要な違いを識別します。
取り上げるトピック:
- OWASP GenAI セキュリティプロジェクトのミッションと範囲の概要
- Threat Defense COMPASS フレームワークの紹介
- AI セキュリティの現状と規制要件の理解
- AI 攻撃面と伝統的なウェブアプリケーションの脆弱性との比較
実践演習: OWASP Threat Defense COMPASS ツールのセットアップと初期脅威評価の実施
モジュール 2: OWASP Top 10 for LLMs - Part 1 (2.5時間)
学習目標:
- 最初の 5つの主要な LLM 脆弱性をマスターします。
- 攻撃ベクトルとエクスプロイト手法を理解します。
- 実践的な軽減策を適用します。
取り上げるトピック:
LLM01: プロンプト注入
- 直接的なプロンプト注入技術と間接的なプロンプト注入技術
- 隠れた指示攻撃とクロスプロンプト汚染
- 実践例:チャットボットの脱獄と安全対策のバイパス
- 防御策:入力検証、プロンプトフィルタリング、差分プライバシー
LLM02: 機密情報の漏洩
- トレーニングデータの抽出とシステムプロンプトの漏洩
- モデルの動作分析による機密情報の露出
- プライバシーへの影響と規制適合性の考慮事項
- 軽減策:出力フィルタリング、アクセスコントロール、データ匿名化
LLM03: サプライチェーンの脆弱性
- サードパーティ製モデルの依存関係とプラグインのセキュリティ
- 汚染されたトレーニングデータセットとモデルポイズニング
- AI コンポーネントのベンダーリスク評価
- セキュアなモデル展開と検証実践
実践演習: 脆弱性のある LLM アプリケーションに対するプロンプト注入攻撃のデモンストレーションと防御策の実施
モジュール 3: OWASP Top 10 for LLMs - Part 2 (2時間)
取り上げるトピック:
LLM04: データとモデルのポイズニング
- トレーニングデータ操作技術
- 汚染された入力によるモデル動作変更
- バックドア攻撃とデータ整合性の検証
- 予防策:データ検証パイプライン、出所追跡
LLM05: 適切な出力処理
- LLM 生成コンテンツの不適切な処理
- AI 生成出力によるコード注入
- AI 応答を介したクロスサイトスクリプティング
- 出力検証とサニタイズフレームワーク
実践演習: データポイズニング攻撃のシミュレーションと堅牢な出力検証メカニズムの実装
モジュール 4: 高度な LLM 脅威 (1.5時間)
取り上げるトピック:
LLM06: 極端なエージェンシー
- 自主的な意思決定のリスクと境界違反
- エージェント権限と許可管理
- 予期しないシステム相互作用と特権昇格
- フェンス内制御と人的監視の実装
LLM07: システムプロンプト漏洩
- システム指示の露出脆弱性
- プロンプトを介した認証情報とロジックの漏洩
- システムプロンプト抽出攻撃手法
- システム指示と外部設定の保護
実践演習: 適切なアクセスコントロールと監視を備えた安全なエージェントアーキテクチャの設計
2日目: 高度な脅威と実装
モジュール 5: 新興 AI 脅威 (2時間)
学習目標:
- 最新の AI セキュリティ脅威を理解します。
- 高度な検出と予防技術を実装します。
- 多様な攻撃に対して強靭な AI システムを設計します。
取り上げるトピック:
LLM08: ベクターや埋め込みの脆弱性
- RAG システムの脆弱性とベクトルデータベースのセキュリティ
- 埋め込みポイズニングと類似度操作攻撃
- セマンティック検索における対抗例
- ベクトルストアの保護と異常検知の実装
LLM09: 誤報とモデル信頼性
- 幻覚検出と軽減
- バイアスの増幅とフェアネスの考慮事項
- 事実確認と情報源検証メカニズム
- コンテンツ検証と人的監視統合
LLM10: 制約のない消費
- リソース枯渇とサービス拒否攻撃
- レート制限とリソース管理戦略
- コスト最適化と予算コントロール
- パフォーマンス監視とアラートシステム
実践演習: ベクトルデータベース保護と幻覚検出を備えた安全な RAG パイプラインの構築
モジュール 6: エージェント型 AI のセキュリティ (2時間)
学習目標:
- 自主的な AI エージェントに特有のセキュリティ課題を理解します。
- OWASP エージェント型 AI 分類体系を現実世界のシステムに適用します。
- マルチエージェント環境でのセキュリティコントロールを実装します。
取り上げるトピック:
- エージェント型 AI と自主システムの紹介
- OWASP エージェント型 AI 脅威分類体系: エージェント設計、メモリ、計画、ツール使用、展開
- マルチエージェントシステムのセキュリティと調整リスク
- ツールの誤用、メモリポイズニング、目標乗っ取り攻撃
- エージェント間通信と意思決定プロセスの保護
実践演習:
モジュール 7: OWASP Threat Defense COMPASS の実装 (2時間)
学習目標:
取り上げるトピック:
実践演習: Microsoft Copilot 展開シナリオを使用した COMPASS を利用した脅威評価の完了
モジュール 8: 実践的実装とベストプラクティス (2.5時間)
学習目標:
取り上げるトピック:
安全な AI 開発ライフサイクル:
監視と検出:
ガバナンスとコンプライアンス:
実践演習: 監視、ガバナンス、インシデント対応手順を含む企業 AI チャットボットの完全なセキュリティアーキテクチャの設計
モジュール 9: ツールと技術 (1時間)
学習目標:
取り上げるトピック:
実践演習: AI セキュリティテストツールのデモンストレーションと実装計画
モジュール 10: 未来のトレンドとまとめ (1時間)
学習目標:
取り上げるトピック:
アクションプラン演習: 参加者の組織で OWASP GenAI セキュリティ実践を実装するための 90 日間のアクションプランを開発します。
要求
- ウェブアプリケーションのセキュリティ原則に関する一般的な理解
- AI/ML 概念への基本的な熟悉度
- セキュリティ フレームワークやリスク評価手法の経験があることが望ましい
対象者
- サイバーセキュリティ専門家
- AI 開発者
- システムアーキテクト
- コンプライアンス担当者
- セキュリティ実務家
お客様の声 (1)
そのトレーナーが多くの知識を持ち、それを私たちと分かち合ってくれたことが気に入りました
Daria Pawlak - LKQ POLSKA SPOLKA Z OGRANICZONA ODPOWIEDZIALNOSCIA
コース - Microsoft 365 Copilot Chat for Word, Excel, PowerPoint, and Outlook
機械翻訳