お問い合わせ

コース概要

AIにおける脅威の現状

  • なぜAIセキュリティは独特か:非決定性、推論プロセスの不透明さ、およびプロンプトが攻撃対象となりうること
  • 攻撃タイプの分類:学習段階・推論段階・サプライチェーンにおける攻撃
  • 機械学習分野における攻撃者の属性と動機

LLMアプリケーション向けOWASPトップ10

  • プロンプトインジェクション:直接的および間接的な攻撃手法
  • 不適切な出力処理とクロスプラグインリクエスト偽造のリスク
  • 学習データの汚染およびサプライチェーンにおける脆弱性
  • モデルサービス拒否、機密情報漏洩、過度な権限付与といった問題点
  • 実演:各OWASP分類に基づきテスト用アプリケーションに対する攻撃手法を体験する

プロンプトインジェクションおよびジレンブレイクに関するレッドチーム演習

  • 各種インジェクション技法の分類:直接的・間接的、複数回にわたる攻撃、マルチモーダルな攻撃など
  • GiskardやGarakなどの自動化ツールおよびカスタムファジングツールによるレッドチーム演習の実施
  • ジレンブレイク手法の分類と防御策評価の方法論
  • 継続的なLLMセキュリティテストに活用できるレッドチーム用フレームワークの構築法

モデル単位における攻撃と防御策

  • API照会を利用したモデルのパラメータおよび機能の抽出手法
  • 訓練データ中に存在するかどうかを特定するためのメンバーシップ推論攻撃
  • 分類器や埋め込みベクトルを誤動作させる敵対的入力例
  • バックドアの生成や性能劣化を招く学習データの汚染方法

入出力制御によるセキュリティ確保

  • 従来のウェブ防御機構を超えた入力検証の実践手法
  • 有害な表現や個人情報漏洩、不適切なコード生成を防止する出力フィルタリング技術
  • セキュリティ基盤として機能するガードレール:NeMoやGuardrails AIおよび独自の制御ポリシー例
  • 構造化された出力形式の強制をセキュリティ境界線とする利用法

AIサプライチェーンセキュリティ

  • モデルの真正性や完全性を確認するための出所検証手法
  • 機械学習フレームワークおよび各種モデルフォーマットに対する依存関係解析方法
  • 安全なモデル配信:サンドボックス化やネットワーク分離、最小権限アクセス制御の実装法
  • カスタム学習済みモデルやコミュニティ提供モデルにおける不正プログラム混入チェック法

AIシステム運用時のセキュリティ対策

  • モデルエンドポイント、ベクターストア、および関連ツールに対するアクセス制御手法
  • 全てのモデル呼び出しや判断結果を記録する監査ログ収集方法
  • モデル自体が侵害された場合に備えたインシデント対応戦略例
  • CI/CDプロセス内で継続的に実施される機械学習パイプライン向けのセキュリティ検証法

組織内でのAIセキュリティ体制構築法

  • 企業ごとのAIセキュリティ成熟度水準と実現ロードマップの策定手順
  • 既存のアプリケーションセキュリティおよびクラウドセキュリティ体制へのAI要素の統合法
  • AI関連ガバナンス枠組みや今後の規制動向に対する適応策例
  • 組織全体で共有可能なAIセキュリティ運用マニュアルの作成および維持管理手法

要求

  • 実運用環境における機械学習モデルやLLMアプリケーションの導入経験があること。
  • 認証・認可および脅威分析を含むセキュリティに関する基礎知識が求められます。
  • 敵対的テスト演習を行うためにPythonの基本的なスキルも必要です。

対象者

  • AI/ML分野におけるセキュリティ課題に対応したいセキュリティエンジニア。
  • モデルの安全性および堅牢性の確保に責任を持つMLエンジニア。
  • テスト対象としてAIシステムを取り入れたいレッドチーム担当者。
 14 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー