安全かつ責任あるLLMアプリケーションの構築のトレーニングコース

LLMアーキテクチャと攻撃対象領域の概要

• LLMの構築方法・展開手法およびAPI経由での利用法
• LLMアプリケーションスタックを構成する主要要素（プロンプト、エージェント、メモリ、各種API等）
• 実環境下で生じ得るセキュリティ問題の発生箇所とメカニズム

プロンプト注入攻撃およびジレンブレイク手法

• プロンプト注入現象の定義とその危険性
• 直接的・間接的なプロンプト注入が起こり得るシナリオ
• 安全制御機能を回避するためのジレンブレイク手法
• 異常検知および軽減対策の実装方法

データ漏洩とプライバシー問題

• 不適切な応答内容を通じた偶発的な情報露出の防止策
• 個人識別情報流出やモデル記憶領域の不正利用対策
• プライバシー保護に配慮したプロンプト設計とリトリーバル拡張型生成技術（RAG）の活用法

LLM出力内容のフィルタリングおよび制御

• Guardrails AIを利用したコンテンツ検証・フィルタリング手法
• 出力構造の仕様定義と各種制約条件の設定法
• 不適切な出力内容の監視およびログ記録方法

人間の介入によるワークフロー管理手法

• いつ、どのような場面で人間の監視が必要か
• 承認プロセスや判定基準・予備処理システムの構築方法
• 信頼度評価と説明可能性の確保に関する取り組み

安全なLLMアプリケーション設計パターン

• API呼出しおよびエージェント処理時における最小権限原則とサンドボックス化の実践法
• 通信量制限や不正利用検知機能の設定例
• LangChainを用いた堅牢な連鎖構造の形成およびプロンプト分離処理手法

コンプライアンス管理・ログ記録・ガバナンス確保

• LLM出力内容の監査可能性向上策
• 実施履歴追跡やプロンプト版管理手法
• 組織内セキュリティポリシーおよび規制要件への適合方法

まとめと今後の取り組み案