コース概要

導入と診断の基礎

  • LLM システムでの障害モードの概要と一般的な Ollama 特有の問題
  • 再現可能な実験と制御された環境の確立
  • デバッグツールセット: ローカルログ、リクエスト/レスポンスキャプチャ、およびサンドボックス

障害の再現と隔離

  • 最小限の失敗例とシードを作成するためのテクニック
  • 状態あり vs 状態なしの相互作用: コンテキスト関連バグの隔離
  • 決定性、ランダム性、および非決定的な挙動を制御する方法

行動評価と指標

  • 定量的指標: 正確性、ROUGE/BLEU のバリエーション、キャリブレーション、および困惑度のプロキシ
  • 定性的評価: ヒューマンインザループのスコアリングと基準設計
  • タスク固有の忠実度チェックと受け入れ基準

自動テストと回帰

  • プロンプトとコンポーネントの単体テスト、シナリオおよびエンドツーエンドテスト
  • 回帰スイートとゴールデン例ベースラインの作成
  • Ollama モデル更新と自動検証ゲートの CI/CD 統合

監視と可観測性

  • 構造化ログ、分散トレース、および相関 ID
  • 主要な運用指標: レイテンシ、トークン使用量、エラー率、品質信号
  • モデルベースサービスのアラート、ダッシュボード、SLI/SLO

高度な原因分析

  • グラフ化されたプロンプト、ツールコール、マルチターンフローを追跡する方法
  • A/B 診断と欠損研究の比較
  • データの由来、データセットデバッグ、およびデータセット誘発障害の対処

安全性、堅牢性、および対策戦略

  • 緩和策: フィルタリング、グラウンディング、リトリーバル強化、プロンプトスcaffolding
  • ロールバック、カナリア、および段階的な展開パターンのモデル更新
  • ポストモルテム、教訓の学習、継続的改善ループ

まとめと次ステップ

要求

  • LLM アプリケーションの構築と展開の豊富な経験
  • Ollama ワークフローとモデルホスティングの知識
  • Python、Docker、および基本的な監視ツールへの習熟度

対象者

  • AI エンジニア
  • ML Ops 専門家
  • 生産 LLM システムを担当する QA チーム
 35 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー