お問い合わせ
 期間 35 時間

コース概要

イントロダクションと診断の基礎

  • LLMシステムの障害モードの概要およびOllama特有の一般的な問題
  • 再現可能な実験と制御環境の確立
  • デバッグツールセット:ローカルログ、リクエスト/レスポンスキャプチャ、サンドボックス化

障害の再現と分離

  • 最小限の失敗例とシードを作成する技術
  • ステートフル対話とステートレス対話:コンテキスト関連バグの分離
  • 決定論、ランダム性、および非決定論的挙動の制御

行動評価とメトリクス

  • 定量的メトリクス:正解率、ROUGE/BLEUバリアント、キャリブレーション、パープレキシティの代用指標
  • 定性的評価:ヒューマン・イン・ザ・ループスコアリングとルーブリック設計
  • タスク固有の忠実性チェックと受入基準

自動テストとリグレッション

  • プロンプトおよびコンポーネントのユニットテスト、シナリオおよびエンドツーエンドテスト
  • リグレッションスイートとゴールデンエグゼンプルのベースライン作成
  • Ollamaモデル更新のためのCI/CD統合および自動検証ゲート

可観測性と監視

  • 構造化ログ、分散トレース、相関ID
  • 主な運用メトリクス:レイテンシ、トークン使用量、エラー率、品質シグナル
  • モデルベースサービスのアlerティング、ダッシュボード、SLI/SLO

高度な根本原因分析

  • グラフ化されたプロンプト、ツール呼び出し、マルチターンフローのトレース
  • 比較A/B診断とアブレーション研究
  • データの出所、データセットのデバッグ、データセット起因の障害への対応

安全性、堅牢性、および是正戦略

  • 対策:フィルタリング、グラウンディング、検索拡張、プロンプトのスキャフォールドリング
  • モデル更新のためのロールバック、カナリアリリース、段階的ロールアウトパターン
  • ポストモーテム、得られた教訓、継続的改善サイクル

まとめと次のステップ

要求

  • LLMアプリケーションの構築とデプロイメントに関する豊富な経験
  • Ollamaワークフローおよびモデルホスティングへの精通
  • Python、Docker、および基本的な可観測性ツールへの慣れ

対象読者

  • AIエンジニア
  • MLOps専門家
  • 本番LLMシステムの責任を負うQAチーム

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー