お問い合わせ
 期間 35 時間

コース概要

序論と診断の基礎

  • LLM システムにおける障害モードの概要および一般的な Ollama 固有の問題
  • 再現可能な実験と制御された環境の確立
  • デバッグツールセット:ローカルログ、リクエスト/レスポンスのキャプチャ、およびサンドボックス化

障害の再現と隔離

  • 最小限の失敗例とシードを作成する技術
  • ステートフル vs ステートレスな相互作用:コンテキスト関連のバグの隔離
  • 決定性、ランダム性、および非決定論的な挙動の制御

挙動の評価とメトリクス

  • 定量的メトリクス:精度、ROUGE/BLEU 変種、キャリブレーション、およびパープレキシティの代理指標
  • 定性的評価:ヒューマン・イン・ザ・ループによるスコアリングとルーブリック設計
  • タスク固有の忠実性チェックと受入基準

自動化テストとリグレッション

  • プロンプトとコンポーネントのためのユニットテスト、シナリオおよびエンドツーエンドテスト
  • リグレッションスイートとゴールド例ベースラインの作成
  • Ollama モデルの更新および自動検証ゲートのための CI/CD 統合

オブザーバビリティとモニタリング

  • 構造化ログ、分散トレース、および相関 ID
  • 主要な運用メトリクス:レイテンシ、トークン使用量、エラー率、および品質シグナル
  • モデルベースのサービスのアラート、ダッシュボード、および SLI/SLO

高度な根本原因分析

  • グラフ化されたプロンプト、ツール呼び出し、およびマルチターンフローの追跡
  • 比較 A/B 診断とアブレーション研究
  • データの出所、データセットのデバッグ、およびデータセット起因の障害への対処

安全性、堅牢性、および是正戦略

  • 緩和策:フィルタリング、グラウンディング、検索拡張、およびプロンプトの骨組み作成
  • モデル更新のためのロールバック、キャニリー、および段階的ロールアウトパターン
  • 事後分析、経験の教訓、および継続的な改善ループ

まとめと次のステップ

要求

  • LLM アプリケーションの構築とデプロイに関する豊富な経験
  • Ollama ワークフローとモデルホスティングへの習熟
  • Python、Docker、および基本的なオブザーバビリティツールへの精通

対象読者

  • AI エンジニア
  • MLOps 専門家
  • 本番 LLM システムの責任を担う QA チーム

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー