お問い合わせ

コース概要

はじめに:診断の基礎知識

  • LLMシステムで発生しやすいエラーとOllama特有の問題点について概説
  • 再現性の高い実験を行うための環境設定方法
  • ローカルログ、リクエスト・レスポンス記録、サンドボックス技術を用いたデバッグ手法

エラーの再現と原因特定法

  • 最小構成での失敗例や初期条件の作成テクニック
  • 状態を保持する処理としない処理:コンテキストに関連するバグの分離手法
  • 決定性、乱数処理および非決定的挙動の制御法

モデル挙動の評価指標

  • 精度やROUGE/BLEU指標群、確率分布の適合度、パープレキシティ近似値といった定量的評価手段
  • 人間が関与した評価や評価基準設計を用いた定性的な検証方法
  • 各タスク固有の整合性チェックおよび受け入れ基準の設定法

自動テストと回帰テスト

  • プロンプトや構成要素単体用のユニットテスト、シナリオおよびエンドツーエンドテストの手法
  • 過去の正常な挙動例を基準とする「ゴールデンセット」と回帰テスト体系の作成法
  • Ollamaモデル更新時におけるCI/CDパイプライン連携および自動承認チェックの実装方法

可観測性と運用監視

  • 構造化ログ、分散トレース、相関IDを用いた情報収集法
  • 応答遅延時間、利用トークン数、エラー率、品質指標など重要な運用データの把握法
  • アラート設定、監視ダッシュボード、モデル基盤サービス向けSLA/SLO設計方法

高度な根本原因分析手法

  • グラフ構造を持つプロンプトやツール呼び出し、複数回の対話経路を遡る分析方法
  • A/B比較診断および要素除去試験による問題分離法
  • データソースの出自確認、データセット単体から生じる異常への対処法

安全性向上・堅牢性強化・回復戦略

  • フィルタリング、参照情報による整合性保証、検索拡張生成技術やプロンプト構成の最適化手法
  • 更新版モデルの段階的導入やロールバック方法など安全な運用パターン
  • インシデント後の教訓抽出と継続的な品質向上体制の確立法

まとめと今後の学習指針

要求

  • LLMアプリケーションの構築および展開経験が豊富であること
  • Ollamaのワークフローやモデルホスティングに関する知識があること
  • Python、Docker、基本的な可観測性ツールへの親和性があること

対象者

  • AIエンジニア
  • ML Ops担当者
  • 本番環境のLLMシステム品質を担うQAチーム
 35 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー