お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
期間 35 時間
コース概要
序論と診断の基礎
- LLM システムにおける障害モードの概要および一般的な Ollama 固有の問題
- 再現可能な実験と制御された環境の確立
- デバッグツールセット:ローカルログ、リクエスト/レスポンスのキャプチャ、およびサンドボックス化
障害の再現と隔離
- 最小限の失敗例とシードを作成する技術
- ステートフル vs ステートレスな相互作用:コンテキスト関連のバグの隔離
- 決定性、ランダム性、および非決定論的な挙動の制御
挙動の評価とメトリクス
- 定量的メトリクス:精度、ROUGE/BLEU 変種、キャリブレーション、およびパープレキシティの代理指標
- 定性的評価:ヒューマン・イン・ザ・ループによるスコアリングとルーブリック設計
- タスク固有の忠実性チェックと受入基準
自動化テストとリグレッション
- プロンプトとコンポーネントのためのユニットテスト、シナリオおよびエンドツーエンドテスト
- リグレッションスイートとゴールド例ベースラインの作成
- Ollama モデルの更新および自動検証ゲートのための CI/CD 統合
オブザーバビリティとモニタリング
- 構造化ログ、分散トレース、および相関 ID
- 主要な運用メトリクス:レイテンシ、トークン使用量、エラー率、および品質シグナル
- モデルベースのサービスのアラート、ダッシュボード、および SLI/SLO
高度な根本原因分析
- グラフ化されたプロンプト、ツール呼び出し、およびマルチターンフローの追跡
- 比較 A/B 診断とアブレーション研究
- データの出所、データセットのデバッグ、およびデータセット起因の障害への対処
安全性、堅牢性、および是正戦略
- 緩和策:フィルタリング、グラウンディング、検索拡張、およびプロンプトの骨組み作成
- モデル更新のためのロールバック、キャニリー、および段階的ロールアウトパターン
- 事後分析、経験の教訓、および継続的な改善ループ
まとめと次のステップ
要求
- LLM アプリケーションの構築とデプロイに関する豊富な経験
- Ollama ワークフローとモデルホスティングへの習熟
- Python、Docker、および基本的なオブザーバビリティツールへの精通
対象読者
- AI エンジニア
- MLOps 専門家
- 本番 LLM システムの責任を担う QA チーム