お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
期間 35 時間
コース概要
イントロダクションと診断の基礎
- LLMシステムの障害モードの概要およびOllama特有の一般的な問題
- 再現可能な実験と制御環境の確立
- デバッグツールセット:ローカルログ、リクエスト/レスポンスキャプチャ、サンドボックス化
障害の再現と分離
- 最小限の失敗例とシードを作成する技術
- ステートフル対話とステートレス対話:コンテキスト関連バグの分離
- 決定論、ランダム性、および非決定論的挙動の制御
行動評価とメトリクス
- 定量的メトリクス:正解率、ROUGE/BLEUバリアント、キャリブレーション、パープレキシティの代用指標
- 定性的評価:ヒューマン・イン・ザ・ループスコアリングとルーブリック設計
- タスク固有の忠実性チェックと受入基準
自動テストとリグレッション
- プロンプトおよびコンポーネントのユニットテスト、シナリオおよびエンドツーエンドテスト
- リグレッションスイートとゴールデンエグゼンプルのベースライン作成
- Ollamaモデル更新のためのCI/CD統合および自動検証ゲート
可観測性と監視
- 構造化ログ、分散トレース、相関ID
- 主な運用メトリクス:レイテンシ、トークン使用量、エラー率、品質シグナル
- モデルベースサービスのアlerティング、ダッシュボード、SLI/SLO
高度な根本原因分析
- グラフ化されたプロンプト、ツール呼び出し、マルチターンフローのトレース
- 比較A/B診断とアブレーション研究
- データの出所、データセットのデバッグ、データセット起因の障害への対応
安全性、堅牢性、および是正戦略
- 対策:フィルタリング、グラウンディング、検索拡張、プロンプトのスキャフォールドリング
- モデル更新のためのロールバック、カナリアリリース、段階的ロールアウトパターン
- ポストモーテム、得られた教訓、継続的改善サイクル
まとめと次のステップ
要求
- LLMアプリケーションの構築とデプロイメントに関する豊富な経験
- Ollamaワークフローおよびモデルホスティングへの精通
- Python、Docker、および基本的な可観測性ツールへの慣れ
対象読者
- AIエンジニア
- MLOps専門家
- 本番LLMシステムの責任を負うQAチーム