お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
導入と診断の基礎
- LLM システムでの障害モードの概要と一般的な Ollama 特有の問題
- 再現可能な実験と制御された環境の確立
- デバッグツールセット: ローカルログ、リクエスト/レスポンスキャプチャ、およびサンドボックス
障害の再現と隔離
- 最小限の失敗例とシードを作成するためのテクニック
- 状態あり vs 状態なしの相互作用: コンテキスト関連バグの隔離
- 決定性、ランダム性、および非決定的な挙動を制御する方法
行動評価と指標
- 定量的指標: 正確性、ROUGE/BLEU のバリエーション、キャリブレーション、および困惑度のプロキシ
- 定性的評価: ヒューマンインザループのスコアリングと基準設計
- タスク固有の忠実度チェックと受け入れ基準
自動テストと回帰
- プロンプトとコンポーネントの単体テスト、シナリオおよびエンドツーエンドテスト
- 回帰スイートとゴールデン例ベースラインの作成
- Ollama モデル更新と自動検証ゲートの CI/CD 統合
監視と可観測性
- 構造化ログ、分散トレース、および相関 ID
- 主要な運用指標: レイテンシ、トークン使用量、エラー率、品質信号
- モデルベースサービスのアラート、ダッシュボード、SLI/SLO
高度な原因分析
- グラフ化されたプロンプト、ツールコール、マルチターンフローを追跡する方法
- A/B 診断と欠損研究の比較
- データの由来、データセットデバッグ、およびデータセット誘発障害の対処
安全性、堅牢性、および対策戦略
- 緩和策: フィルタリング、グラウンディング、リトリーバル強化、プロンプトスcaffolding
- ロールバック、カナリア、および段階的な展開パターンのモデル更新
- ポストモルテム、教訓の学習、継続的改善ループ
まとめと次ステップ
要求
- LLM アプリケーションの構築と展開の豊富な経験
- Ollama ワークフローとモデルホスティングの知識
- Python、Docker、および基本的な監視ツールへの習熟度
対象者
- AI エンジニア
- ML Ops 専門家
- 生産 LLM システムを担当する QA チーム
35 時間