お問い合わせを送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
期間 14 時間
コース概要
デプロイメントオプション
- ホステッドAPIとセルフホストのトレードオフ
- オンプレミス、エッジ、エアギャップのパターン
- 単一モデルとモデルポートフォリオ
- 意思決定ごとのコスト比較
ハードウェアサイズ調整とキャパシティ
- パラメータ数に基づくメモリフットプリント
- CPUのみとGPUアクセラレーション
- 並行処理とスループットの計画
- タスク長増加への余裕設計
サービングスタック
- vLLMとSGLangの選択肢
- llama.cppとGGUFの実行
- ローカル開発用のOllama
- 意思決定ワークロードの形状に基づく選択
キャリブレーションを損なわない量子化
- 精度フォーマットとメモリ削減
- 品質とキャリブレーション損失の測定
- テンソル別および重要度ベースのバリアント
- 量子化後の受け入れテスト
レイテンシエンジニアリング
- 中央値とテールレイテンシ
- コンテキスト長に伴うレイテンシ増加
- ウォームスタートとモデルキャッシュ
- 複数の意思決定質問のバッチ処理
エッジおよび制約環境
- CPU上の小型意思決定モデル
- Apple Siliconおよび組み込みデプロイメント
- オフライン動作と更新戦略
- エアギャップ環境での重み配布
コンテナ化とスケーリング
- モデルサービングのためのイメージ設計
- ボリュームとキャッシュの管理
- 水平スケーリングとルーティング
- リソース制限とGPU共有
オブザーバビリティ
- リクエスト、レイテンシ、エラーメトリクス
- 信頼度分布の監視
- 意思決定の結果とエスカレーションの追跡
- キャリブレーションドリフトのアラート
バージョン管理とロールアウト
- モデルとアダプターの詳細なバージョン管理
- シャドウデプロイメントとカナリアデプロイメント
- 監査のためのピン留めされたモデルファイル
- ロールバック手順
セキュリティとマルチテナンシー
- 認証とレートリミティング
- プロンプトとログのテナント分離
- ネットワーク分離とエGRESS制御
- 意思決定の監査ログ
要求
- Linux管理およびコンテナの経験。
- モデル推論サーバーおよびGPU管理の知識。
- REST API、ロードバランシング、監視の基本的な理解。
対象者
- 推論インフラを運営するMLOpsおよびプラットフォームエンジニア
- AIサービスをサポートするSREチーム
- オンプレミスで意思決定モデルを展開するAIエンジニア
- エアギャップまたは規制されたAIデプロイメントを設計するアーキテクト
