お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
EXOIaC
- EXOデプロイメントパターンの概要:シングルノード、マルチノード、およびRDMAクラスター
- 構成管理による依存関係インストールの自動化(Xcode、uv、Node.js、Rust)
- Nix flakesを用いた再現性のあるEXOビルドと開発環境の作成
- Ansibleプレイブックまたはシェルスクリプトを使用した無人クラスタープロビジョニングの記述
再現性のあるビルドとCI連携
- 依存関係のピン留めとCIパイプラインでのダッシュボードビルド
- GitHub ActionsやGitLab CIランナーでのEXOスモークテストの実行
- macOSおよびLinux VMのためのゴールデンイメージとスナップショットベースのロールバックワークフローの作成
- アプリケーションコードとともにカスタムモデルカードのバージョン管理
クラスター発見とネットワーキング自動化
- 信頼性の高いlibp2pノード発見のためのmDNSおよび静的DNSの設定
- macOS上でのネットワークプロファイル作成とThunderboltブリッジ管理の自動化
- カスタム名前空間(EXO_LIBP2P_NAMESPACE)を使用したデブ、ステージング、プロダクションクラスターの分離
- マルチテナント環境のためのファイアウォールルールおよびネットワークセグメンテーション
ストレージとモデルライフサイクル管理
- EXO_MODELS_DIRS および EXO_MODELS_READ_ONLY_DIRS の戦略策定
- NFSまたはSAN共有をオンデマンドなモデルリポジトリとして読み取り専用でマウントし、迅速なプロビジョニングを実現
- 古いキャッシュのガーベジコレクションおよびバージョン管理されたウェイト保持ポリシー
- ロールバックアップグレード前にモデルの前ダウンロードとヘルスチェックを自動化
監視とアラート
- 集中型ロギング(ELK、Loki、またはSplunk)へのEXOログのエクスポート
- EXO_TRACING_ENABLED の出力からGrafanaダッシュボードの構築
- クラスターメンバーシップの変更、OOMイベント、推論レイテンシの急増に対するアラート設定
- macmonハードウェアテレメトリとモデルパフォーマンスの劣化を相関させる
アップデート、ロールバック、および災害復旧
- カナリアノードでEXOバイナリアップデートをステージングし、フリート全体のロールアウト前に検証
- モデルレベルのロールバック:再ダウンロードせずに量子化バージョン間を切り替え
- クラスター状態、カスタム名前空間、キャッシュされたウェイトのバックアップおよび復元
- 完全なクラスターの再構築シナリオに対する復旧手順書の文書化
セキュリティ強化とコンプライアンス
- ダッシュボードおよびAPI用にリバースプロキシ層(nginx、traefik)でTLSを適用
- EXOエンドポイントへのAPIレート制限およびIPホワイトリストの実装
- VLANおよびゼロトラストネットワークポリシーによるクラスの分離
- アクセス監査およびデプロイされたモデルとバージョンのインベントリの維持
要求
- DevOpsのプラクティス(CI/CD、IaC、コンテナオーケストレーション)の実践経験。
- macOSまたはLinuxのシステム管理およびパッケージ管理への親しみ。
- ネットワーキング、DNS、ストレージの概念の理解。
対象者
- DevOpsエンジニア
- インフラアーキテクト
- オンプレミスAIワークロードを担当するSRE
21 時間
お客様の声 (2)
クレイグはトレーニングに非常に積極的に関わり、常に私たちが注意を払っているか確認し、例を日常の活動に合わせて調整しました。また、プレゼンテーションに含まれていない情報であっても、質問された際には常に回答を提供してくれました。
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
コース - DevOps Foundation®
機械翻訳
講師の高いコミットメントと知識
Jacek - Softsystem
コース - DevOps Engineering Foundation (DOEF)®
機械翻訳