お問い合わせ

コース概要

EXOIaC

  • EXOデプロイメントパターンの概要:シングルノード、マルチノード、およびRDMAクラスター
  • 構成管理による依存関係インストールの自動化(Xcode、uv、Node.js、Rust)
  • Nix flakesを用いた再現性のあるEXOビルドと開発環境の作成
  • Ansibleプレイブックまたはシェルスクリプトを使用した無人クラスタープロビジョニングの記述

再現性のあるビルドとCI連携

  • 依存関係のピン留めとCIパイプラインでのダッシュボードビルド
  • GitHub ActionsやGitLab CIランナーでのEXOスモークテストの実行
  • macOSおよびLinux VMのためのゴールデンイメージとスナップショットベースのロールバックワークフローの作成
  • アプリケーションコードとともにカスタムモデルカードのバージョン管理

クラスター発見とネットワーキング自動化

  • 信頼性の高いlibp2pノード発見のためのmDNSおよび静的DNSの設定
  • macOS上でのネットワークプロファイル作成とThunderboltブリッジ管理の自動化
  • カスタム名前空間(EXO_LIBP2P_NAMESPACE)を使用したデブ、ステージング、プロダクションクラスターの分離
  • マルチテナント環境のためのファイアウォールルールおよびネットワークセグメンテーション

ストレージとモデルライフサイクル管理

  • EXO_MODELS_DIRS および EXO_MODELS_READ_ONLY_DIRS の戦略策定
  • NFSまたはSAN共有をオンデマンドなモデルリポジトリとして読み取り専用でマウントし、迅速なプロビジョニングを実現
  • 古いキャッシュのガーベジコレクションおよびバージョン管理されたウェイト保持ポリシー
  • ロールバックアップグレード前にモデルの前ダウンロードとヘルスチェックを自動化

監視とアラート

  • 集中型ロギング(ELK、Loki、またはSplunk)へのEXOログのエクスポート
  • EXO_TRACING_ENABLED の出力からGrafanaダッシュボードの構築
  • クラスターメンバーシップの変更、OOMイベント、推論レイテンシの急増に対するアラート設定
  • macmonハードウェアテレメトリとモデルパフォーマンスの劣化を相関させる

アップデート、ロールバック、および災害復旧

  • カナリアノードでEXOバイナリアップデートをステージングし、フリート全体のロールアウト前に検証
  • モデルレベルのロールバック:再ダウンロードせずに量子化バージョン間を切り替え
  • クラスター状態、カスタム名前空間、キャッシュされたウェイトのバックアップおよび復元
  • 完全なクラスターの再構築シナリオに対する復旧手順書の文書化

セキュリティ強化とコンプライアンス

  • ダッシュボードおよびAPI用にリバースプロキシ層(nginx、traefik)でTLSを適用
  • EXOエンドポイントへのAPIレート制限およびIPホワイトリストの実装
  • VLANおよびゼロトラストネットワークポリシーによるクラスの分離
  • アクセス監査およびデプロイされたモデルとバージョンのインベントリの維持

要求

  • DevOpsのプラクティス(CI/CD、IaC、コンテナオーケストレーション)の実践経験。
  • macOSまたはLinuxのシステム管理およびパッケージ管理への親しみ。
  • ネットワーキング、DNS、ストレージの概念の理解。

対象者

  • DevOpsエンジニア
  • インフラアーキテクト
  • オンプレミスAIワークロードを担当するSRE
 21 時間

参加者の人数


参加者1人あたりの価格

お客様の声 (2)

今後のコース

関連カテゴリー