お問い合わせ

コース概要

EXOとローカルAIクラスターリングの概要

  • EXOフレームワークおよびexo-exploreエコシステムの概要
  • 集中型クラウド推論 vs 分散型ローカル推論の比較
  • アーキテクチャ:libp2pデバイス発見、MLXバックエンド、ダッシュボード、APIレイヤー
  • ハードウェア要件:Apple Silicon(M3 Ultra、M4 Pro/Max)、Thunderbolt 5、共有ストレージ

macOSへのEXOインストール

  • Xcode、Metalツールチェーン、macOSの前提条件の設定
  • uv、Node.js、Rust nightlyツールチェーンのインストール
  • Apple Siliconモニタリング用の固定版macmonフォークのインストール
  • リポジトリのクローンとnpmによるダッシュボードのビルド
  • ソースからEXOを実行し、localhost:52415のダッシュボードを確認

LinuxへのEXOインストール

  • aptまたはHomebrewを使用してLinux上の依存関係をインストール
  • uv、Node.js 18+、およびRust nightlyの構成
  • ダッシュボードのビルドとCPU専用モードでのEXO実行
  • ディレクトリレイアウト:構成、データ、キャッシュ、ログ用のXDGベースディレクトリパス

自動デバイス発見とクラスター形成

\r
  • ローカルネットワーク全体でのlibp2pベースの自動発見の理解
  • EXO_LIBP2P_NAMESPACEを使用したカスタムネームスペースでのクラスター分離の構成
  • ダッシュボードのクラスタービューでノードメンバーシップを確認
  • 発見失敗とネットワーク分割の問題への対応

RDMA over Thunderbolt 5の有効化

  • RDMAアーキテクチャおよび99パーセントの遅延削減主張の概要
  • rdma_ctlを使用したmacOS復元モードでのRDMA有効化
  • Mac Studioにおけるケーブル要件とポートトポロジ制約
  • すべてのクラスターノードでのmacOSバージョンの一致
  • RDMA発見とDHCP構成のトラブルシューティング

最先端モデルのデプロイメント

  • ダッシュボードを使用してDeepSeek v3.1、Qwen3-235B、Llamaシリーズモデルを読み込み、シャーディングする
  • /instance/previews APIエンドポイントでインスタンス配置をプレビュー
  • パイプラインまたはテンソル並列シャーディングを使用したモデルインスタンスの作成
  • HuggingFaceハブからカスタムモデルカードを構成

モニタリングとトラブルシューティング

  • EXOログの読取りと分散トレースの理解
  • ダッシュボードのクラスタービューでクラスターの健全性を解釈
  • ワーカーノードの障害再接続動作の診断
  • EX_TRACING_ENABLEDを使用したパフォーマンスボトルネック分析

クラスの維持管理と更新

  • EXOバイナリおよびダッシュボード再ビルド手順の更新
  • モデルキャッシュの移行とNFSを介して事前にダウンロードされたモデルの管理
  • ノードのグラセウスな除去とワークロードのバランス調整

要求

  • ネットワークの基本(IP、サブネット分け、ファイアウォール)の理解
  • macOSまたはLinuxのコマンドライン管理经验
  • Pythonパッケージ管理(pip/uv)およびNode.jsツールに関する知識

対象者

  • システム管理者
  • DevOpsエンジニア
  • オンプレミスLLMデプロイメントを担当するAIインフラストラクチャアーキテクト
 21 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー