お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
EXOにおけるInfrastructure as Code
- 単一ノード、複数ノード、RDMA対応クラスターといったEXO導入パターンの概要。
- 設定管理ツールを用いてXcodeやuv、Node.js、Rustなどの依存コンポーネントを自動インストールする方法。
- Nix flakesを活用した再現性の高いEXOビルドおよび開発環境の構築法。
- 無人でのクラスタープロビジョニング用Ansibleプレイブックやシェルスクリプトの記述法。
再現性のあるビルドおよびCIとの連携
- 依存コンポーネントを固定化し、CIパイプライン内でダッシュボードを構築する手法。
- GitHub ActionsやGitLab CIランナー上でのEXOスモークテストの実行方法。
- macOSおよびLinux仮想マシン用にゴールデンイメージおよびスナップショットベースのロールバックワークフローの構築法。
- アプリケーションコードとともにカスタムモデル情報をバージョン管理する手法。
クラスター検出およびネットワーク自動化
- 信頼性の高いlibp2pノード検出のためにmDNSおよび静的DNSを設定する方法。
- macOS上でネットワークプロファイル作成やThunderboltブリッジ管理を自動化する手法。
- 開発・テスト・本番環境用にEXO_LIBP2P_NAMESPACEによるクラスターの分離方法。
- マルチテナント環境向けのファイアウォール規則およびネットワークセグメンテーション設定法。
ストレージおよびモデルのライフサイクル管理
- EXO_MODELS_DIRSやEXO_MODELS_READ_ONLY_DIRSを用いた最適なストレージ設計法。
- NFSやSAN共有を読み取り専用のモデルリポジトリとして活用し、迅速なプロビジョニングを実現する手法。
- 古いキャッシュの削除やバージョン管理された重み情報の保持ポリシーの策定法。
- 更新前にモデルを事前ダウンロードし、健全性チェックを行う自動化手法。
監視およびアラート管理
- EXOログ情報をELKやLoki、Splunkといった集中型ログシステムへ送信する方法。
- EXO_TRACING_ENABLED出力データを用いてGrafanaダッシュボードを作成する手法。
- クラスターメンバー変更やOOMイベント、推論処理時間の急激な増加に対するアラート設定法。
- macmonハードウェアのテレメトリ情報とモデル性能の推移との相関関係の分析手法。
更新・ロールバックおよび災害復旧対策
- 全クラスターへの配布前にキャニオードノードでEXOバイナリ更新を試行する手法。
- 再ダウンロードなしに量子化された異なるバージョンのモデルへ切り替える方法。
- クラスター状態、カスタムネームスペース情報およびキャッシュ重み情報のバックアップ・復元法。
- 完全なクラスター再構築を前提としたリカバリ手順書作成法。
セキュリティ強化およびコンプライアンス対応
- ダッシュボードやAPI向けにnginxやTraefikといったリバースプロキシ層でTLSを適用する方法。
- EXOエンドポイントに対しAPIレート制限およびIPホワイトリスト設定を行う手法。
- VLAN技術やゼロトラストネットワークポリシーを用いてクラスターを分離する方法。
- 導入されたモデル情報とそのバージョン履歴の記録および監査方法。
要求
- DevOps実務経験(CI/CD、Infrastructure as Code、コンテナオーケストレーション)。
- macOSまたはLinuxにおけるシステム管理およびパッケージ管理の知識。
- ネットワーク、DNS、ストレージに関する基礎理解。
対象者
- DevOpsエンジニア
- インフラ設計者
- オンプレミス環境でAIワークロードを管理するSRE担当者
21 時間
お客様の声 (2)
クレイグはトレーニングに非常に積極的に関わり、常に私たちが注意を払っているか確認し、例を日常の活動に合わせて調整しました。また、プレゼンテーションに含まれていない情報であっても、質問された際には常に回答を提供してくれました。
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
コース - DevOps Foundation®
機械翻訳
講師の高いコミットメントと知識
Jacek - Softsystem
コース - DevOps Engineering Foundation (DOEF)®
機械翻訳