Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
コース概要
導入
- ディープラーニングのスケーリング課題の概要
- DeepSpeed の概要とその機能
- DeepSpeed と他の分散深層学習ライブラリの比較
はじめる
- 開発環境のセットアップ
- PyTorch と DeepSpeed のインストール
- 分散トレーニング用に DeepSpeed を構成する
DeepSpeed 最適化機能
- DeepSpeed トレーニング パイプライン
- ZeRO (メモリ最適化)
- アクティベーションのチェックポイント設定
- 勾配チェックポイント設定
- パイプラインの並列処理
DeepSpeed によるモデルのスケーリング
- DeepSpeed を使用した基本的なスケーリング
- 高度なスケーリング技術
- パフォーマンスに関する考慮事項とベスト プラクティス
- デバッグとトラブルシューティングのテクニック
高度な DeepSpeed トピック
- 高度な最適化手法
- 混合精度トレーニングでの DeepSpeed の使用
- さまざまなハードウェア (GPU、TPU など) での DeepSpeed
- 複数のトレーニング ノードを備えた DeepSpeed
DeepSpeed と Py の統合Torch
- DeepSpeed と PyTorch ワークフローの統合
- PyTorch Lightning で DeepSpeed を使用する
トラブルシューティング
- DeepSpeed の一般的な問題のデバッグ
- 監視とロギング
概要と次のステップ
- 主要な概念と機能の要約
- 本番環境で DeepSpeed を使用するためのベスト プラクティス
- DeepSpeed について詳しく知るためのその他のリソース
要求
- ディープラーニングの原理に関する中級程度の知識 。
- PyTorchまたは類似のディープラーニングフレームワークの経験
- Pythonプログラミングに精通していること 。
観客
- データサイエンティスト 機械学習エンジニア開発者
21 時間