お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
導入
- 深層学習スケーリングの課題概要
- DeepSpeedとその特徴の概要
- 他の分散深層学習ライブラリとの比較
始めに
- 開発環境の設定
- PyTorchとDeepSpeedのインストール
- 分散訓練用のDeepSpeedの設定
DeepSpeedの最適化機能
- DeepSpeedの訓練パイプライン
- ZeRO(メモリ最適化)
- アクティベーションチェックポイント
- 勾配チェックポイント
- パイプライン並列性
DeepSpeedを使用したモデルスケーリング
- DeepSpeedを使用した基本的なスケーリング
- 高度なスケーリング技術
- パフォーマンスの考慮事項とベストプラクティス
- デバッグおよびトラブルシューティング技術
高度なDeepSpeedトピック
- 高度な最適化技術
- 混合精度訓練でのDeepSpeedの使用
- 異なるハードウェア(例:GPU、TPU)でのDeepSpeedの使用
- 複数の訓練ノードでのDeepSpeedの使用
PyTorchとのDeepSpeedの統合
- PyTorchワークフローにDeepSpeedを統合する
- PyTorch LightningとDeepSpeedを使用する
トラブルシューティング
- 一般的なDeepSpeedの問題のデバッグ
- 監視とログ記録
まとめと次に進むステップ
- 主要な概念と機能の再確認
- 製品環境でのDeepSpeed使用のベストプラクティス
- DeepSpeedについてさらに学ぶためのリソース
要求
- 深層学習の原理の中級レベルの知識
- PyTorchまたは同様の深層学習フレームワークの経験
- Pythonプログラミングの知識
対象者
- データサイエンティスト
- 機械学習エンジニア
- 開発者
21 時間
お客様の声 (2)
組織は、提案された議題に従い、トレーナーのこの分野における豊富な知識
Ali Kattan - TWPI
コース - Natural Language Processing with TensorFlow
機械翻訳
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
コース - TensorFlow for Image Recognition
機械翻訳