コース概要

導入

  • 深層学習スケーリングの課題概要
  • DeepSpeedとその特徴の概要
  • 他の分散深層学習ライブラリとの比較

始めに

  • 開発環境の設定
  • PyTorchとDeepSpeedのインストール
  • 分散訓練用のDeepSpeedの設定

DeepSpeedの最適化機能

  • DeepSpeedの訓練パイプライン
  • ZeRO(メモリ最適化)
  • アクティベーションチェックポイント
  • 勾配チェックポイント
  • パイプライン並列性

DeepSpeedを使用したモデルスケーリング

  • DeepSpeedを使用した基本的なスケーリング
  • 高度なスケーリング技術
  • パフォーマンスの考慮事項とベストプラクティス
  • デバッグおよびトラブルシューティング技術

高度なDeepSpeedトピック

  • 高度な最適化技術
  • 混合精度訓練でのDeepSpeedの使用
  • 異なるハードウェア(例:GPU、TPU)でのDeepSpeedの使用
  • 複数の訓練ノードでのDeepSpeedの使用

PyTorchとのDeepSpeedの統合

  • PyTorchワークフローにDeepSpeedを統合する
  • PyTorch LightningとDeepSpeedを使用する

トラブルシューティング

  • 一般的なDeepSpeedの問題のデバッグ
  • 監視とログ記録

まとめと次に進むステップ

  • 主要な概念と機能の再確認
  • 製品環境でのDeepSpeed使用のベストプラクティス
  • DeepSpeedについてさらに学ぶためのリソース

要求

  • 深層学習の原理の中級レベルの知識
  • PyTorchまたは同様の深層学習フレームワークの経験
  • Pythonプログラミングの知識

対象者

  • データサイエンティスト
  • 機械学習エンジニア
  • 開発者
 21 時間

参加者の人数


参加者1人当たりの料金

お客様の声 (2)

今後のコース

関連カテゴリー