コース概要

導入

  • ディープラーニングのスケーリング課題の概要
  • DeepSpeed の概要とその機能
  • DeepSpeed と他の分散深層学習ライブラリの比較

はじめる

  • 開発環境のセットアップ
  • PyTorch と DeepSpeed のインストール
  • 分散トレーニング用に DeepSpeed を構成する

DeepSpeed 最適化機能

  • DeepSpeed トレーニング パイプライン
  • ZeRO (メモリ最適化)
  • アクティベーションのチェックポイント設定
  • 勾配チェックポイント設定
  • パイプラインの並列処理

DeepSpeed によるモデルのスケーリング

  • DeepSpeed を使用した基本的なスケーリング
  • 高度なスケーリング技術
  • パフォーマンスに関する考慮事項とベスト プラクティス
  • デバッグとトラブルシューティングのテクニック

高度な DeepSpeed トピック

  • 高度な最適化手法
  • 混合精度トレーニングでの DeepSpeed の使用
  • さまざまなハードウェア (GPU、TPU など) での DeepSpeed
  • 複数のトレーニング ノードを備えた DeepSpeed

DeepSpeed と Py の統合Torch

  • DeepSpeed と PyTorch ワークフローの統合
  • PyTorch Lightning で DeepSpeed を使用する

トラブルシューティング

  • DeepSpeed の一般的な問題のデバッグ
  • 監視とロギング

概要と次のステップ

  • 主要な概念と機能の要約
  • 本番環境で DeepSpeed を使用するためのベスト プラクティス
  • DeepSpeed について詳しく知るためのその他のリソース

要求

  • ディープラーニングの原理に関する中級程度の知識
  • PyTorchまたは類似のディープラーニングフレームワークの経験
  • Pythonプログラミングに精通していること

観客

  • データサイエンティスト
  • 機械学習エンジニア開発者
 21 時間

参加者の人数



Price per participant

関連コース

関連カテゴリー