お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
導入
- 深層学習スケーリングの課題概要
- DeepSpeedとその特徴の概要
- 他の分散深層学習ライブラリとの比較
始めに
- 開発環境の設定
- PyTorchとDeepSpeedのインストール
- 分散訓練用のDeepSpeedの設定
DeepSpeedの最適化機能
- DeepSpeedの訓練パイプライン
- ZeRO(メモリ最適化)
- アクティベーションチェックポイント
- 勾配チェックポイント
- パイプライン並列性
DeepSpeedを使用したモデルスケーリング
- DeepSpeedを使用した基本的なスケーリング
- 高度なスケーリング技術
- パフォーマンスの考慮事項とベストプラクティス
- デバッグおよびトラブルシューティング技術
高度なDeepSpeedトピック
- 高度な最適化技術
- 混合精度訓練でのDeepSpeedの使用
- 異なるハードウェア(例:GPU、TPU)でのDeepSpeedの使用
- 複数の訓練ノードでのDeepSpeedの使用
PyTorchとのDeepSpeedの統合
- PyTorchワークフローにDeepSpeedを統合する
- PyTorch LightningとDeepSpeedを使用する
トラブルシューティング
- 一般的なDeepSpeedの問題のデバッグ
- 監視とログ記録
まとめと次に進むステップ
- 主要な概念と機能の再確認
- 製品環境でのDeepSpeed使用のベストプラクティス
- DeepSpeedについてさらに学ぶためのリソース
要求
- 深層学習の原理の中級レベルの知識
- PyTorchまたは同様の深層学習フレームワークの経験
- Pythonプログラミングの知識
対象者
- データサイエンティスト
- 機械学習エンジニア
- 開発者
21 時間
お客様の声 (3)
CHAT GPTを使って遊ぶ時間を取り入れた終わりの部分がとても良かったです。ただし、部屋の設定は最適ではありませんでした。大きなテーブルではなく、小さなテーブルをいくつか用意して、小さなグループでブレインストーミングを行うことができるようにするとより良かったでしょう。
Nola - Laramie County Community College
コース - Artificial Intelligence (AI) Overview
機械翻訳
焦点を絞って基本原理から取り組み、同じ日に実例を適用する
Maggie Webb - Department of Jobs, Regions, and Precincts
コース - Artificial Neural Networks, Machine Learning, Deep Thinking
機械翻訳
直接に関連する情報を適切なペースで進めていたように感じました(つまり、不要な内容は含まれていませんでした)
Maggie Webb - Department of Jobs, Regions, and Precincts
コース - Introduction to the use of neural networks
機械翻訳