Deep Learning用のDeepSpeedのトレーニングコース
DeepSpeedは、分散ハードウェア上で深層学習モデルをスケーリングするための最適化ライブラリです。Microsoftが開発したDeepSpeedは、PyTorchと統合してより良いスケーラビリティ、高速な訓練、および資源利用効率の向上を提供します。
このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、深層学習モデルのパフォーマンス改善を目指す初級から中級レベルのデータサイエンティストや機械学習エンジニアを対象としています。
このトレーニングの終了時には、参加者は以下のことが可能になります:
- 分散深層学習の原理を理解する
- DeepSpeedをインストールおよび設定する
- DeepSpeedを使用して分散ハードウェア上で深層学習モデルをスケーリングする
- 最適化とメモリ効率向上のためにDeepSpeedの機能を実装し、実験を行う
コース形式
- 対話型の講義とディスカッション
- 多くの演習と実践
- ライブラボ環境での手動実装
コースカスタマイゼーションオプション
- このコースのカスタマイズされたトレーニングをご希望の場合、お問い合わせください。
コース概要
導入
- 深層学習スケーリングの課題概要
- DeepSpeedとその特徴の概要
- 他の分散深層学習ライブラリとの比較
始めに
- 開発環境の設定
- PyTorchとDeepSpeedのインストール
- 分散訓練用のDeepSpeedの設定
DeepSpeedの最適化機能
- DeepSpeedの訓練パイプライン
- ZeRO(メモリ最適化)
- アクティベーションチェックポイント
- 勾配チェックポイント
- パイプライン並列性
DeepSpeedを使用したモデルスケーリング
- DeepSpeedを使用した基本的なスケーリング
- 高度なスケーリング技術
- パフォーマンスの考慮事項とベストプラクティス
- デバッグおよびトラブルシューティング技術
高度なDeepSpeedトピック
- 高度な最適化技術
- 混合精度訓練でのDeepSpeedの使用
- 異なるハードウェア(例:GPU、TPU)でのDeepSpeedの使用
- 複数の訓練ノードでのDeepSpeedの使用
PyTorchとのDeepSpeedの統合
- PyTorchワークフローにDeepSpeedを統合する
- PyTorch LightningとDeepSpeedを使用する
トラブルシューティング
- 一般的なDeepSpeedの問題のデバッグ
- 監視とログ記録
まとめと次に進むステップ
- 主要な概念と機能の再確認
- 製品環境でのDeepSpeed使用のベストプラクティス
- DeepSpeedについてさらに学ぶためのリソース
要求
- 深層学習の原理の中級レベルの知識
- PyTorchまたは同様の深層学習フレームワークの経験
- Pythonプログラミングの知識
対象者
- データサイエンティスト
- 機械学習エンジニア
- 開発者
オープントレーニングコースには5人以上が必要です。
Deep Learning用のDeepSpeedのトレーニングコース - 予約
Deep Learning用のDeepSpeedのトレーニングコース - お問い合わせ
Deep Learning用のDeepSpeed - コンサルティングお問い合わせ
今後のコース
関連コース
高度な安定拡散:テキストから画像生成のための深層学習
21 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)では、中級から上級レベルのデータサイエンティスト、機械学習エンジニア、深層学習研究者、およびコンピュータビジョン専門家を対象としています。これらの専門家は、テキストから画像生成のための深層学習に関する知識とスキルを拡張したいと考えています。
このトレーニングが終了すると、参加者は以下のことができます:
- テキストから画像生成の高度な深層学習アーキテクチャと技術を理解します。
- 高品質な画像合成のための複雑なモデルと最適化を実装します。
- 大規模データセットと複雑なモデルのパフォーマンスとスケーラビリティを最適化します。
- ハイパーパラメータを調整して、より良いモデル性能と汎化能力を達成します。
- 安定拡散を他の深層学習フレームワークやツールと統合します。
AlphaFold
7 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、AlphaFoldの仕組みを理解し、実験研究でのガイドとしてAlphaFoldモデルを使用することを目指す生物学者向けです。
このトレーニング終了時には、参加者は以下のことをできるようになります:
- AlphaFoldの基本的な原理を理解する。
- AlphaFoldがどのように動作するかを学ぶ。
- AlphaFoldの予測と結果を解釈する方法を学ぶ。
Chainerを使用した深層学習ニューラルネットワーク
14 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、研究者や開発者がChainerを使用してPythonでニューラルネットワークを構築し、コードのデバッグを容易にする方法を学ぶことを目的としています。
このトレーニング終了後、参加者は以下のことができます:
- 必要な開発環境を設定し、ニューラルネットワークモデルの開発を開始します。
- 理解しやすいソースコードを使用して、ニューラルネットワークモデルを定義および実装します。
- 例を実行し、既存のアルゴリズムを変更して、GPUを活用しながら深層学習トレーニングモデルを最適化します。
Google ColabとTensorFlowを使用したコンピュータビジョン
21 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、コンピュータビジョンへの理解を深め、Google Colabを使用してTensorFlowで高度なビジョンモデルを開発する能力を探求したい上級レベルの専門家向けです。
このトレーニング終了時には、参加者は以下のことが Able to:
- TensorFlowを使用して畳み込みニューラルネットワーク(CNN)を構築し、訓練します。
- Google Colabを利用してスケーラブルで効率的なクラウドベースのモデル開発を行います。
- コンピュータビジョンタスク向けの画像前処理技術を実装します。
- 実世界アプリケーションにコンピュータビジョンモデルを展開します。
- 転移学習を使用してCNNモデルの性能を向上させます。
- 画像分類モデルの結果を可視化し、解釈します。
Google Colab での TensorFlow を使用した深層学習
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、中級レベルのデータサイエンティストと開発者が Google Colab 環境を使用して深層学習技術を理解し、適用することを目指しています。
このトレーニングの終了時には、参加者は以下のことができるようになります:
- 深層学習プロジェクトのために Google Colab をセットアップし、操作する。
- ニューラルネットワークの基本を理解する。
- TensorFlow を使用して深層学習モデルを実装する。
- 深層学習モデルを訓練し、評価する。
- 深層学習のために TensorFlow の高度な機能を利用する。
NLP(自然言語処理)のためのディープラーニング
28 時間このインストラクター主導のライブトレーニングでは、参加者はPythonライブラリを使用して、一連の画像を処理し、キャプションを生成するアプリケーションを作成します。
このトレーニングの終了時には、参加者は以下のことができるようになります:
- Pythonライブラリを使用してNLPのためのディープラーニングを設計およびコーディングできます。
- 大量の画像コレクションを読み込み、キーワードを生成するPythonコードを作成できます。
- 検出されたキーワードからキャプションを生成するPythonコードを作成できます。
ビジョンのためのディープラーニング
21 時間対象者
このコースは、利用可能なツール(主にオープンソース)を使用してコンピュータ画像を分析することに関心のあるディープラーニングの研究者やエンジニア向けです。
本コースでは実践的な例を提供します。
Edge AI with TensorFlow Lite
14 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、中級レベルの開発者、データサイエンティスト、およびAI実務家向けに設計されています。TensorFlow Liteを使用してエッジAIアプリケーションを開発したい方におすすめです。
本トレーニングを修了した参加者は、以下のことができるようになります:
- TensorFlow Liteの基礎とそのエッジAIにおける役割を理解する。
- TensorFlow Liteを使用してAIモデルを開発し、最適化する。
- 各種エッジデバイスにTensorFlow Liteモデルを展開する。
- モデルの変換と最適化に使用されるツールや技術を利用する。
- TensorFlow Liteを使用して実践的なエッジAIアプリケーションを実装する。
FPGAとOpenVINOを使用したディープラーニングの高速化
35 時間この講師主導の実践的なトレーニング(オンラインまたはオンサイト)では、データサイエンティスト向けにリアルタイムの機械学習アプリケーションを高速化し、大規模に展開する方法を学びます。
このトレーニング終了時には、参加者は以下のことが Able to できます:
- OpenVINOツールキットをインストールする。
- FPGAを使用してコンピュータビジョンアプリケーションを加速する。
- FPGA上で異なるCNN層を実行する。
- Kubernetesクラスタ内の複数のノードにアプリケーションをスケーリングする。
PythonとTensorFlowを用いた不正検知
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)では、データサイエンティストがTensorFlowを用いて潜在的な不正データを分析することを目指しています。
本トレーニング終了時には、参加者は以下のことが可能です:
- PythonとTensorFlowを使用して不正検知モデルを作成します。
- 線形回帰および線形回帰モデルを構築し、不正を予測します。
- 不正データの分析に向けたエンドツーエンドのAIアプリケーションを開発します。
Horovod を使用した分散ディープラーニング
7 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、開発者やデータサイエンティストが Horovod を使用して分散ディープラーニング訓練を実行し、それを複数の GPU に並列にスケールアップすることを目指しています。
このトレーニング終了時には、参加者は以下のことができます:
- ディープラーニング訓練を開始するための開発環境をセットアップします。
- TensorFlow、Keras、PyTorch、および Apache MXNet を使用してモデルを学習するために Horovod をインストールし、設定します。
- Horovod を使用してディープラーニング訓練を複数の GPU にスケールアップします。
Kerasを用いた深層学習
21 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、画像認識アプリケーションに深層学習モデルを適用したい技術者向けです。
このトレーニング終了時には、参加者は以下のことができます:
- Kerasのインストールと設定
- 深層学習モデルの迅速なプロトタイピング
- 畳み込みネットワークの実装
- 再帰的ネットワークの実装
- CPUおよびGPU上で深層学習モデルを実行
テキストから画像生成のためのStable Diffusion入門
21 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)では、データサイエンティスト、機械学習エンジニア、およびコンピュータビジョン研究者が、Stable Diffusionを利用して多様な用途向けに高品質な画像を生成する方法を学びます。
このトレーニングの終了時には、参加者は以下が able to:
- Stable Diffusionの原理と画像生成における役割を理解します。
- 画像生成タスク向けのStable Diffusionモデルを構築し、訓練します。
- インペイント、アウトペイント、画像間翻訳など、さまざまな画像生成シナリオにStable Diffusionを適用します。
- Stable Diffusionモデルの性能と安定性を最適化します。
Tensorflow Lite for Microcontrollers
21 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)では、非常に小さな組み込みデバイスに機械学習モデルを書き込み、ロードし、実行する方法を学びます。
このトレーニング終了時には、参加者は以下のことができるようになります:
- TensorFlow Liteをインストールします。
- 組み込みデバイスに機械学習モデルをロードし、音声認識や画像分類などの機能を実現します。
- ネットワーク接続に依存せずにハードウェアデバイスにAIを追加します。