コース概要

パフォーマンスの概念と指標

  • レイテンシー、スループット、消費電力、リソース利用率
  • システムレベル vs モデルレベルのボトルネック
  • 推論用プロファイリング vs 学習用プロファイリング

Huawei Ascend 上でのプロファイリング

  • CANN Profiler と MindInsight の使用
  • カーネルおよびオペレータ診断
  • オフロードパターンとメモリマッピング

Biren GPU 上でのプロファイリング

  • Biren SDK パフォーマンス監視機能
  • カーネル融合、メモリアライメント、実行キュー
  • 消費電力と温度に応じたプロファイリング

Cambricon MLU 上でのプロファイリング

  • BANGPy と Neuware パフォーマンスツール
  • カーネルレベルの可視化とログ解釈
  • MLU プロファイラとデプロイメントフレームワークとの統合

グラフおよびモデルレベルの最適化

  • グラフ剪定と量子化戦略
  • オペレータ融合と計算グラフの再構成
  • 入力サイズの標準化とバッチチューニング

メモリおよびカーネルの最適化

  • メモリレイアウトと再利用の最適化
  • チップセット間での効率的なバッファ管理
  • プラットフォームごとのカーネルレベルの調整技術

クロスプラットフォームのベストプラクティス

  • パフォーマンスポータビリティ: 抽象化戦略
  • 複数チップ環境向けに共有チューニングパイプラインを構築する
  • 例: Ascend、Biren、MLU 跨いで物体検出モデルの調整

まとめと次なるステップ

要求

  • AI モデル学習またはデプロイメントパイプラインでの実務経験
  • GPU/MLU 計算原理とモデル最適化の理解
  • パフォーマンスプロファイリングツールとメトリクスの基本的な知識

対象者

  • パフォーマンスエンジニア
  • マシンラーニングインフラストラクチャチーム
  • AI システムアーキテクト
 21 時間

参加者の人数


参加者1人当たりの料金

今後のコース

関連カテゴリー