コース概要

カスタムオペレータ開発の概要

  • なぜカスタムオペレータを構築するのか?ユースケースと制約条件
  • CANN ランタイムの構造とオペレータ統合ポイント
  • Huawei AI エコシステムにおける TBE、TIK、TVM の概要

TIK を使用した低レベルオペレータプログラミング

  • TIK プログラミングモデルとサポートされる API の理解
  • TIK におけるメモリ管理とタイリング戦略
  • CANN でカスタムオプスを作成、コンパイル、登録する方法

カスタムオプスのテストと検証

  • グラフ内のオプスの単体テストと統合テスト
  • カーネルレベルのパフォーマンス問題のデバッグ
  • オプス実行とバッファ動作の可視化

TVM ベースのスケジューリングと最適化

  • Tensor オプス用コンパイラとしての TVM の概要
  • TVM でカスタムオプスのスケジュールを記述する方法
  • Ascend 向けの TVM 調整、ベンチマーク、コード生成

フレームワークとモデルとの統合

  • MindSpore および ONNX のカスタムオプス登録
  • モデルの整合性とフォールバック動作の確認
  • 混合精度を用いた多オペレータグラフのサポート

ケーススタディと専門的な最適化

  • ケーススタディ:小入力形状向け高効率畳み込み
  • ケーススタディ:メモリ意識型アテンションオペレータの最適化
  • デバイス間でのカスタムオプス展開のベストプラクティス

まとめと次ステップ

要求

  • AI モデル内部とオペレータレベルの計算に関する豊富な知識
  • Python および Linux 開発環境での経験
  • ニューラルネットワークコンパイラーやグラフレベルの最適化ツールに関する知識

対象者

  • AI ツールチェーンに取り組むコンパイラエンジニア
  • 低レベルの AI 最適化に焦点を当てたシステム開発者
  • カスタムオプスの構築や新規 AI ワークロードへの対応に取り組む開発者
 14 時間

参加者の人数


参加者1人当たりの料金

今後のコース

関連カテゴリー