コース概要

パラメータ効率的なファインチューニング(PEFT)の紹介

  • フルファインチューニングの動機と制限点
  • PEFTの概要:目標と利点
  • 産業におけるアプリケーションとユースケース

LoRA(低階数適応)

  • LoRAの概念と直感的な理解
  • Hugging FaceとPyTorchを使用したLoRAの実装
  • ハンズオン:LoRAでのモデルのファインチューニング

アダプターチューニング

  • アダプター・モジュールの動作原理
  • トランスフォーマーベースモデルとの統合
  • ハンズオン:トランスフォーマーモデルへのアダプターチューニングの適用

プレフィックスチューニング

  • ファインチューニングにソフトプロンプトを使用する。
  • LoRAとアダプターとの比較における強みと制限点
  • ハンズオン:LLMタスクでのプレフィックスチューニング

PEFT方法の評価と比較

  • パフォーマンスと効率を評価するための指標
  • トレーニング速度、メモリ使用量、精度のトレードオフ
  • ベンチマーク実験と結果解釈

ファインチューニング済みモデルのデプロイ

  • ファインチューニング済みモデルの保存と読み込み
  • PEFTベースモデルのデプロイに関する考慮事項
  • アプリケーションやパイプラインへの統合

ベストプラクティスと拡張機能

  • 量子化とディスティレーションとの組み合わせ
  • 低リソース設定と多言語設定での使用
  • 将来の方向性と活発な研究領域

まとめと次のステップ

要求

  • 機械学習の基礎的理解。
  • 大規模言語モデル(LLMs)を使用した経験。
  • PythonとPyTorchに精通していること。

対象者

  • データサイエンティスト
  • AIエンジニア
 14 時間

参加者の人数


参加者1人当たりの料金

今後のコース

関連カテゴリー