お問い合わせ

コース概要

パラメータ効率型ファインチューニング(PEFT)の紹介

  • フルファインチューニングの動機と限界
  • PEFTの概要:目標と利点
  • 業界における応用とユースケース

LoRA(Low-Rank Adaptation)

  • LoRAの概念と直感的な理解
  • Hugging FaceとPyTorchを用いたLoRAの実装
  • ハンズオン:LoRAによるモデルのファインチューニング

Adapter Tuning

  • アダプタモジュールの動作原理
  • トランスフォーマーベースのモデルとの統合
  • ハンズオン:トランスフォーマーモデルへのAdapter Tuningの適用

Prefix Tuning

  • ソフトプロンプトを用いたファインチューニング
  • LoRAやアダプタと比較した場合の強みと限界
  • ハンズオン:LLMタスクへのPrefix Tuning

PEFT手法の評価と比較

  • パフォーマンスと効率性を評価するための指標
  • トレーニング速度、メモリ使用量、精度におけるトレードオフ
  • ベンチマーク実験と結果の解釈

ファインチューニング済みモデルのデプロイ

  • ファインチューニング済みモデルの保存と読み込み
  • PEFTベースモデルのデプロイ時の考慮事項
  • アプリケーションおよびパイプラインへの統合

ベストプラクティスと拡張

  • PEFTの量子化や蒸留との組み合わせ
  • 低リソース環境や多言語設定における活用
  • 今後の方向性とアクティブな研究分野

要求

  • 機械学習の基礎知識の理解
  • 大規模言語モデル(LLM)の取り扱い経験
  • PythonとPyTorchの習熟

対象者

  • データサイエンティスト
  • AIエンジニア
 14 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー