お問い合わせ

コース概要

パラメータ効率的ファインチューニング(PEFT)の概要

  • フルファインチューニングの動機と限界
  • PEFTの概要:目標と利点
  • 業界における応用とユースケース

LoRA(Low-Rank Adaptation)

  • LoRAの概念と直感的な理解
  • Hugging FaceとPyTorchを用いたLoRAの実装
  • ハンズオン:LoRAを用いたモデルのファインチューニング

Adapter Tuning

  • アダプターモジュールの動作原理
  • Transformerベースモデルとの統合
  • ハンズオン:TransformerモデルへのAdapter Tuningの適用

Prefix Tuning

  • ファインチューニングにおけるソフトプロンプトの使用
  • LoRAやアダプターとの比較における強みと限界
  • ハンズオン:LLMタスクにおけるPrefix Tuning

PEFT手法の評価と比較

  • パフォーマンスと効率性を評価するための指標
  • 学習速度、メモリ使用量、精度におけるトレードオフ
  • ベンチマーク実験とその結果の解釈

ファインチューニング済みモデルの展開

  • ファインチューニング済みモデルの保存と読み込み
  • PEFTベースモデルの展開に関する考慮事項
  • アプリケーションやパイプラインへの統合

ベストプラクティスと拡張機能

  • PEFTを量子化およびディステイラティオンと組み合わせる
  • リソースが限られた環境や多言語設定での活用
  • 今後の方向性とアクティブな研究領域

まとめと次のステップ

要求

  • 機械学習の基礎知識
  • 大規模言語モデル(LLM)の取り扱い経験
  • PythonおよびPyTorchへの親しみ

対象者

  • データサイエンティスト
  • AIエンジニア
 14 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー