コース概要

オープンソース LLM の概要

  • オープンウェイトモデルとは何か、なぜ重要なのか
  • LLaMA, Mistral, Qwen などコミュニティモデルの概要
  • プライベート、オンプレミス、またはセキュアな展開のユースケース

環境設定とツール

  • Transformers, Datasets, PEFT ライブラリのインストールと設定
  • 微調整に適したハードウェアの選択
  • Hugging Face または他のレポジトリから事前学習済みモデルを読み込む

データ準備と前処理

  • データセット形式(指示調教、チャットデータ、テキストのみ)
  • トークナイゼーションとシーケンス管理
  • カスタムデータセットとデータローダーの作成

微調整手法

  • 標準的なフル微調整とパラメータ効率的な方法の比較
  • LoRA と QLoRA を使用した効率的な微調整
  • Trainer API を使用して迅速な実験を行う

モデル評価と最適化

  • 生成と精度指標を使用した微調整モデルの評価
  • 過学習、汎化、検証セットの管理
  • パフォーマンスチューニングのヒントとログ記録

展開とプライベート利用

  • 推論用にモデルを保存して読み込む
  • セキュアなエンタープライズ環境での微調整済みモデルの展開
  • オンプレミスとクラウド展開戦略の比較

事例とユースケース

  • 企業における LLaMA, Mistral, Qwen の使用例
  • 多言語対応と特定ドメインの微調整の取り扱い
  • オープンモデルとクローズドモデルのトレードオフに関するディスカッション

まとめと次のステップ

要求

  • 大規模言語モデル (LLM) とそのアーキテクチャについての理解
  • Python と PyTorch の使用経験
  • Hugging Face エコシステムに関する基本的な知識

対象者

  • ML プラクティショナー
  • AI 開発者
 14 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー