お問い合わせ

コース概要

オープンソースLLMの紹介

  • オープンウェイトモデルとは何か、そしてなぜそれが重要なのか
  • LLaMA、Mistral、Qwen、その他のコミュニティモデルの概要
  • プライベート、オンプレミス、または安全なデプロイメントのユースケース

環境セットアップとツール

  • Transformers、Datasets、PEFTライブラリのインストールと構成
  • ファインチューニングに適したハードウェアの選択
  • Hugging Faceや他のリポジトリから事前学習済みモデルの読み込み

データの準備と前処理

  • データセットの形式(インストラクションチューニング、チャットデータ、テキストのみのデータ)
  • トークン化とシーケンス管理
  • カスタムデータセットとデータローダーの作成

ファインチューニングの手法

  • 標準的なフルファインチューニング vs 軽量パラメータ手法
  • 効率的なファインチューニングのためのLoRAおよびQLoRAの適用
  • 素早い実験のためのTrainer APIの使用

モデルの評価と最適化

  • 生成性能と精度の指標を用いたファインチューニングモデルの評価
  • 過学習、汎化能力、検証セットの管理
  • パフォーマンスチューニングのヒントとログ記録

デプロイメントとプライベート利用

  • 推論用のモデルの保存と読み込み
  • 安全なエンタープライズ環境へのファインチューニング済みモデルのデプロイ
  • オンプレミス vs クラウドのデプロイメント戦略

ケーススタディとユースケース

  • LLaMA、Mistral、Qwenのエンタープライズ利用の例
  • 多言語およびドメイン固有のファインチューニングの取り扱い
  • 議論:オープンモデルとクローズドモデルのトレードオフ

まとめと次のステップ

要求

  • 大規模言語モデル(LLM)とそのアーキテクチャに関する理解
  • PythonとPyTorchの使用経験
  • Hugging Faceエコシステムへの基本的な親しみ

対象者

  • ML practitioner
  • AI開発者
 14 時間

参加者の人数


参加者1人あたりの価格

今後のコース

関連カテゴリー