お問い合わせを送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
コース概要
大規模言語モデル（LLM）入門
- LLMの概要説明
- 定義とその意義
- 現在のAI分野における応用事例
トランスフォーマーアーキテクチャ
- トランスフォーマーとは何か、どのように機能するか
- 主要な構成要素と特徴
- エンベディングおよび位置情報符号化処理
- マルチヘッドアテンション機能
- フィードフォワードニューラルネットワークの仕組み
- 正規化処理と残差接続方式
トランスフォーマーモデルの種類
- 自己注意機構の働き
- エンコーダー・デコーダーの構造原理
- 位置情報エンベディング処理方法
- BERT（双方向型トランスフォーマーによる表現学習モデル）
- GPT（生成型事前学習トランスフォーマーモデル）
性能最適化と留意すべき課題
- 文脈長の調整
- Mambaや状態空間モデルの特徴
- フラッシュアテンション処理技術
- スパーストランスフォーマー設計の効果と課題
- ビジョントランスフォーマーの活用方法
- 量子化手法が及ぼす影響について
トランスフォーマーモデルの改善策
- 検索情報を活用したテキスト生成技術
- 複数モデルを組み合わせる方法
- 思考過程をツリー構造で表現する手法
微調整処理
- 低ランク適応法の理論的背景
- QLoraを用いた微調整手順
LLMにおける拡張性と最適化理論
- スケーリング則がLLMに与える影響
- データ量・モデル規模の増大方法
- 計算リソース配分に関する考察
- パラメータ効率性を高める手法
最適化処理全般
- モデルの規模・データ量・計算資源・推論要件の相互関係
- LLMの性能向上および省エネルギー処理の実現策
- LLMの訓練および微調整におけるベストプラクティスとツール活用法
LLMの訓練・微調整手順
- ゼロからLLMを構築する際の流れと問題点
- 大量データ収集および維持管理方法
- 大規模な処理に求められるCPUおよびメモリ要件
- 最適化に伴う技術的課題
- オープンソースLLMの現状と展望
強化学習（RL）の基礎知識
- 強化学習入門情報
- 正の報酬によって学習が促進される仕組み
- 定義内容および核心的な概念説明
- マルコフ決定過程（MDP）とは？
- 動的計画法の概要
- モンテカルロ法によるアプローチ方法
- 時間差学習処理手順
ディープ強化学習
- ディープQネットワーク（DQN）の特徴と利用法
- 近傍方策最適化手法（PPO）について
- 強化学習を構成する各要素
LLMと強化学習の統合活用術
- 大規模言語モデルに強化学習技術を組み込む方法
- 実務において強化学習がどのように応用されるか
- 人間からのフィードバックを用いた強化学習法（RLHF）
- RLHF以外の代替学習手法について
ケーススタディおよび実用例紹介
- 現実世界における活用事例
- 成功例と解決すべき課題点
高度なトピック紹介
- 最先端の学習技術とその応用
- 複雑な最適化手法の実践例
- 今後の研究動向や新規開発情報の概要
まとめおよび今後の展望について
要求
- 機械学習に関する基礎知識があること
対象者
- データサイエンティスト
- ソフトウェアエンジニア
21 時間
