コース概要

Vertex AI におけるマルチモーダル LLM の紹介

  • Vertex AI のマルチモーダル機能の概要
  • ジェミナイモデルとサポートされるモダリティ
  • 企業や研究でのユースケース

開発環境の設定

  • マルチモーダルワークフロー用に Vertex AI を構成する
  • モダリティ間でのデータセットの扱い方
  • ハンズオン実習:環境設定とデータセット準備

長文ウィンドウと高度な推論

  • 長文ワークフローの理解
  • 計画や意思決定におけるユースケース
  • ハンズオン実習:長文分析の実装

クロスモーダルワークフローデザイン

  • テキスト、音声、画像分析の組み合わせ
  • パイプライン内のマルチモーダルステップの連鎖
  • ハンズオン実習:マルチモーダルパイプラインの設計

ジェミナイ API パラメータの活用

  • マルチモーダル入力と出力の設定
  • 推論と効率の最適化
  • ハンズオン実習:ジェミナイ API パラメータの調整

高度なアプリケーションと統合

  • インタラクティブなマルチモーダルエージェントとアシスタント
  • 外部 API とツールの統合
  • ハンズオン実習:マルチモーダルアプリケーションの構築

評価と反復

  • マルチモーダル性能のテスト
  • 正確性、整合性、ドリフトのメトリクス
  • ハンズオン実習:マルチモーダルワークフローの評価

まとめと次なるステップ

要求

  • Python プログラミングの習熟度
  • 機械学習モデル開発の経験
  • マルチモーダルデータ(テキスト、音声、画像)への熟悉度

対象者

  • AI 研究者
  • 上級開発者
  • ML 科学者
 14 時間

参加者の人数


参加者1人当たりの料金

今後のコース

関連カテゴリー