お問い合わせ

コース概要

LLMOps入門

  • LLMOpsとMLOpsの違い:大規模言語モデル運用における特有課題について
  • LLMアプリケーションのライフサイクル:プロンプト作成→評価→展開→監視の各段階
  • GenAIアプリケーションを本番環境で稼働させるためのチェックリスト

プロンプト管理およびバージョン制御

  • プロンプトテンプレート作成と変数挿入技術について
  • 自動回帰テスト機能付きの意味論的バージョニング手法
  • プロンプトレジストリおよびチーム間での共同作業フロー設計方法

大規模環境におけるLLM評価手法

  • 精度・適合性・安全性・事実整合性などの各種評価軸について
  • AIによる自動判定機能や人間専門家による検証プロセスに関する理解
  • RAGASやDeepEval、独自開発ツールを活用した自動化された評価フレームワーク構築法
  • LLM展開時の品質管理を目的としたCI/CD工程への導入ポイント

安全対策およびコンテンツガバナンス体制の整備

  • 入力・出力処理時におけるNeMo GuardrailsやGuardrails AIなどの安全ツール活用方法
  • 個人情報検知、不適切内容の排除、および話題制限に関する具体的実践手法
  • ハッキング攻撃回避を目的とした対策技術:不正入力阻止や外部侵入防護など
  • 安全性確保目的で実施されるレッドチームによる検証プロセス概要

LLM可観測性およびモニタリング機能の活用

  • トークン使用量・応答速度・コスト・品質指標などの測定方法と活用術
  • 出力内容やベクトル表現における変化傾向の特定手法について
  • 複数対話を伴うエージェント型システムにおけるログ追跡技術
  • LangSmith、Arize、OpenTelemetryといったダッシュボード・警告発信ツール活用例

AIゲートウェイおよびモデルオーケストレーション技術

  • LiteLLMやPortkeyを使用した複数プロバイダ間の切り替え・調整手法
  • フォールバック機能設定、再試行アルゴリズム設計および回路遮断機構導入法
  • コスト管理に基づいた最適モデル選定や負荷分散制御手法
  • 呼び出し頻度規制・利用上限設定およびAPIキー管理体系の確立方法

パフォーマンス向上に向けた最適化策

  • ベクターストアや完全一致チェック機能を活用したキャッシュ技術例
  • 出力内容の構造制約付きデコーディング技術の実施ポイント説明
  • バッチ処理・ストリーム配信および並列処理手法に関するガイドライン提示
  • 複数モデル間での速度最適化戦略検討方法

運用管理、コンプライアンス・監査体制構築法

  • プロンプト履歴記録、応答ログ追跡および意思決定根拠の確認フレームワーク作成
  • 個人情報保護方針適用時におけるデータ保存場所管理に関する留意点
  • 組織内で利用されるLLM資源を厳格に規制するポリシー記述言語技術説明
  • 社内でのLLMOps運営基準マニュアル作成の進め方解説

要求

  • LLM活用アプリケーションの構築または統合作業経験があること
  • PythonおよびREST APIに関する基礎知識が必要です
  • プロンプトエンジニアリングの基本概念について理解していること

対象者層

  • LLM運用分野へ参入しようとする機械学習エンジニアやMLOps担当者
  • LLM基盤の整備・維持を担うプラットフォームエンジニア
  • 本番環境でのGenAIシステム運用をリードする技術責任者
 14 時間

参加者の人数


参加者1人あたりの価格

お客様の声 (2)

今後のコース

関連カテゴリー