コース概要

Apache Airflow の基本概念の復習

  • 主要概念: DAGs, タスク, およびオペレータ
  • Airflow アーキテクチャとコンポーネント
  • 一般的なユースケースとワークフローの概要

ワークフローパフォーマンスの最適化

  • Airflow パイプラインでのボトルネックの特定
  • タスクレベルの最適化テクニック
  • タスクのリトライ、並列処理、および同時実行の活用

複雑な依存関係の管理

  • ワークフロー内の動的依存関係の定義
  • 条件付きと分岐ワークフローの取り扱い
  • タスクグループとサブ-DAG の効果的な利用

Apace Airflow の高度な機能

  • カスタムオペレータとフックの作成
  • 外部トリガー用のセンサーの実装
  • サードパーティサービスとプラグインの統合

Apace Airflow 展開のスケーリング

  • 水平スケーリングと垂直スケーリングアプローチ
  • Celery Executors を使用した分散実行
  • クラウド環境でのスケーリングに関するベストプラクティス

ワークフローの監視とデバッグ

  • ワークフローモニタリング用のログ記録とアラート設定
  • Airflow UI および CLI を使用したトラブルシューティング
  • Airflow 展開での一般的な問題の特定と解決

Apace Airflow のセキュリティ

  • Airflow 内の認証とアクセス制御
  • 機密データや環境構成の保護
  • ワークフローアイテム用の監査ログの実装

エンタープライズユースケースとベストプラクティス

  • プロダクション環境向けに堅牢なワークフローを設計する
  • Airflow をデータエンジニアリングと ETL パイプラインに活用する
  • 大規模な Airflow 展開の実際の事例研究

まとめと次回ステップ

要求

  • Apache Airflow の基本的な知識
  • Python プログラミングとワークフローオーケストレーション概念に精通していること
  • Linux 環境でアプリケーションを管理および展開した経験があること

対象者

  • データエンジニア
  • DevOps 専門家
  • ソフトウェア開発者
 21 時間

参加者の人数


参加者1人当たりの料金

お客様の声 (1)

今後のコース

関連カテゴリー