コース概要

Apache Airflow の基礎のおさらい

  • 基本概念:DAGs、オペレータ、実行フロー
  • Airflow アーキテクチャとコンポーネント
  • 高度なユースケースとワークフローの理解

カスタムオペレータの作成

  • Airflow オペレータの構造の理解
  • 特定のタスク向けにカスタムオペレータを開発する。
  • カスタムオペレータのテストとデバッグ

カスタムフックとセンサー

  • 外部システム統合用のフックの実装
  • 外部トリガーの監視用にセンサーを作成する。
  • カスタムセンサーを使用してワークフローの対話性を向上させる。

Airflow プラグインの開発

  • プラグインアーキテクチャの理解
  • 機能を拡張する Airflow プラグインを設計し実装する。
  • プラグインの管理とデプロイに関するベストプラクティス

Airflow と外部システムの統合

  • Airflow をデータベース、API、クラウドサービスに接続する。
  • Airflow を使用して ETL ワークフローとリアルタイムデータ処理を行う。
  • Airflow と外部システム間の依存関係の管理

高度なデバッグと監視

  • Airflow のログとメトリクスを使用したトラブルシューティング
  • ワークフロー問題に関するアラートと通知の設定
  • Airflow 用の外部監視ツールの活用

パフォーマンスとスケーラビリティの最適化

  • Celery エグジキュータと Kubernetes エグジキュータを使用した Airflow のスケーリング
  • 複雑なワークフローにおけるリソース利用の最適化
  • 高可用性とフェイルオーバーのための戦略

ケーススタディと実際のアプリケーション

  • データエンジニアリングと DevOps での高度なユースケースの探索
  • 大規模な ETL 向けのカスタムオペレータ実装のケーススタディ
  • エンタープライズレベルのワークフロー管理に関するベストプラクティス

まとめと次ステップ

要求

  • Apache Airflow の基本(DAGs、オペレータ、実行アーキテクチャ)についての確固たる理解
  • Python プログラミングのスキル
  • データシステムとワークフローのオーケストレーションに関する経験

対象者

  • データエンジニア
  • DevOps エンジニア
  • ソフトウェアアーキテクト
 21 時間

参加者の人数


参加者1人あたりの価格

お客様の声 (1)

今後のコース

関連カテゴリー