お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
Apache Airflow の基礎のおさらい
- 基本概念:DAGs、オペレータ、実行フロー
- Airflow アーキテクチャとコンポーネント
- 高度なユースケースとワークフローの理解
カスタムオペレータの作成
- Airflow オペレータの構造の理解
- 特定のタスク向けにカスタムオペレータを開発する。
- カスタムオペレータのテストとデバッグ
カスタムフックとセンサー
- 外部システム統合用のフックの実装
- 外部トリガーの監視用にセンサーを作成する。
- カスタムセンサーを使用してワークフローの対話性を向上させる。
Airflow プラグインの開発
- プラグインアーキテクチャの理解
- 機能を拡張する Airflow プラグインを設計し実装する。
- プラグインの管理とデプロイに関するベストプラクティス
Airflow と外部システムの統合
- Airflow をデータベース、API、クラウドサービスに接続する。
- Airflow を使用して ETL ワークフローとリアルタイムデータ処理を行う。
- Airflow と外部システム間の依存関係の管理
高度なデバッグと監視
- Airflow のログとメトリクスを使用したトラブルシューティング
- ワークフロー問題に関するアラートと通知の設定
- Airflow 用の外部監視ツールの活用
パフォーマンスとスケーラビリティの最適化
- Celery エグジキュータと Kubernetes エグジキュータを使用した Airflow のスケーリング
- 複雑なワークフローにおけるリソース利用の最適化
- 高可用性とフェイルオーバーのための戦略
ケーススタディと実際のアプリケーション
- データエンジニアリングと DevOps での高度なユースケースの探索
- 大規模な ETL 向けのカスタムオペレータ実装のケーススタディ
- エンタープライズレベルのワークフロー管理に関するベストプラクティス
まとめと次ステップ
要求
- Apache Airflow の基本(DAGs、オペレータ、実行アーキテクチャ)についての確固たる理解
- Python プログラミングのスキル
- データシステムとワークフローのオーケストレーションに関する経験
対象者
- データエンジニア
- DevOps エンジニア
- ソフトウェアアーキテクト
21 時間
お客様の声 (1)
インストラクターは参加者のレベルに合わせてトレーニングを調整し、すべての質問に応えました。彼は非常にコミュニケーションが取れており、彼とやり取りするのは簡単でした。私は実践的な演習が含まれたトレーニングの形式を大変評価しました。全体的に、非常に魅力的でよく組織されたセッションでした。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
コース - Apache Airflow: Building and Managing Data Pipelines
機械翻訳