コース概要
Apache Airflow入門
- ワークフローオーケストレーションとは
- Apache Airflowの主要な機能と利点
- Airflow 2.xの改善点とエコシステム概要
アーキテクチャとコアコンセプト
- スケジューラ、Webサーバー、ワーカープロセス
- DAG、タスク、オペレータ
- エクゼキュータとバックエンド（Local、Celery、Kubernetes）
インストールとセットアップ
- ローカル環境とクラウド環境でのAirflowのインストール
- 異なるエクゼキュータでのAirflow設定
- メタデータデータベースと接続の設定
AirflowのUIとCLIの操作
- Airflow Webインターフェースの探索
- DAG実行、タスク、ログの監視
- Airflow CLIを使用した管理作業
DAGの作成と管理
- TaskFlow APIによるDAGの作成
- オペレータ、センサー、フックの使用
- 依存関係とスケジュール区間の管理
Airflowのデータおよびクラウドサービスとの統合
- データベース、API、メッセージキューへの接続
- AirflowでのETLパイプラインの実行
- クラウド統合：AWS、GCP、Azureオペレータ
監視とオブザーバビリティ
- タスクログとリアルタイム監視
- PrometheusとGrafanaによるメトリクス
- メールまたはSlackによるアラートと通知
Apache Airflowのセキュリティ強化
- 役割ベースのアクセス制御 (RBAC)
- LDAP、OAuth、SSOによる認証
- Vaultとクラウドシークレットストアによるシークレット管理
Apache Airflowのスケーリング
- 並行処理、同時実行数、タスクキュー
- CeleryExecutorとKubernetesExecutorの使用
- HelmによるKubernetes上のAirflowデプロイメント
本番環境におけるベストプラクティス
- DAGのバージョン管理とCI/CD
- DAGのテストとデバッグ
- 大規模な環境での信頼性とパフォーマンスの維持
トラブルシューティングと最適化
- 失敗したDAGとタスクのデバッグ
- DAGパフォーマンスの最適化
- よくある落とし穴とその回避法
まとめと次のステップ
要求
- Pythonプログラミングの経験
- データエンジニアリングまたはDevOpsの概念への親しみ
- ETLまたはワークフローオーケストレーションの理解
対象読者
- データサイエンティスト
- データエンジニア
- DevOpsおよびインフラストラクチャエンジニア
- ソフトウェア開発者
お客様の声 (7)
インストラクターは参加者のレベルに合わせてトレーニングを調整し、すべての質問に応えました。彼は非常にコミュニケーションが取れており、彼とやり取りするのは簡単でした。私は実践的な演習が含まれたトレーニングの形式を大変評価しました。全体的に、非常に魅力的でよく組織されたセッションでした。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
コース - Apache Airflow: Building and Managing Data Pipelines
機械翻訳
トレーニングは的確でした。非常に役立つ理論と演習が含まれていました。
Vladimir - PUBLIC COURSE
コース - Apache Airflow
機械翻訳
トレーニングはすべての面で的確でした。有用な理論的な側面と演習が含まれています。
Vladimir - PUBLIC COURSE
コース - Apache Airflow
機械翻訳
トレーニングはすべての面で非常に適切でした。有用な理論的な側面と演習が含まれています。
Vladimir - PUBLIC COURSE
コース - Apache Airflow
機械翻訳
トレーニングはすべての面で的確でした。理論的な側面と演習が役立ちました。
Vladimir - PUBLIC COURSE
コース - Apache Airflow
機械翻訳
トレーニングはすべての点で非常に適切でした。有用な理論的な側面と演習が含まれています。
Vladimir - PUBLIC COURSE
コース - Apache Airflow
機械翻訳
トレーニングはすべての面で的確でした。有用な理論的な側面と演習が含まれていました。
Vladimir - PUBLIC COURSE
コース - Apache Airflow
機械翻訳
