お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
Apache Airflow の基本概念の復習
- 主要概念: DAGs, タスク, およびオペレータ
- Airflow アーキテクチャとコンポーネント
- 一般的なユースケースとワークフローの概要
ワークフローパフォーマンスの最適化
- Airflow パイプラインでのボトルネックの特定
- タスクレベルの最適化テクニック
- タスクのリトライ、並列処理、および同時実行の活用
複雑な依存関係の管理
- ワークフロー内の動的依存関係の定義
- 条件付きと分岐ワークフローの取り扱い
- タスクグループとサブ-DAG の効果的な利用
Apace Airflow の高度な機能
- カスタムオペレータとフックの作成
- 外部トリガー用のセンサーの実装
- サードパーティサービスとプラグインの統合
Apace Airflow 展開のスケーリング
- 水平スケーリングと垂直スケーリングアプローチ
- Celery Executors を使用した分散実行
- クラウド環境でのスケーリングに関するベストプラクティス
ワークフローの監視とデバッグ
- ワークフローモニタリング用のログ記録とアラート設定
- Airflow UI および CLI を使用したトラブルシューティング
- Airflow 展開での一般的な問題の特定と解決
Apace Airflow のセキュリティ
- Airflow 内の認証とアクセス制御
- 機密データや環境構成の保護
- ワークフローアイテム用の監査ログの実装
エンタープライズユースケースとベストプラクティス
- プロダクション環境向けに堅牢なワークフローを設計する
- Airflow をデータエンジニアリングと ETL パイプラインに活用する
- 大規模な Airflow 展開の実際の事例研究
まとめと次回ステップ
要求
- Apache Airflow の基本的な知識
- Python プログラミングとワークフローオーケストレーション概念に精通していること
- Linux 環境でアプリケーションを管理および展開した経験があること
対象者
- データエンジニア
- DevOps 専門家
- ソフトウェア開発者
21 時間
お客様の声 (1)
インストラクターは参加者のレベルに合わせてトレーニングを調整し、すべての質問に応えました。彼は非常にコミュニケーションが取れており、彼とやり取りするのは簡単でした。私は実践的な演習が含まれたトレーニングの形式を大変評価しました。全体的に、非常に魅力的でよく組織されたセッションでした。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
コース - Apache Airflow: Building and Managing Data Pipelines
機械翻訳