お問い合わせを送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
コース概要
Apache Airflowの基礎知識の復習
- DAG、タスク、オペレーターの基本概念
- Airflowのアーキテクチャと構成要素の説明
- 代表的な利用シーンおよびワークフローの概要
ワークフローパフォーマンスの最適化手法
- Airflowパイプライン内でのボトルネックの特定方法
- タスクレベルでの最適化技術の実践例
- タスク再試行機能・並列処理・コンカレンシーの活用術
複雑な依存関係の管理手法
- ワークフロー内での動的依存関係の定義手順
- 条件分岐型や分割型ワークフローの構築方法
- タスクグループおよびサブDAGの効果的な利用法
Apache Airflowにおける高度な機能活用術
- カスタムオペレーターやフックの作成手順
- 外部トリガー検知用センサーの実装方法
- サードパーティサービスやプラグインとの連携技術
Apache Airflow導入環境のスケーリング手法
- 水平・垂直スケーリング戦略の比較と選定基準
- 分散処理に適したCelery Executorの利用法
- クラウド環境での最適なスケーリングベストプラクティス
ワークフローの監視・トラブルシューティング手法
- ログ設定およびアラート機能を用いた監視体制の構築法
- Airflow UIやCLIによる問題解析テクニック
- 運用環境でよく発生するトラブルの対処方法と予防策
Apache Airflowのセキュリティ強化手法
- 認証・権限管理システムの構築方針
- 機密情報や環境設定値の保護技術
- ワークフローの追跡記録を実現する監査システムの導入法
企業向け利用事例およびベストプラクティス
- 本番運用環境に適した堅牢なワークフロー設計例
- データエンジニアリングやETL処理におけるAirflow活用事例
- 大規模導入を成功させた実際の企業ケーススタディの紹介
講座まとめおよび今後の学習ステップ案内
要求
- Apache Airflowに関する基礎知識があること
- Pythonプログラミングおよびワークフロー管理の概念に精通していること
- Linux環境でのアプリケーション運用・導入経験があること
対象者
- データエンジニア
- DevOps担当者
- ソフトウェア開発者
21 時間
お客様の声 (1)
インストラクターは参加者のレベルに合わせてトレーニングを調整し、すべての質問に応えました。彼は非常にコミュニケーションが取れており、彼とやり取りするのは簡単でした。私は実践的な演習が含まれたトレーニングの形式を大変評価しました。全体的に、非常に魅力的でよく組織されたセッションでした。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
コース - Apache Airflow: Building and Managing Data Pipelines
機械翻訳
