お問い合わせを送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます！当社のスタッフがすぐにご連絡いたします。
コース概要
Apache Airflow基礎の復習
- DAGやオペレーター、実行フローの基本概念
- Airflowのアーキテクチャおよび構成要素
- 高度な利用シナリオとワークフローについての理解
カスタムオペレーターの作成方法
- Airflowオペレーターの仕組みを理解する
- 特定タスク用のカスタムオペレーターの開発
- カスタムオペレーターのテストおよびデバッグ
カスタムフックとセンサーの活用方法
- 外部システム連携用フックの実装
- 外部トリガー監視用センサーの作成
- カスタムセンサーを用いたワークフローの双方向性向上
Airflowプラグインの開発方法
- プラグインアーキテクチャの基礎知識
- Airflow機能拡張用プラグインの設計法
- プラグイン管理・導入におけるベストプラクティス
Airflowと外部システムとの統合手法
- データベース・API・クラウドサービスへの接続方法
- ETLワークフローやリアルタイムデータ処理におけるAirflow利用法
- Airflowと外部システム間の依存関係管理手法
高度なデバッグおよび監視技法
- Airflowのログ・指標を用いたトラブルシューティング手法
- ワークフロー異常検知用アラートや通知設定法
- Airflowと外部モニタリングツールとの連携方法
パフォーマンス最適化と拡張性向上戦略
- CeleryおよびKubernetes Executorによるスケーリング手法
- 複雑なワークフローにおけるリソース有効活用法
- 高可用性・耐障害性の確保策
事例研究と実践的応用例
- データエンジニアリングおよびDevOps分野での高度利用例の紹介
- 大規模ETL用途向けカスタムオペレーター開発例の解説
- 企業レベルにおけるワークフロー管理のためのベストプラクティス
まとめおよび次なるステップ
要求
- DAGやオペレーター、実行アーキテクチャを含むApache Airflowの基礎知識があること
- Pythonプログラミングに熟練していること
- データシステム統合およびワークフロー調整の経験があること
対象者
- データエンジニア
- DevOpsエンジニア
- ソフトウェアアーキテクト
21 時間
お客様の声 (1)
インストラクターは参加者のレベルに合わせてトレーニングを調整し、すべての質問に応えました。彼は非常にコミュニケーションが取れており、彼とやり取りするのは簡単でした。私は実践的な演習が含まれたトレーニングの形式を大変評価しました。全体的に、非常に魅力的でよく組織されたセッションでした。
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
コース - Apache Airflow: Building and Managing Data Pipelines
機械翻訳
