コース概要
NiFiとデータフローの基本
- データの移動と静止:概念と課題
- NiFiアーキテクチャ:コア、フローコントローラー、プロベナンス、およびブリジャン
- 主要なコンポーネント:プロセッサ、接続、コントローラ、およびプロベナンス
ビッグデータの文脈と統合
- NiFiがビッグデータエコシステム(Hadoop、Kafka、クラウドストレージ)で果たす役割
- HDFS、MapReduce、および現代の代替手段の概要
- 用途:ストリームインジェスト、ログ転送、イベントパイプライン
インストール、設定、クラスタセットアップ
- 単一ノードとクラスタモードでのNiFiのインストール
- クラスタ設定:ノード役割、Zookeeper、およびロードバランシング
- NiFiデプロイメントのオーケストレーション:Ansible、Docker、またはHelmを使用
データフローの設計と管理
- ルーティング、フィルタリング、分割、マージフロー
- プロセッサ設定(InvokeHTTP、QueryRecord、PutDatabaseRecordなど)
- スキーマ処理、エンリッチメント、および変換操作の実装
- エラーハンドリング、再試行関係、バックプレッシャー
統合シナリオ
- データベース、メッセージングシステム、REST APIへの接続
- アナリティクスシステムへのストリーミング:Kafka、Elasticsearch、またはクラウドストレージ
- Splunk、Prometheus、またはログパイプラインとの統合
監視、回復、プロベナンス
- NiFi UI、メトリクス、およびプロベナンスビジュアライザの使用
- 自動回復と優雅な失敗処理の設計
- バックアップ、フローバージョン管理、および変更管理
性能調整と最適化
- JVM、ヒープ、スレッドプール、クラスタリングパラメータの調整
- ボトルネックを減らすためのフローデザインの最適化
- リソース隔離、フロープライオリティ設定、スループット制御
最善の実践とガバナンス
- フロー文書化、命名規則、モジュール設計
- セキュリティ:TLS、認証、アクセス制御、データ暗号化
- 変更管理、バージョン管理、ロールベースのアクセス、監査ログ
トラブルシューティングとインシデント対応
- 常見問題:デッドロック、メモリリーク、プロセッサエラー
- ログ分析、エラーダイアグノスティックスと根本原因調査
- 回復戦略とフロールバック
ハンズオンラボ:現実的なデータパイプラインの実装
- インジェスト、変換、デリバリーまでのエンドツーエンドフローの構築
- エラーハンドリング、バックプレッシャー、スケーリングの実装
- パイプラインのパフォーマンステストとチューニング
まとめと次なるステップ
要求
- Linuxコマンドラインの使用経験
- ネットワークとデータシステムの基本的な理解
- データストリーミングやETL概念への露出
対象者
- システム管理者
- データエンジニア
- 開発者
- DevOps専門家
お客様の声 (7)
実践的な演習。クラスは本来5日間の予定でしたが、3日間でも多くの疑問を解消できました。
James - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳
トレーナーのペースが良かったと思います。誰一人取り残すことなく、親切なアプローチで教えてくださいました。また、キャリア中にシステム管理者やインフラストラクチャの役割を経験していなかったり、以前にそのスキルを持っていた人を支援するために、NEWBIESに対して非常にサポート的でした。
Pamdrea Ivory - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳
実践的なセクションが気に入っています。提供された演習を通じて、情報の記憶がより深まりました。また、トレーナーが全員と積極的にやり取りする能力のおかげで、理解できていない点について質問しやすくなりました。
Leila - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳
NiFi データフローの使用例と構築例。一般的な問題と注意点のトラブルシューティングにも取り組みました。
Nelson - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳
その構造が大好きでした。初日には、NiFiの基本概念や使用例などを学びました。2日目には、1日目に得た知識を活用して、シナリオ要件に合わせたフローを作成しました。3日目には、NiFi Registryとバージョン管理、マルチテナントについて学び、Q&Aの時間も設けられました。
Adam - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳
彼がNiFiについて詳細に説明し、その強力さを伝えられたことが良かったです。基本的にどのようなインフラでも使用でき、多くの異なるプログラミング言語も利用できます。また、Truststoreを使用してNiFiの証明書更新問題を解決できたことも嬉しく思います。
Joachim Martin - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳
一般的な知識と、このトレーニングがツールに関して提供する可能性について。
Nalfis Tobar - BHG Financial
コース - Apache NiFi for Administrators
機械翻訳