管理者向けApache NiFiのトレーニングコース

NiFiとデータフローの基礎

• 動きのあるデータと静止したデータ：概念と課題
• NiFiのアーキテクチャ：コア、フローコントローラー、プロベナンス、ブレットイン
• 主要コンポーネント：プロセッサー、接続、コントローラー、プロベナンス

ビッグデータ環境と統合

• NiFiがビッグデータエコシステム（Hadoop、Kafka、クラウドストレージ）で果たす役割
• HDFS、MapReduce、および現代的な代替手段の概要
• ユースケース：ストリーム取り込み、ログ転送、イベントパイプライン

インストール、設定 & クラスタセットアップ

• シングルフノードおよびクラスタモードでのNiFiインストール
• クラスタ設定：ノードの役割、Zookeeper、負荷分散
• NiFiデプロイメントのオーケストレーション：Ansible、Docker、またはHelmの使用

データフローの設計と管理

• ルーティング、フィルタリング、フローの分割と統合
• プロセッサーの設定（InvokeHTTP、QueryRecord、PutDatabaseRecordなど）
• スキーマ処理、データ丰富化、変換操作の処理
• エラー処理、リトライ関係、バックプレッシャー

統合シナリオ

• データベース、メッセージングシステム、REST APIへの接続
• アナリティクスシステムへのストリーミング：Kafka、Elasticsearch、またはクラウドストレージ
• Splunk、Prometheus、またはロギングパイプラインとの統合

モニタリング、復旧 & プロベナンス

• NiFi UI、メトリクス、プロベナンスビジュアライザーの使用
• 自律的復旧と丁寧な失敗処理の設計
• バックアップ、フローのバージョニング、変更管理

パフォーマンスチューニング & 最適化

• JVM、ヒープ、スレッドプーアル、クラスタリングパラメータの調整
• ボトルネックを軽減するフロー設計の最適化
• リソースの分離、フローの優先順位付け、スループットの制御

ベストプラクティス & ガバナンス

• フローの文書化、命名規則、モジュール化設計
• セキュリティ：TLS、認証、アクセス制御、データ暗号化
• 変更制御、バージョニング、ロールベースのアクセス制御、監査証跡

トラブルシューティング & 障害対応

• よくある問題：デッドロック、メモリリーク、プロセッサーエラー
• ログ解析、エラー診断、根本原因調査
• 復旧戦略とフローのロールバック

ハンズオンラボ：現実的なデータパイプラインの実装

• 端到端のフロー構築：取り込み、変換、配信
• エラー処理、バックプレッシャー、スケーリングの実装
• パイプラインのパフォーマンステストと調整

まとめと次のステップ