コース概要

NiFiとデータフローの基本

  • データの移動と静止:概念と課題
  • NiFiアーキテクチャ:コア、フローコントローラー、プロベナンス、およびブリジャン
  • 主要なコンポーネント:プロセッサ、接続、コントローラ、およびプロベナンス

ビッグデータの文脈と統合

  • NiFiがビッグデータエコシステム(Hadoop、Kafka、クラウドストレージ)で果たす役割
  • HDFS、MapReduce、および現代の代替手段の概要
  • 用途:ストリームインジェスト、ログ転送、イベントパイプライン

インストール、設定、クラスタセットアップ

  • 単一ノードとクラスタモードでのNiFiのインストール
  • クラスタ設定:ノード役割、Zookeeper、およびロードバランシング
  • NiFiデプロイメントのオーケストレーション:Ansible、Docker、またはHelmを使用

データフローの設計と管理

  • ルーティング、フィルタリング、分割、マージフロー
  • プロセッサ設定(InvokeHTTP、QueryRecord、PutDatabaseRecordなど)
  • スキーマ処理、エンリッチメント、および変換操作の実装
  • エラーハンドリング、再試行関係、バックプレッシャー

統合シナリオ

  • データベース、メッセージングシステム、REST APIへの接続
  • アナリティクスシステムへのストリーミング:Kafka、Elasticsearch、またはクラウドストレージ
  • Splunk、Prometheus、またはログパイプラインとの統合

監視、回復、プロベナンス

  • NiFi UI、メトリクス、およびプロベナンスビジュアライザの使用
  • 自動回復と優雅な失敗処理の設計
  • バックアップ、フローバージョン管理、および変更管理

性能調整と最適化

  • JVM、ヒープ、スレッドプール、クラスタリングパラメータの調整
  • ボトルネックを減らすためのフローデザインの最適化
  • リソース隔離、フロープライオリティ設定、スループット制御

最善の実践とガバナンス

  • フロー文書化、命名規則、モジュール設計
  • セキュリティ:TLS、認証、アクセス制御、データ暗号化
  • 変更管理、バージョン管理、ロールベースのアクセス、監査ログ

トラブルシューティングとインシデント対応

  • 常見問題:デッドロック、メモリリーク、プロセッサエラー
  • ログ分析、エラーダイアグノスティックスと根本原因調査
  • 回復戦略とフロールバック

ハンズオンラボ:現実的なデータパイプラインの実装

  • インジェスト、変換、デリバリーまでのエンドツーエンドフローの構築
  • エラーハンドリング、バックプレッシャー、スケーリングの実装
  • パイプラインのパフォーマンステストとチューニング

まとめと次なるステップ

要求

  • Linuxコマンドラインの使用経験
  • ネットワークとデータシステムの基本的な理解
  • データストリーミングやETL概念への露出

対象者

  • システム管理者
  • データエンジニア
  • 開発者
  • DevOps専門家
 21 時間

参加者の人数


参加者1人当たりの料金

お客様の声 (7)

今後のコース

関連カテゴリー