コース概要

導入

Spark Streaming の機能とアーキテクチャの概要

  • サポートされているデータソース
  • コア API

環境を整える

  • 依存関係
  • Spark とストリーミング コンテキスト
  • カフカへの接続

メッセージの処理

  • 受信メッセージを JSON として解析する
  • ETLプロセス
  • ストリーミングコンテキストの開始

ウィンドウ処理の実行 Stream Processing

  • スライド間隔
  • チェックポイント配信構成
  • 環境の立ち上げ

処理コードのプロトタイピング

  • Kafka トピックへの接続
  • Paw を使用してデータ ソースから JSON を取得する
  • バリエーションと追加加工

コードのストリーミング

  • ジョブ制御変数
  • 一致する値の定義
  • 機能と条件

ストリーム出力の取得

  • カウンター
  • Kafka 出力 (一致および不一致)

トラブルシューティング

要約と結論

要求

  • PythonおよびApache Kafkaの経験
  • ストリーム処理プラットフォームに精通していること

観客

  • データエンジニア
  • データサイエンティストプログラマー
  7 時間

参加者の人数



Price per participant

お客様の声 (4)

関連コース

関連カテゴリー