コース概要
導入
Spark Streaming の機能とアーキテクチャの概要
- サポートされているデータソース
- コア API
環境を整える
- 依存関係
- Spark とストリーミング コンテキスト
- カフカへの接続
メッセージの処理
- 受信メッセージを JSON として解析する
- ETLプロセス
- ストリーミングコンテキストの開始
ウィンドウ処理の実行 Stream Processing
- スライド間隔
- チェックポイント配信構成
- 環境の立ち上げ
処理コードのプロトタイピング
- Kafka トピックへの接続
- Paw を使用してデータ ソースから JSON を取得する
- バリエーションと追加加工
コードのストリーミング
- ジョブ制御変数
- 一致する値の定義
- 機能と条件
ストリーム出力の取得
- カウンター
- Kafka 出力 (一致および不一致)
トラブルシューティング
要約と結論
要求
- PythonおよびApache Kafkaの経験
- ストリーム処理プラットフォームに精通していること 。
観客
- データエンジニア データサイエンティストプログラマー
お客様の声 (5)
私たちの分野に完璧に適合した例/演習
Luc - CS Group
コース - Scaling Data Analysis with Python and Dask
Machine Translated
トレーナーはどんな質問にも答えてくれた。
Caterina - Stamtech
コース - Developing APIs with Python and FastAPI
Machine Translated
It was a though course as we had to cover a lot in a short time frame. Our trainer knew a lot about the subject and delivered the content to address our requirements. It was lots of content to learn but our trainer was helpful and encouraging. He answered all our questions with good detail and we feel that we learned a lot. Exercises were well prepared and tasks were tailored accordingly to our needs. I enjoyed this course
Bozena Stansfield - New College Durham
コース - Build REST APIs with Python and Flask
トレーナーの実践的な知識と経験の移転。
Rumel Mateusz - Pojazdy Szynowe PESA Bydgoszcz SA
コース - GUI Programming with Python and PyQt
Machine Translated
As I was the only participant the training could be adapted to my needs.