コース概要
導入
Scala Programming の詳細なレビュー
- 構文と構造
- フロー制御と機能
スパークの内部構造
- 復元力のある分散データセット (RDD)
- グラフからクラスターへの Spark スクリプト
Spark Streamingの概要
- ストリーミングアーキテクチャ
- ストリーミングの間隔
- フォールトトレランス
開発環境の準備
- インストールと設定 Apache Spark
- Scala IDE のインストールと構成
- JDKのインストールと構成
【6】初級者から上級者まで
- キー/値 RDD の操作
- RDD のフィルタリング
- 正規表現を使用した Spark スクリプトの改善
- クラスター上でのデータの共有
- ネットワーク データ セットの操作
- BFS アルゴリズムの実装
- Sparkドライバースクリプトの作成
- スクリプトによるリアルタイムの追跡
- 継続的なアプリケーションの作成
- ストリーミング線形回帰
- Spark Machine Learning ライブラリの使用
スパークとクラスター
- SBT ツールを使用した依存関係と Spark スクリプトのバンドル
- EMR を使用したクラスターの説明
- RDDのパーティショニングによる最適化
- Spark ログの使用
Spark Streaming への統合
- Apache Kafka の統合と Kafka トピックの操作
- Apache Fume の統合とプルベース/プッシュベースの Flume 構成の操作
- カスタム レシーバー クラスの作成
- Cassandra を統合し、データをリアルタイム サービスとして公開する
生産中
- アプリケーションをパッケージ化し、Spark-Submit で実行する
- Spark ジョブとクラスターのトラブルシューティング、チューニング、デバッグ
要約と結論
要求
- Programmingとスクリプトの経験 。
観客
- ソフトウェア・エンジニア
お客様の声 (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
コース - Python and Spark for Big Data (PySpark)
多くの実用的な例、同じ問題へのさまざまなアプローチ方法、そして現在のソリューションを改善するためのあまり知られていないトリックなど
Rafał - Nordea
コース - Apache Spark MLlib
Machine Translated
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
コース - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
Sufficient hands on, trainer is knowledgable
Chris Tan
コース - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.