コース概要
導入
理解Big Data
スパークの概要
Pythonの概要
PySparkの概要
- Resilient Distributed Datasets Framework を使用したデータの分散
- Spark API オペレーターを使用した計算の分散
Spark を使用した Python のセットアップ
セットアップ PySpark
Spark に Amazon Web Services (AWS) 個の EC2 インスタンスを使用する
セットアップDatabricks
AWS EMR クラスターのセットアップ
Python Programming の基礎を学ぶ
- Python の入門
- Jupyter ノートブックの使用
- 変数と単純なデータ型の使用
- リストの操作
- if ステートメントの使用
- ユーザー入力の使用
- while ループの操作
- 機能の実装
- クラスの操作
- ファイルと例外の操作
- プロジェクト、データ、API の操作
Spark DataFrame の基礎を学ぶ
- Spark DataFrame の入門
- Spark を使用した基本操作の実装
- Groupby 操作と集計操作の使用
- タイムスタンプと日付の操作
Spark DataFrame プロジェクトの演習を行う
MLlib で Machine Learning を理解する
Machine Learning に対する MLlib、Spark、および Python の操作
回帰を理解する
- 線形回帰理論の学習
- 回帰評価コードの実装
- サンプル線形回帰演習に取り組む
- ロジスティック回帰理論を学ぶ
- ロジスティック回帰コードの実装
- サンプルのロジスティック回帰演習に取り組む
Random Forest と決定木を理解する
- ラーニングツリーメソッドの理論
- デシジョン ツリーと Random Forest コードの実装
- サンプルの作成 Random Forest 分類演習
K-means クラスタリングの使用
- K 平均法クラスタリング理論を理解する
- K-means クラスタリング コードの実装
- サンプルのクラスタリング演習に取り組む
レコメンダー システムの使用
自然言語処理の実装
- 理解 Natural Language Processing (NLP)
- NLP ツールの概要
- サンプル NLP 演習に取り組む
Python で Spark を使用してストリーミング
- Spark によるストリーミングの概要
- サンプル Spark Streaming 演習
閉会の辞
要求
- 一般的なプログラミングスキル
観客
- 開発者 ITプロフェッショナルデータサイエンティスト
お客様の声 (5)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
コース - Python and Spark for Big Data (PySpark)
The course was about a series of very complex related topics & Pablo has in-depth expertise of each of them. Sometimes nuances were lost in communication and/or due to time pressures and possibly expectations were not quite met due to this. Also there were some UHG/Azure Databricks setup issues however Pablo / UHG resolved these quickly once they became apparent - this to me showed a high level of understanding and professionalism between UHG & Pablo,
Michael Monks - Tech NorthWest Skillnet
コース - Python and Spark for Big Data (PySpark)
Individual attention.
ARCHANA ANILKUMAR - PPL
コース - Python and Spark for Big Data (PySpark)
Hands on Training..
Abraham Thomas - PPL
コース - Python and Spark for Big Data (PySpark)
The lessons were taught in a Jupyter notebook. The topics were structured with a logical sequence and naturally helped develop the session from the easier parts to the more complex. I'm already an advanced user of Python with background in Machine Learning, so found the course easier to follow than, possibly, some of my classmates that took the training course. I appreciate that some of the most elementary concepts were skipped and that he focused on the most substantial matters.