コース概要
導入
ビッグデータの理解
Sparkの概要
Pythonの概要
PySparkの概要
- Resilient Distributed Datasets (RDD) フレームワークを使用したデータ分散
- Spark API演算子を使用した計算分散
PythonとSparkのセットアップ
PySparkのセットアップ
AWS EC2インスタンスでのSparkのセットアップ
Databricksのセットアップ
AWS EMRクラスタのセットアップ
Pythonプログラミングの基礎を学ぶ
- Python入門
- Jupyter Notebookの使用
- 変数と単純なデータ型の使用
- リストの操作
- if文の使用
- ユーザーからの入力の処理
- whileループの使用
- 関数の実装
- クラスの操作
- ファイルと例外の処理
- プロジェクト、データ、APIの操作
Spark DataFrameの基礎を学ぶ
- Spark DataFramesの入門
- Sparkを使用した基本的な操作の実装
- Groupbyと集計操作の使用
- タイムスタンプと日付の処理
Spark DataFrameプロジェクト演習
MLlibを使用した機械学習の理解
Python、Spark、MLlibを組み合わせた機械学習の実装
回帰分析の理解
- 線形回帰理論の学習
- 回帰評価コードの実装
- サンプル線形回帰演習
- ロジスティック回帰理論の学習
- ロジスティック回帰コードの実装
- サンプルロジスティック回帰演習
ランダムフォレストと決定木の理解
- ツリーメソッド理論の学習
- 決定木とランダムフォレストコードの実装
- サンプルランダムフォレスト分類演習
K-meansクラスタリングの理解
- K-meansクラスタリング理論の理解
- K-meansクラスタリングコードの実装
- サンプルクラスタリング演習
レコメンダーシステムの操作
自然言語処理の実装
- 自然言語処理 (NLP) の理解
- NLPツールの概要
- サンプルNLP演習
PythonでSparkストリーミングの操作
- Sparkストリーミングの概要
- サンプルSparkストリーミング演習
閉講の言葉
要求
- 一般的なプログラミングスキル
対象者
- 開発者
- ITプロフェッショナル
- データサイエンティスト
お客様の声 (6)
実践的だったことが気に入りました。理論的な知識を実践的な例で適用するのが大好きでした。
Aurelia-Adriana - Allianz Services Romania
コース - Python and Spark for Big Data (PySpark)
機械翻訳
このコースは非常に複雑で関連性の高いテーマのシリーズについて行われました。パブロはこれらの各トピックについて深い専門知識を持っています。 ただし、ニュアンスがコミュニケーションや時間制約のために失われることがあり、これにより期待値が十分に満たされなかった場合もありました。 また、UHG/Azure Databricks の設定問題も発生しましたが、パブロと UHG はこれらの問題が明らかになるとすぐに解決しました。私には、これは UHG とパブロの間に高い理解と専門性があることを示していました。
Michael Monks - Tech NorthWest Skillnet
コース - Python and Spark for Big Data (PySpark)
機械翻訳
個別指導
ARCHANA ANILKUMAR - PPL
コース - Python and Spark for Big Data (PySpark)
機械翻訳
実践的なトレーニング..
Abraham Thomas - PPL
コース - Python and Spark for Big Data (PySpark)
機械翻訳
レッスンはJupyterノートブックで行われました。トピックは論理的な順序で構成され、セッションが簡単な部分からより複雑な部分へと自然に進展しました。私はPythonの上級ユーザーであり、機械学習のバックグラウンドも持っていますので、このコースは私のクラスメートの中でも特に訓練を受けた人々よりも seguimiento しやすかったです。最も基本的な概念が省かれており、最も重要な事項に焦点を当てていたことには感謝しています。
Angela DeLaMora - ADT, LLC
コース - Python and Spark for Big Data (PySpark)
機械翻訳
練習課題
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
コース - Python and Spark for Big Data (PySpark)
機械翻訳