コース概要
はじめに
ビッグデータの概要
Sparkの基本概観
Pythonの概要
PySparkの概要
- 耐障害性分散データセットフレームワークを利用したデータ配布方法
- Spark APIオペレーターを用いた計算処理の分散化手法
Python環境とSparkの連携設定
PySparkの初期設定方法
Amazon Web Services(AWS)EC2インスタンスにおけるSpark利用手順
Databricksのセットアップ
AWS EMRクラスターの構築方法
Pythonプログラミング基礎知識
- Pythonの基本導入
- Jupyter Notebookの利用法
- 変数と単純なデータ型の扱い方
- リスト操作の基本
- if文による条件判断手法
- ユーザー入力情報の処理方法
- whileループの実装手順
- 関数定義の方法
- クラスの作成・活用技術
- ファイル操作および例外処理手法
- プロジェクト構成・データ管理およびAPI連携基礎知識
Spark DataFrameの基本習得
- Spark DataFramesの利用準備
- 基本的な演算の実行方法
- グループ化や集計処理の進め方
- 時刻・日付データの操作手法
Spark DataFrameを用いたプロジェクト演習
MLlibによる機械学習概説
MLlib、Spark、Pythonを活用した機械学習実践法
回帰分析の基礎知識
- 線形回帰理論の理解
- 回帰評価コードの作成手順
- サンプル線形回帰演習への取り組み方
- ロジスティック回帰理論の概要説明
- ロジスティック回帰コードの構築法
- サンプルロジスティック回帰問題の解決手順
ランダムフォレストと決定木理論
- 樹形モデル手法の基本原理習得
- 決定木・ランダムフォレスト用コード実装方法
- サンプル分類問題におけるランダムフォレスト適用手順
K-meansクラスタリングの活用
- K-means理論内容の把握
- K-meansアルゴリズム実装手順
- サンプルクラス分類演習への適用方法
レコメンダーシステム構築法
自然言語処理の基礎導入
- 自然言語処理技術概観
- 関連ツール群の紹介
- サンプルNLP問題への対応手順
Python上でのSparkストリーミング処理
- Sparkによるストリーム処理概要説明
- 実際のストリーム処理演習例紹介
まとめ
要求
- 一般的なプログラミング知識があること
対象者
- 開発者
- IT専門職の方々
- データサイエンティスト
お客様の声 (6)
実践的だったことが気に入りました。理論的な知識を実践的な例で適用するのが大好きでした。
Aurelia-Adriana - Allianz Services Romania
コース - Python and Spark for Big Data (PySpark)
機械翻訳
このコースは非常に複雑で関連性の高いテーマのシリーズについて行われました。パブロはこれらの各トピックについて深い専門知識を持っています。 ただし、ニュアンスがコミュニケーションや時間制約のために失われることがあり、これにより期待値が十分に満たされなかった場合もありました。 また、UHG/Azure Databricks の設定問題も発生しましたが、パブロと UHG はこれらの問題が明らかになるとすぐに解決しました。私には、これは UHG とパブロの間に高い理解と専門性があることを示していました。
Michael Monks - Tech NorthWest Skillnet
コース - Python and Spark for Big Data (PySpark)
機械翻訳
個別指導
ARCHANA ANILKUMAR - PPL
コース - Python and Spark for Big Data (PySpark)
機械翻訳
実践的なトレーニング..
Abraham Thomas - PPL
コース - Python and Spark for Big Data (PySpark)
機械翻訳
レッスンはJupyterノートブックで行われました。トピックは論理的な順序で構成され、セッションが簡単な部分からより複雑な部分へと自然に進展しました。私はPythonの上級ユーザーであり、機械学習のバックグラウンドも持っていますので、このコースは私のクラスメートの中でも特に訓練を受けた人々よりも seguimiento しやすかったです。最も基本的な概念が省かれており、最も重要な事項に焦点を当てていたことには感謝しています。
Angela DeLaMora - ADT, LLC
コース - Python and Spark for Big Data (PySpark)
機械翻訳
練習課題
Pawel Kozikowski - GE Medical Systems Polska Sp. Zoo
コース - Python and Spark for Big Data (PySpark)
機械翻訳