PySparkと機械学習のトレーニングコース

PySparkと機械学習

モジュール1：ビッグデータおよびSparkの基礎

• ビッグデータエコシステムの概要と、現代のデータプラットフォームにおけるSparkの役割
• Sparkアーキテクチャについて：ドライバ、エグゼキュータ、クラスタマネージャ、遅延評価機構、DAGおよび実行計画の仕組み
• RDD APIとDataFrame APIの違いと、それぞれを使用する適切な場面についての理解
• SparkSessionの生成・設定方法およびアプリケーション構成に関する基本的知識の習得

モジュール2：PySpark DataFrames

• 企業向けデータソースや各種フォーマット（CSV、JSON、Parquet、Delta）からのデータ読み込み・書き出し方法
• PySpark DataFramesを活用した操作：変換処理、アクションの実行、カラム式の記述、フィルタリング、結合処理および集計処理など
• ウィンドウ関数の利用やタイムスタンプの取り扱い、ネストされた構造データの操作などの高度な機能実装手法
• データ品質検査の実施および再利用可能で保守性に優れたPySparkコードの記述方法

モジュール3：大規模データセットの効率的な処理

• パフォーマンス最適化に関する基礎知識：パーティショニング戦略、シャッフル動作、キャッシュ・永続化の使い方
• ブロードキャスト結合処理や実行計画解析などによる最適化手法の実践方法
• 大規模データセットを効率的に処理するためのベストプラクティスとスケーラブルなデータワークフローの構築方法
• スキーマ進化管理および企業環境で用いられる最新ストレージフォーマットについての知識

モジュール4：大規模な特徴量エンジニアリング

• Spark MLlibを活用した特徴量エンジニアリングの実践手法：欠損値の補正、カテゴリカル変数の符号化処理やスケーリングなど
• 再利用可能な前処理工程の設計および機械学習パイプライン向けのデータセット準備手法
• 特徴量選定の基礎知識や不均衡な分布を持つデータセットの取り扱いについて説明します。

モジュール5：Spark MLlibによる機械学習

• MLlibのアーキテクチャ構造およびエスティメータ／トランスフォーマパターンについて理解する
• 線形回帰、ロジスティック回帰、決定木、ランダムフォレストなど大規模なデータ環境下での各種モデル訓練手法
• 分散型機械学習ワークフローにおけるモデル比較方法および解析結果の解釈法について説明します。

モジュール6：完全なMLパイプラインの構築

• 前処理工程・特徴量エンジニアリング・モデル訓練などを一体化した完全な機械学習パイプラインの設計方法
• トレーニング用データ・検証用データ・テスト用データの分割手法の適用例
• グリッドサーチやランダムサーチを用いた交差検証およびハイパーパラメータ調整法の実践手順
• 再現性が高い機械学習実験を構築するための仕組み設定について説明します。

モジュール7：モデル評価および実践的な機械学習判断の手順

• 回帰問題や分類問題ごとに適切な評価指標を選定し適用する方法
• 過学習・未学習の判断基準およびそれらに対応したモデル選択手法について説明します。
• 各特徴量の重要度判定や全体としてのモデルの振る舞いを理解する方法

モジュール8：本番環境およびエンタープライズ実践法

• Spark環境におけるモデル保存・読み込みの方法について説明します。
• 大規模データセットを対象としたバッチ推論処理フローの構築例
• 企業環境における機械学習ライフサイクルの基本的な仕組みについて説明します。
• バージョン管理・実験記録手法およびテスト設計の基礎知識も取り上げます。

習得できる実務スキル

• PySparkを自力で利用して作業が可能となる
• 大規模データセットを効率的に処理する能力が身につく
• 大規模環境でも特徴量エンジニアリングを実行できるようになる
• ​スケーラブルな機械学習パイプライン構築が可能になる