ビッグデータのためのPythonとSpark (PySpark)のトレーニングコース

このインストラクター主導の実演付きトレーニング（オンラインまたは対面）は、DatabricksとPySparkを使用してスケーラブルなデータパイプラインを構築し、既存のSQLワークフローを移行したいと考えているデータエンジニア、データアナリスト、およびデータ専門家を対象としています。

この研修では、PySparkを用いてスケーラブルなデータ処理および機械学習ワークフローを構築するための実践的な入門内容をお伝えします。受講者は、現代のビッグデータエコシステムにおいてApache Sparkがどのように機能し、分散型コンピューティングの原理を用いて大規模なデータセットを効率的に処理するかについて学びます。

本3日間の実務コースでは、Kubernetesベースの環境でPySpark、Pandas、Polarsを用いた効率的なデータ処理ワークロードの構築と最適化に焦点を当てます。

参加者は、SparkアプリケーションがKubernetes上でどのように実行されるか、そしてアプリケーションレベルの設定決定がパフォーマンス、スケーラビリティ、リソース消費量、コストにどのように影響を与えるかを、実践的な視点から理解します。本コースでは、エグゼキュータのサイジング、メモリ割り当て、動的割り当て、パーティション戦略、シャフルの挙動、スモールファイル問題、および効率的なParquet処理など、主要な最適化領域を涵盖します。

さらに、Pandasでのメモリ制限やOut-of-Memory（メモリ不足）エラーといった一般的な課題にも対処し、特定のデータ処理ワークロード向けに、高パフォーマンスな代替手段としてPolarsを紹介します。ハンズオンの演習を通じて、参加者はパフォーマンスおよびメモリ関連の問題を診断し、異なる設定戦略を比較し、現実的なETLや機械学習シナリオに最適化技術を適用する能力を身につけます。

コース全体の重点は実践的な意思決定に置かれています。ボトルネックの特定、適切なツールの選択、Sparkの効率的な設定、そしてパフォーマンスとインフラのリソース消費・コストのバランスを取る方法を理解することです。