Apache Spark Fundamentalsのトレーニングコース

このインストラクターによるライブ・トレーニングでは、PythonとSparkを組み合わせてビッグデータを分析する方法を、実習を交えながら学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• PythonでSparkを使ってビッグデータを分析する方法を学びます。
• 実際のケースを想定した演習に取り組みます。
• PySparkを使用したビッグデータ分析のためのさまざまなツールやテクニックを使用します。

このインストラクターによるライブ・トレーニングでは、グラフ・データを処理するためのテクノロジーと実装アプローチについて学びます。その目的は、実世界のオブジェクト、その特徴、関係を特定し、それらの関係をモデル化し、Graph Computing（グラフ分析とも呼ばれる）アプローチを使ってデータとして処理することです。本講演では、まず大まかな概要を説明し、ケーススタディ、実習、ライブデプロイメントを通して、特定のツールに絞り込んでいきます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• グラフデータがどのように永続化され、トラバースされるかを理解する
。
• 与えられたタスクに最適なフレームワークを選択する（グラフデータベースからバッチ処理フレームワークまで）
。
• Hadoop、Spark、GraphX、Pregelを実装し、多数のマシンでグラフコンピューティングを並列に実行する
。
• 現実のビッグデータ問題をグラフ、プロセス、トラバーサルの観点から見る。

MLlibはSparkの機械学習（ML）ライブラリです。その目標は、実用的な機械学習をスケーラブルかつ簡単にすることです。これは、分類、回帰、クラスタリング、協調フィルタリング、次元削減、低レベルの最適化プリミティブ、高レベルのパイプラインAPIなど、一般的な学習アルゴリズムとユーティリティで構成されています。

これは2つのパッケージに分けられます。

• spark.mllibには、RDDの上に構築されたオリジナルのAPIが含まれています。

• spark.mlは、MLパイプラインを構築するためのDataFrameの上に構築された高レベルAPIを提供します。

観客

このコースは、 Apache Spark用の組み込みMachine Libraryを利用しようとしているエンジニアや開発者を対象としています。

コースの形式

• インタラクティブな講義とディスカッション。
• 多くの演習と実習
。
• ライブラボ環境での実践的な実装。

コース・カスタマイズ・オプション

• このコースのカスタマイズトレーニングをご希望の場合は、お問い合わせください。

目的：

このコースではApache Sparkを紹介します。生徒は、SparkがBig Dataエコシステムにどのように適合するか、およびデータ分析にSparkを使用する方法を学びます。このコースでは、インタラクティブなデータ分析用のSparkシェル、Spark内部、Spark API、Spark SQL 、Sparkストリーミング、機械学習およびgraphXを扱います。

聴衆：

開発者/データアナリスト

日本 (オンラインまたはオンサイト) でのこのインストラクター主導のライブ トレーニングでは、Hortonworks Data Platform (HDP) について紹介し、参加者に Spark + Hadoop ソリューションの導入手順を説明します。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

Hortonworks を使用して、Hadoop を大規模に確実に実行します。 Hadoop のセキュリティ、ガバナンス、運用機能を Spark のアジャイル分析ワークフローと統合します。 Hortonworks を使用して、Spark プロジェクトの各コンポーネントを調査、検証、認証、サポートします。構造化データ、非構造化データ、移動中データ、静止データなど、さまざまな種類のデータを処理します。

マゲランは、ビッグデータの地宇宙分析のためのオープンソース配布実行エンジンです。 Apache Sparkの上に実施され、Spark SQLを拡張し、地宇宙分析のための相対的な抽象を提供します。

このインストラクター指導のライブトレーニングは、地質空間分析を実施するための概念とアプローチを紹介し、Spark上のMagellanを使用して予測分析アプリケーションを作成することによって参加者を歩きます。

このトレーニングの終了後、参加者は:

• 効率的に検索、パルス、およびスケールで地宇宙データセットに加わる
• ビジネスインテリジェンスおよび予測分析アプリケーションにおける地宇宙データの実施
• スペースコンテキストを使用して、モバイルデバイス、センサー、ロゴ、および携帯容器の機能を拡大します。

コースの形式

• インタラクティブな講義と議論
• たくさんの練習や実践。
• ライブラボ環境でのハンドオン実装

コースカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、私たちに連絡して整理してください。

Spark SQLは、構造化データと非構造化データを扱うためのApache Sparkのモジュールです。 Spark SQLはデータの構造と実行されている計算に関する情報を提供します。この情報は最適化を実行するために使用できます。 Spark SQL一般的な用途は2つありSQL 。
- SQLクエリを実行しSQL 。
- 既存のHiveインストールからデータを読み取る。

この講師主導のライブトレーニング（オンサイトまたはリモート）では、参加者はSpark SQLを使用してさまざまな種類のデータセットを分析する方法を学習しSQL 。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Spark SQLをインストールして設定しSQL 。
• Spark SQLを使用してデータ分析を実行しSQL 。
• さまざまな形式でデータセットをクエリします。
• データを視覚化し、結果を問い合わせます。

コースの形式

• インタラクティブな講演と討論
• たくさんの練習と練習。
• 実習ラボ環境での実践的な実装。

コースのカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。

このインストラクターによるライブトレーニングでは、既存のビッグデータストレージシステムや関連するソフトウェアアプリケーション、マイクロサービスと、さまざまなStream Processingフレームワークをセットアップし、統合する方法を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• SparkストリーミングやKafkaストリーミングなど、さまざまなStream Processingフレームワークをインストールして設定する。
• 業務に最適なフレームワークを理解し、選択する
。
• データを連続的、同時並行的に、レコードごとに処理する
。
• 既存のデータベース、データウェアハウス、データレイクなどとソリューションを統合する
。
• 最適なストリーム処理ライブラリをエンタープライズ・アプリケーションやマイクロサービスと統合する
。

ビッグデータ分析では、相関関係、隠れたパターン、およびその他の有用な洞察を明らかにするために、大量のさまざまなデータセットを調べるプロセスが含まれます。

健康産業には、大量の複雑で異種の医療および臨床データがあります。医療データにビッグデータ分析を適用することは、医療の提供を改善するための洞察を引き出す大きな可能性を提示します。しかしながら、これらのデータセットの膨大さは、分析および臨床環境への実用化において大きな課題を投げかけている。

このインストラクター主導のライブトレーニング（リモート）では、参加者は一連の実践的なラボ実習を順を追って進めながら、ビッグデータ分析を健康のために実行する方法を学びます。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Hadoop MapReduceやSparkなどのビッグデータ分析ツールをインストールして設定する
• 医療データの特徴を理解する
• 医療データを扱うためにビッグデータ技術を適用する
• 健康応用の文脈でビッグデータシステムとアルゴリズムを研究する

観客

• 開発者
• データ科学者

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして実地練習。

注意

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。

Apache Sparkの学習曲線は最初はゆっくりと増加しています。最初のリターンを得るには多大な努力が必要です。このコースは、最初の難しい部分を飛び越えることを目的としています。このコースを受講した後、参加者はApache Sparkの基礎を理解し、RDDとDataFrameを明確に区別し、 PythonとScala APIを学習し、エグゼキューターとタスクなどを理解します。ベストプラクティスに従って、このコースはクラウド展開、Databricks、AWS。また、学生はAWS EMRとAWSの最新のSparkサービスの1つであるAWS Glueの違いを理解します。

聴衆：

データエンジニア、 DevOps 、データサイエンティスト

このインストラクターによるライブ・トレーニングは、Spark StreamingとScalaを使ってビッグデータをストリーミングしたいソフトウェア・エンジニアを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Scalaプログラミング言語を使ってSparkアプリケーションを作成します。
• Spark Streamingを使って連続的なデータストリームを処理する。
• Spark Streamingを使ってリアルタイムデータのストリームを処理する。

このインストラクターによるライブトレーニングは、SMACKスタックを使用してビッグデータソリューションのデータ処理プラットフォームを構築したいデータサイエンティストを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• ビッグデータを処理するためのデータパイプラインアーキテクチャを実装する。
• Apache MesosとDockerでクラスタインフラを開発する
。
• SparkとScalaを使ってデータを分析する
。
• Apache Cassandraで非構造化データを管理する
。

このインストラクターによるライブトレーニングは、.NETアプリケーションでApache Sparkを使用してビッグデータ分析を行いたい開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Apacheスパークをインストールし、設定する
。
• .NETアプリケーションからアクセスできるように、.NETがどのようにSpark APIを実装しているかを理解する
。
• C#またはF#を使用してデータ処理アプリケーションを開発し、テラバイトやペダバイト単位のデータセットを処理できるようにする。
• Apache Sparkの機能を使用して、.NETアプリケーションの機械学習機能を開発する。
• ビッグデータセットのSQLクエリーを使用して探索的分析を行う。

このインストラクターによるライブトレーニングは、Hadoopクラスタを組織内でセットアップ、デプロイ、管理する方法を学びたいシステム管理者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Apache Hadoopのインストールと設定を行う。
• Hadoopエコシステムの4つの主要コンポーネントを理解する：HDFS、MapReduce、YARN、および Hadoop Common。
• Hadoop分散ファイルシステム（Hadoop Distributed File System: HDFS）を使用する。
• Hadoop分散ファイルシステム(HDFS)を使用して、クラスタを数百、数千ノードにスケールする。
• オンプレミスの Spark デプロイメント用のストレージエンジンとして動作するように HDFS をセットアップします。
• Sparkをセットアップして、Amazon S3などの代替ストレージソリューションや、Redis、Elasticsearch、Couchbase、AerospikeなどのNoSQLデータベースシステムにアクセスする
。
• Apache Hadoop クラスタのプロビジョニング、管理、モニタリング、セキュリティ保護などの管理タスクを実行します。