Apache Spark Streaming with Scalaのトレーニングコース

このインストラクターによるライブ・トレーニングでは、PythonとSparkを組み合わせてビッグデータを分析する方法を、実習を交えながら学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• PythonでSparkを使ってビッグデータを分析する方法を学びます。
• 実際のケースを想定した演習に取り組みます。
• PySparkを使用したビッグデータ分析のためのさまざまなツールやテクニックを使用します。

このインストラクターによるライブ・トレーニングでは、グラフ・データを処理するためのテクノロジーと実装アプローチについて学びます。その目的は、実世界のオブジェクト、その特徴、関係を特定し、それらの関係をモデル化し、Graph Computing（グラフ分析とも呼ばれる）アプローチを使ってデータとして処理することです。本講演では、まず大まかな概要を説明し、ケーススタディ、実習、ライブデプロイメントを通して、特定のツールに絞り込んでいきます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• グラフデータがどのように永続化され、トラバースされるかを理解する
。
• 与えられたタスクに最適なフレームワークを選択する（グラフデータベースからバッチ処理フレームワークまで）
。
• Hadoop、Spark、GraphX、Pregelを実装し、多数のマシンでグラフコンピューティングを並列に実行する
。
• 現実のビッグデータ問題をグラフ、プロセス、トラバーサルの観点から見る。

MLlibはSparkの機械学習（ML）ライブラリです。その目標は、実用的な機械学習をスケーラブルかつ簡単にすることです。これは、分類、回帰、クラスタリング、協調フィルタリング、次元削減、低レベルの最適化プリミティブ、高レベルのパイプラインAPIなど、一般的な学習アルゴリズムとユーティリティで構成されています。

これは2つのパッケージに分けられます。

• spark.mllibには、RDDの上に構築されたオリジナルのAPIが含まれています。

• spark.mlは、MLパイプラインを構築するためのDataFrameの上に構築された高レベルAPIを提供します。

観客

このコースは、 Apache Spark用の組み込みMachine Libraryを利用しようとしているエンジニアや開発者を対象としています。

コースの形式

• インタラクティブな講義とディスカッション。
• 多くの演習と実習
。
• ライブラボ環境での実践的な実装。

コース・カスタマイズ・オプション

• このコースのカスタマイズトレーニングをご希望の場合は、お問い合わせください。

このトレーニングは、 Scala言語、プログラミングパラダイムの構文、および宇宙への応用の機会を提供することを目的としています。

このコースの目的は、 Machine Learning方法を実際に適用するための基本的な能力を提供することです。このコースでは、 Scalaプログラミング言語とそのさまざまなライブラリを使用し、多数の実用的な例に基づいて、 Machine Learning最も重要な構成要素の使用方法、データモデリングの決定方法、アルゴリズムの出力の解釈方法、結果を検証します。

私たちの目標は、 Machine Learningツールボックスの最も基本的なツールを自信を持って理解して使用するスキルを提供し、 Data Scienceのアプリケーションの一般的な落とし穴を回避することです。

Scalaは、カリー化、型推論、不変性、遅延評価、パターンマッチングなどの関数型プログラミング機能を備えた簡潔なオブジェクト指向言語です。 ScalaコードはJVM上で実行され、 Javaいくつかの欠点に対処するように設計されています。

このインストラクター主導のライブトレーニング参加者は、型システムを含むScalaの高度な機能を使用して、オブジェクト機能アプローチを使用してより良いコードを記述する方法を学びます。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Scalaの型システムを最大限に活用する
• 機能的に例外を処理する
• ScalaライブラリとDSLを作成する
• パターンマッチングにScalaの高度な機能を使用する

コースの形式

• 一部の講義、一部のディスカッション、演習、および実践的な実践

Scalaは、カリー化、型推論、不変性、遅延評価、パターンマッチングなどの関数型プログラミング機能を備えた簡潔なオブジェクト指向言語です。

このインストラクター主導のライブトレーニング参加者は、 Scalaの高度な機能を使用して、作成、読み取り、テスト、および変更が容易な、適切に構築されたソフトウェアを開発する方法を学習します。このトレーニングの焦点は、実世界のケーススタディとディスカッションをラボの演習とアクティビティのリファレンスとして使用する機能プログラミングです。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• 高度な関数型プログラミング手法を実装する
• 複雑なタイプの署名を理解する
• 型と置換によるコードの理解
• 機能的に例外を処理する
• ScalaライブラリとDSLを作成する
• パターンマッチングにScalaの高度な機能を使用する

コースの形式

• 一部の講義、一部のディスカッション、演習、および実践的な実践

このトレーニング・アウトラインは、初心者から中間レベル/先進レベルへの参加者をフレームワークの理解と知識に導くことを目的としています。

コース全体は手動で、主にトレーナーによって始まり、コード自体を生成する参加者に向かって徐々に移動します(そしてトレーナーによって書かれた実装/ソリューションをダウンロードします)。

参加者は事前に Scala の知識を得ることは期待されていません、トレーナーは、使用された Scala コードに関連するすべての迷惑を説明し、明確にするために必要な時間を取ります。

目的：

このコースではApache Sparkを紹介します。生徒は、SparkがBig Dataエコシステムにどのように適合するか、およびデータ分析にSparkを使用する方法を学びます。このコースでは、インタラクティブなデータ分析用のSparkシェル、Spark内部、Spark API、Spark SQL 、Sparkストリーミング、機械学習およびgraphXを扱います。

聴衆：

開発者/データアナリスト

日本 (オンラインまたはオンサイト) でのこのインストラクター主導のライブ トレーニングでは、Hortonworks Data Platform (HDP) について紹介し、参加者に Spark + Hadoop ソリューションの導入手順を説明します。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

Hortonworks を使用して、Hadoop を大規模に確実に実行します。 Hadoop のセキュリティ、ガバナンス、運用機能を Spark のアジャイル分析ワークフローと統合します。 Hortonworks を使用して、Spark プロジェクトの各コンポーネントを調査、検証、認証、サポートします。構造化データ、非構造化データ、移動中データ、静止データなど、さまざまな種類のデータを処理します。

マゲランは、ビッグデータの地宇宙分析のためのオープンソース配布実行エンジンです。 Apache Sparkの上に実施され、Spark SQLを拡張し、地宇宙分析のための相対的な抽象を提供します。

このインストラクター指導のライブトレーニングは、地質空間分析を実施するための概念とアプローチを紹介し、Spark上のMagellanを使用して予測分析アプリケーションを作成することによって参加者を歩きます。

このトレーニングの終了後、参加者は:

• 効率的に検索、パルス、およびスケールで地宇宙データセットに加わる
• ビジネスインテリジェンスおよび予測分析アプリケーションにおける地宇宙データの実施
• スペースコンテキストを使用して、モバイルデバイス、センサー、ロゴ、および携帯容器の機能を拡大します。

コースの形式

• インタラクティブな講義と議論
• たくさんの練習や実践。
• ライブラボ環境でのハンドオン実装

コースカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、私たちに連絡して整理してください。

Spark SQLは、構造化データと非構造化データを扱うためのApache Sparkのモジュールです。 Spark SQLはデータの構造と実行されている計算に関する情報を提供します。この情報は最適化を実行するために使用できます。 Spark SQL一般的な用途は2つありSQL 。
- SQLクエリを実行しSQL 。
- 既存のHiveインストールからデータを読み取る。

この講師主導のライブトレーニング（オンサイトまたはリモート）では、参加者はSpark SQLを使用してさまざまな種類のデータセットを分析する方法を学習しSQL 。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Spark SQLをインストールして設定しSQL 。
• Spark SQLを使用してデータ分析を実行しSQL 。
• さまざまな形式でデータセットをクエリします。
• データを視覚化し、結果を問い合わせます。

コースの形式

• インタラクティブな講演と討論
• たくさんの練習と練習。
• 実習ラボ環境での実践的な実装。

コースのカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。

このインストラクターによるライブトレーニングでは、既存のビッグデータストレージシステムや関連するソフトウェアアプリケーション、マイクロサービスと、さまざまなStream Processingフレームワークをセットアップし、統合する方法を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• SparkストリーミングやKafkaストリーミングなど、さまざまなStream Processingフレームワークをインストールして設定する。
• 業務に最適なフレームワークを理解し、選択する
。
• データを連続的、同時並行的に、レコードごとに処理する
。
• 既存のデータベース、データウェアハウス、データレイクなどとソリューションを統合する
。
• 最適なストリーム処理ライブラリをエンタープライズ・アプリケーションやマイクロサービスと統合する
。

ビッグデータ分析では、相関関係、隠れたパターン、およびその他の有用な洞察を明らかにするために、大量のさまざまなデータセットを調べるプロセスが含まれます。

健康産業には、大量の複雑で異種の医療および臨床データがあります。医療データにビッグデータ分析を適用することは、医療の提供を改善するための洞察を引き出す大きな可能性を提示します。しかしながら、これらのデータセットの膨大さは、分析および臨床環境への実用化において大きな課題を投げかけている。

このインストラクター主導のライブトレーニング（リモート）では、参加者は一連の実践的なラボ実習を順を追って進めながら、ビッグデータ分析を健康のために実行する方法を学びます。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Hadoop MapReduceやSparkなどのビッグデータ分析ツールをインストールして設定する
• 医療データの特徴を理解する
• 医療データを扱うためにビッグデータ技術を適用する
• 健康応用の文脈でビッグデータシステムとアルゴリズムを研究する

観客

• 開発者
• データ科学者

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして実地練習。

注意

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。