Alluxio: Unifying Disparate Storage Systemsのトレーニングコース

このインストラクターによるライブ・トレーニングでは、PythonとSparkを組み合わせてビッグデータを分析する方法を、実習を交えながら学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• PythonでSparkを使ってビッグデータを分析する方法を学びます。
• 実際のケースを想定した演習に取り組みます。
• PySparkを使用したビッグデータ分析のためのさまざまなツールやテクニックを使用します。

このインストラクターによるライブ・トレーニングでは、グラフ・データを処理するためのテクノロジーと実装アプローチについて学びます。その目的は、実世界のオブジェクト、その特徴、関係を特定し、それらの関係をモデル化し、Graph Computing（グラフ分析とも呼ばれる）アプローチを使ってデータとして処理することです。本講演では、まず大まかな概要を説明し、ケーススタディ、実習、ライブデプロイメントを通して、特定のツールに絞り込んでいきます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• グラフデータがどのように永続化され、トラバースされるかを理解する
。
• 与えられたタスクに最適なフレームワークを選択する（グラフデータベースからバッチ処理フレームワークまで）
。
• Hadoop、Spark、GraphX、Pregelを実装し、多数のマシンでグラフコンピューティングを並列に実行する
。
• 現実のビッグデータ問題をグラフ、プロセス、トラバーサルの観点から見る。

MLlibはSparkの機械学習（ML）ライブラリです。その目標は、実用的な機械学習をスケーラブルかつ簡単にすることです。これは、分類、回帰、クラスタリング、協調フィルタリング、次元削減、低レベルの最適化プリミティブ、高レベルのパイプラインAPIなど、一般的な学習アルゴリズムとユーティリティで構成されています。

これは2つのパッケージに分けられます。

• spark.mllibには、RDDの上に構築されたオリジナルのAPIが含まれています。

• spark.mlは、MLパイプラインを構築するためのDataFrameの上に構築された高レベルAPIを提供します。

観客

このコースは、 Apache Spark用の組み込みMachine Libraryを利用しようとしているエンジニアや開発者を対象としています。

コースの形式

• インタラクティブな講義とディスカッション。
• 多くの演習と実習
。
• ライブラボ環境での実践的な実装。

コース・カスタマイズ・オプション

• このコースのカスタマイズトレーニングをご希望の場合は、お問い合わせください。

日本 (オンラインまたはオンサイト) でのこのインストラクター主導のライブ トレーニングでは、Hortonworks Data Platform (HDP) について紹介し、参加者に Spark + Hadoop ソリューションの導入手順を説明します。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

Hortonworks を使用して、Hadoop を大規模に確実に実行します。 Hadoop のセキュリティ、ガバナンス、運用機能を Spark のアジャイル分析ワークフローと統合します。 Hortonworks を使用して、Spark プロジェクトの各コンポーネントを調査、検証、認証、サポートします。構造化データ、非構造化データ、移動中データ、静止データなど、さまざまな種類のデータを処理します。

Apache Ambariは、Apache Hadoopクラスタをプロビジョニング、管理、監視、および保護するためのオープンソース管理プラットフォームです。

このインストラクター主導のライブトレーニングでは、 Hadoopクラスターを正常に管理するためにAmbariが提供する管理ツールとプラクティスについて学びます。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Ambariを使用してライブBig Dataクラスターをセットアップする
• Ambariの高度な機能をさまざまなユースケースに適用する
• 必要に応じてシームレスにノードを追加および削除する
• 調整と調整によってHadoopクラスターのパフォーマンスを向上させる

観客

• DevOps
• システム管理者
• DBA
• Hadoopテスト専門家

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして激しい実習

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

このコースでは、使用する方法について説明Hive SQL言語を（AKA： Hive HQL、 SQL上のHive 、 Hive QL）からデータを抽出人々のためのHive

目的：

このコースではApache Sparkを紹介します。生徒は、SparkがBig Dataエコシステムにどのように適合するか、およびデータ分析にSparkを使用する方法を学びます。このコースでは、インタラクティブなデータ分析用のSparkシェル、Spark内部、Spark API、Spark SQL 、Sparkストリーミング、機械学習およびgraphXを扱います。

聴衆：

開発者/データアナリスト

マゲランは、ビッグデータの地宇宙分析のためのオープンソース配布実行エンジンです。 Apache Sparkの上に実施され、Spark SQLを拡張し、地宇宙分析のための相対的な抽象を提供します。

このインストラクター指導のライブトレーニングは、地質空間分析を実施するための概念とアプローチを紹介し、Spark上のMagellanを使用して予測分析アプリケーションを作成することによって参加者を歩きます。

このトレーニングの終了後、参加者は:

• 効率的に検索、パルス、およびスケールで地宇宙データセットに加わる
• ビジネスインテリジェンスおよび予測分析アプリケーションにおける地宇宙データの実施
• スペースコンテキストを使用して、モバイルデバイス、センサー、ロゴ、および携帯容器の機能を拡大します。

コースの形式

• インタラクティブな講義と議論
• たくさんの練習や実践。
• ライブラボ環境でのハンドオン実装

コースカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、私たちに連絡して整理してください。

Spark SQLは、構造化データと非構造化データを扱うためのApache Sparkのモジュールです。 Spark SQLはデータの構造と実行されている計算に関する情報を提供します。この情報は最適化を実行するために使用できます。 Spark SQL一般的な用途は2つありSQL 。
- SQLクエリを実行しSQL 。
- 既存のHiveインストールからデータを読み取る。

この講師主導のライブトレーニング（オンサイトまたはリモート）では、参加者はSpark SQLを使用してさまざまな種類のデータセットを分析する方法を学習しSQL 。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Spark SQLをインストールして設定しSQL 。
• Spark SQLを使用してデータ分析を実行しSQL 。
• さまざまな形式でデータセットをクエリします。
• データを視覚化し、結果を問い合わせます。

コースの形式

• インタラクティブな講演と討論
• たくさんの練習と練習。
• 実習ラボ環境での実践的な実装。

コースのカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。

このインストラクターによるライブトレーニングでは、既存のビッグデータストレージシステムや関連するソフトウェアアプリケーション、マイクロサービスと、さまざまなStream Processingフレームワークをセットアップし、統合する方法を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• SparkストリーミングやKafkaストリーミングなど、さまざまなStream Processingフレームワークをインストールして設定する。
• 業務に最適なフレームワークを理解し、選択する
。
• データを連続的、同時並行的に、レコードごとに処理する
。
• 既存のデータベース、データウェアハウス、データレイクなどとソリューションを統合する
。
• 最適なストリーム処理ライブラリをエンタープライズ・アプリケーションやマイクロサービスと統合する
。

ビッグデータ分析では、相関関係、隠れたパターン、およびその他の有用な洞察を明らかにするために、大量のさまざまなデータセットを調べるプロセスが含まれます。

健康産業には、大量の複雑で異種の医療および臨床データがあります。医療データにビッグデータ分析を適用することは、医療の提供を改善するための洞察を引き出す大きな可能性を提示します。しかしながら、これらのデータセットの膨大さは、分析および臨床環境への実用化において大きな課題を投げかけている。

このインストラクター主導のライブトレーニング（リモート）では、参加者は一連の実践的なラボ実習を順を追って進めながら、ビッグデータ分析を健康のために実行する方法を学びます。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Hadoop MapReduceやSparkなどのビッグデータ分析ツールをインストールして設定する
• 医療データの特徴を理解する
• 医療データを扱うためにビッグデータ技術を適用する
• 健康応用の文脈でビッグデータシステムとアルゴリズムを研究する

観客

• 開発者
• データ科学者

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして実地練習。

注意

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。

Apache Sparkの学習曲線は最初はゆっくりと増加しています。最初のリターンを得るには多大な努力が必要です。このコースは、最初の難しい部分を飛び越えることを目的としています。このコースを受講した後、参加者はApache Sparkの基礎を理解し、RDDとDataFrameを明確に区別し、 PythonとScala APIを学習し、エグゼキューターとタスクなどを理解します。ベストプラクティスに従って、このコースはクラウド展開、Databricks、AWS。また、学生はAWS EMRとAWSの最新のSparkサービスの1つであるAWS Glueの違いを理解します。

聴衆：

データエンジニア、 DevOps 、データサイエンティスト