A Practical Introduction to Stream Processingのトレーニングコース

Apache Apexは、ストリームとバッチ処理を統合するYARNネイティブプラットフォームです。動作中のビッグデータを、スケーラブル、パフォーマンス、フォールトトレラント、ステートフル、安全、分散、簡単に操作できる方法で処理します。

このインストラクター主導のライブトレーニングでは、 Apache Apexの統合ストリーム処理アーキテクチャを紹介し、Apex on Hadoopを使用して分散アプリケーションを作成する方法を説明します。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• ソースとシンクのコネクタ、一般的なデータ変換などのデータ処理パイプラインの概念を理解する
• Apexアプリケーションの構築、スケーリング、最適化
• リアルタイムデータストリームを最小限のレイテンシで確実に処理します
• Apex CoreとApex Malharライブラリを使用して、迅速なアプリケーション開発を可能にします
• Apex APIを使用して、既存のJavaコードを作成して再利用する
• Apexを処理エンジンとして他のアプリケーションに統合する
• Apexアプリケーションの調整、テスト、スケーリング

コースの形式

• インタラクティブな講義とディスカッション。
• たくさんの練習と練習。
• ライブラボ環境での実践的な実装。

コースのカスタマイズオプション

• このコースのカスタマイズされたトレーニングをリクエストするには、お問い合わせください。

Apache Stormは、リアルタイムビジネスインテリジェンスを可能にするために使用される配布されたリアルタイムコンピューティングエンジンです。 これは、アプリケーションが無制限のデータストリームを信頼性の高い処理を可能にすることによって行われます(例えば、 ストリーム処理)

"Storm is for real-time processing what Hadoop is for バッチ処理!"

このインストラクターによるライブトレーニングでは、参加者はインストールと設定の方法を学び、その後、リアルタイムでビッグデータを処理するためのアプリケーションの開発と導入を学びます。

このトレーニングに含まれるテーマのいくつかは以下のとおりです。

• 〔1〕 〔1〕 〔1〕 〔1〕 〔1〕 〔1〕
• 無制限データの処理
• 継続的な計算
• リアルタイム分析
• 配布されたRPCとETL処理

今すぐこのコースをお願いします!

観客

• ソフトウェアとETL開発者
• メインフレームプロ
• データ科学者
• 大型データアナリスト
• (3)専門家

コースの形式

• 参加講義、参加討論、練習、重い実践

このインストラクターによるライブ・トレーニング（オンサイトまたはリモート）では、参加者はライブ・ラボ環境でApache NiFiをデプロイし管理する方法を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Apachi NiFiのインストールと設定
。
• データベースやビッグデータレイクを含む、異種分散データソースからのデータ取得、変換、および管理
。
• データフローを自動化します。
• ストリーミング分析を可能にする。
• データ取り込みにさまざまなアプローチを適用する
。
• Big Dataをビジネスインサイトに変換する
。

このインストラクター主導のライブ・トレーニングでは、Apache NiFiを使用して多くのデモ拡張機能、コンポーネント、プロセッサを開発しながら、フローベースプログラミングの基礎を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• NiFiのアーキテクチャとデータフローの概念を理解する
。
• NiFiとサードパーティのAPIを使って拡張機能を開発する
。
• 独自の Apache Nifi プロセッサをカスタム開発する
。
• 異種かつ一般的でないファイル形式やデータソースからリアルタイムデータを取得し、処理する
。

日本 でのこのインストラクター主導のライブ トレーニング (オンラインまたはオンサイト) では、分散ストリームおよびバッチ データ処理の背後にある原則とアプローチを紹介し、参加者に Apache Flink でのリアルタイム データ ストリーミング アプリケーションの作成手順を説明します。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

データ分析アプリケーションを開発するための環境をセットアップします。 Apache Flink のグラフ処理ライブラリ (Gelly) がどのように機能するかを理解します。 Flink ベースのフォールト トレラントなデータ ストリーミング アプリケーションをパッケージ化、実行、監視します。多様なワークロードを管理します。高度な分析を実行します。マルチノード Flink クラスターをセットアップします。パフォーマンスを測定して最適化します。 Flink をさまざまな Big Data システムと統合します。 Flink の機能を他のビッグ データ処理フレームワークの機能と比較します。

このインストラクターによるライブ・トレーニングでは、PythonとSparkを組み合わせてビッグデータを分析する方法を、実習を交えながら学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• PythonでSparkを使ってビッグデータを分析する方法を学びます。
• 実際のケースを想定した演習に取り組みます。
• PySparkを使用したビッグデータ分析のためのさまざまなツールやテクニックを使用します。

このインストラクターによるライブ・トレーニングでは、グラフ・データを処理するためのテクノロジーと実装アプローチについて学びます。その目的は、実世界のオブジェクト、その特徴、関係を特定し、それらの関係をモデル化し、Graph Computing（グラフ分析とも呼ばれる）アプローチを使ってデータとして処理することです。本講演では、まず大まかな概要を説明し、ケーススタディ、実習、ライブデプロイメントを通して、特定のツールに絞り込んでいきます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• グラフデータがどのように永続化され、トラバースされるかを理解する
。
• 与えられたタスクに最適なフレームワークを選択する（グラフデータベースからバッチ処理フレームワークまで）
。
• Hadoop、Spark、GraphX、Pregelを実装し、多数のマシンでグラフコンピューティングを並列に実行する
。
• 現実のビッグデータ問題をグラフ、プロセス、トラバーサルの観点から見る。

MLlibはSparkの機械学習（ML）ライブラリです。その目標は、実用的な機械学習をスケーラブルかつ簡単にすることです。これは、分類、回帰、クラスタリング、協調フィルタリング、次元削減、低レベルの最適化プリミティブ、高レベルのパイプラインAPIなど、一般的な学習アルゴリズムとユーティリティで構成されています。

これは2つのパッケージに分けられます。

• spark.mllibには、RDDの上に構築されたオリジナルのAPIが含まれています。

• spark.mlは、MLパイプラインを構築するためのDataFrameの上に構築された高レベルAPIを提供します。

観客

このコースは、 Apache Spark用の組み込みMachine Libraryを利用しようとしているエンジニアや開発者を対象としています。

コースの形式

• インタラクティブな講義とディスカッション。
• 多くの演習と実習
。
• ライブラボ環境での実践的な実装。

コース・カスタマイズ・オプション

• このコースのカスタマイズトレーニングをご希望の場合は、お問い合わせください。

Apache Samzaは、ストリーム処理用のオープンソースの準リアルタイムの非同期計算フレームワークです。メッセージングにはApache Kafkaを使用し、フォールトトレランス、プロセッサの隔離、セキュリティ、およびリソース管理にはApache Hadoop YARNを使用します。

このインストラクター主導のライブトレーニングでは、サンプルのSamzaベースのプロジェクトの作成とジョブの実行を通じて参加者をウォーキングしながら、メッセージングシステムと分散ストリーム処理の背後にある原則を紹介します。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Samzaを使用して、メッセージの生成と消費に必要なコードを単純化してください。
• アプリケーションからのメッセージの処理を切り離します。
• Samzaを使用して、ほぼリアルタイムの非同期計算を実装します。
• ストリーム処理を使用して、メッセージングシステムよりも高度な抽象化を提供します。

観客

• 開発者

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして激しい実習

Kafka Streamsは、データがKafkaメッセージングシステムとやり取りされるアプリケーションおよびマイクロサービスを構築するためのクライアントサイドライブラリです。伝統的に、 Apache Kafkaはメッセージプロデューサとコンシューマの間でデータを処理するためにApache SparkまたはApache Stormに依存していました。アプリケーション内からKafka Streams APIを呼び出すことで、データをKafka内で直接処理できます。処理のためにデータを別のクラスターに送信する必要がありません。

この講師主導のライブトレーニングでは、参加者は、Kafka Streamsを、ストリーム処理のためにApache Kafkaとの間でデータをやり取りする一連のサンプルJavaアプリケーションに統合する方法を学習します。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Kafka Streamsの機能と他のストリーム処理フレームワークに対する利点を理解する
• Kafkaクラスタ内で直接ストリームデータを処理する
• KafkaおよびKafka Streamsと統合するJavaまたはScalaアプリケーションまたはマイクロサービスを書く
• 入力Kafkaトピックを出力Kafkaトピックに変換する簡潔なコードを書く
• アプリケーションをビルド、パッケージ化、およびデプロイする

観客

• 開発者

コースの 形式

• パートレクチャー、パートディスカッション、エクササイズ、そして激しい実習

ノート

• このコースのためのカスタマイズされたトレーニングを要求するために、手配するために私達に連絡してください