Apache Spark MLlibのトレーニングコース

コースの形式

• インタラクティブな講義とディスカッション。
• 多くの演習と実習
。
• ライブラボ環境での実践的な実装。

コース・カスタマイズ・オプション

• このコースのカスタマイズトレーニングをご希望の場合は、お問い合わせください。

ビッグデータ分析では、相関関係、隠れたパターン、およびその他の有用な洞察を明らかにするために、大量のさまざまなデータセットを調べるプロセスが含まれます。

健康産業には、大量の複雑で異種の医療および臨床データがあります。医療データにビッグデータ分析を適用することは、医療の提供を改善するための洞察を引き出す大きな可能性を提示します。しかしながら、これらのデータセットの膨大さは、分析および臨床環境への実用化において大きな課題を投げかけている。

このインストラクター主導のライブトレーニング（リモート）では、参加者は一連の実践的なラボ実習を順を追って進めながら、ビッグデータ分析を健康のために実行する方法を学びます。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Hadoop MapReduceやSparkなどのビッグデータ分析ツールをインストールして設定する
• 医療データの特徴を理解する
• 医療データを扱うためにビッグデータ技術を適用する
• 健康応用の文脈でビッグデータシステムとアルゴリズムを研究する

観客

• 開発者
• データ科学者

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして実地練習。

注意

• このコースのためのカスタマイズされたトレーニングを要求するには、手配するために私達に連絡してください。

このインストラクターによるライブトレーニングは、Hadoopクラスタを組織内でセットアップ、デプロイ、管理する方法を学びたいシステム管理者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Apache Hadoopのインストールと設定を行う。
• Hadoopエコシステムの4つの主要コンポーネントを理解する：HDFS、MapReduce、YARN、および Hadoop Common。
• Hadoop分散ファイルシステム（Hadoop Distributed File System: HDFS）を使用する。
• Hadoop分散ファイルシステム(HDFS)を使用して、クラスタを数百、数千ノードにスケールする。
• オンプレミスの Spark デプロイメント用のストレージエンジンとして動作するように HDFS をセットアップします。
• Sparkをセットアップして、Amazon S3などの代替ストレージソリューションや、Redis、Elasticsearch、Couchbase、AerospikeなどのNoSQLデータベースシステムにアクセスする
。
• Apache Hadoop クラスタのプロビジョニング、管理、モニタリング、セキュリティ保護などの管理タスクを実行します。

日本 (オンラインまたはオンサイト) でのこのインストラクター主導のライブ トレーニングでは、Hortonworks Data Platform (HDP) について紹介し、参加者に Spark + Hadoop ソリューションの導入手順を説明します。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

Hortonworks を使用して、Hadoop を大規模に確実に実行します。 Hadoop のセキュリティ、ガバナンス、運用機能を Spark のアジャイル分析ワークフローと統合します。 Hortonworks を使用して、Spark プロジェクトの各コンポーネントを調査、検証、認証、サポートします。構造化データ、非構造化データ、移動中データ、静止データなど、さまざまな種類のデータを処理します。

このインストラクターによるライブトレーニングでは、既存のビッグデータストレージシステムや関連するソフトウェアアプリケーション、マイクロサービスと、さまざまなStream Processingフレームワークをセットアップし、統合する方法を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• SparkストリーミングやKafkaストリーミングなど、さまざまなStream Processingフレームワークをインストールして設定する。
• 業務に最適なフレームワークを理解し、選択する
。
• データを連続的、同時並行的に、レコードごとに処理する
。
• 既存のデータベース、データウェアハウス、データレイクなどとソリューションを統合する
。
• 最適なストリーム処理ライブラリをエンタープライズ・アプリケーションやマイクロサービスと統合する
。

マゲランは、ビッグデータの地宇宙分析のためのオープンソース配布実行エンジンです。 Apache Sparkの上に実施され、Spark SQLを拡張し、地宇宙分析のための相対的な抽象を提供します。

このインストラクター指導のライブトレーニングは、地質空間分析を実施するための概念とアプローチを紹介し、Spark上のMagellanを使用して予測分析アプリケーションを作成することによって参加者を歩きます。

このトレーニングの終了後、参加者は:

• 効率的に検索、パルス、およびスケールで地宇宙データセットに加わる
• ビジネスインテリジェンスおよび予測分析アプリケーションにおける地宇宙データの実施
• スペースコンテキストを使用して、モバイルデバイス、センサー、ロゴ、および携帯容器の機能を拡大します。

コースの形式

• インタラクティブな講義と議論
• たくさんの練習や実践。
• ライブラボ環境でのハンドオン実装

コースカスタマイズオプション

• このコースのためのカスタマイズされたトレーニングを要求するには、私たちに連絡して整理してください。

このインストラクターによるライブトレーニングは、.NETアプリケーションでApache Sparkを使用してビッグデータ分析を行いたい開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Apacheスパークをインストールし、設定する
。
• .NETアプリケーションからアクセスできるように、.NETがどのようにSpark APIを実装しているかを理解する
。
• C#またはF#を使用してデータ処理アプリケーションを開発し、テラバイトやペダバイト単位のデータセットを処理できるようにする。
• Apache Sparkの機能を使用して、.NETアプリケーションの機械学習機能を開発する。
• ビッグデータセットのSQLクエリーを使用して探索的分析を行う。

このインストラクターによるライブトレーニングは、SMACKスタックを使用してビッグデータソリューションのデータ処理プラットフォームを構築したいデータサイエンティストを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• ビッグデータを処理するためのデータパイプラインアーキテクチャを実装する。
• Apache MesosとDockerでクラスタインフラを開発する
。
• SparkとScalaを使ってデータを分析する
。
• Apache Cassandraで非構造化データを管理する
。

このインストラクターによるライブ・トレーニングは、非常に大量のデータを処理するためのApache Sparkシステムのセットアップと導入を希望するエンジニアを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Apache Sparkのインストールと設定
。
• 非常に大規模なデータセットを迅速に処理し、分析する
。
• Apache SparkとHadoopMapReduceの違いを理解し、いつどちらを使うべきか
。
• Apache Sparkを他の機械学習ツールと統合する
。

日本 でのこのインストラクター主導のライブ トレーニング (オンラインまたはオンサイト) は、Spark クラスターのデプロイ、保守、最適化を希望する初心者から中級レベルのシステム管理者を対象としています。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

• Apache Spark をさまざまな環境にインストールして設定します。
• クラスター リソースを管理し、Spark アプリケーションを監視します。
• Spark クラスターのパフォーマンスを最適化します。
• セキュリティ対策を実装し、高可用性を確保します。
• Spark の一般的な問題をデバッグおよびトラブルシューティングします。

Apache Sparkの学習曲線は最初はゆっくりと増加しています。最初のリターンを得るには多大な努力が必要です。このコースは、最初の難しい部分を飛び越えることを目的としています。このコースを受講した後、参加者はApache Sparkの基礎を理解し、RDDとDataFrameを明確に区別し、 PythonとScala APIを学習し、エグゼキューターとタスクなどを理解します。ベストプラクティスに従って、このコースはクラウド展開、Databricks、AWS。また、学生はAWS EMRとAWSの最新のSparkサービスの1つであるAWS Glueの違いを理解します。

聴衆：

データエンジニア、 DevOps 、データサイエンティスト

目的：

このコースではApache Sparkを紹介します。生徒は、SparkがBig Dataエコシステムにどのように適合するか、およびデータ分析にSparkを使用する方法を学びます。このコースでは、インタラクティブなデータ分析用のSparkシェル、Spark内部、Spark API、Spark SQL 、Sparkストリーミング、機械学習およびgraphXを扱います。

聴衆：

開発者/データアナリスト

このインストラクターによるライブトレーニングは、Apache Sparkの上に構築されたSpark NLPを使用して、自然言語テキスト処理モデルとパイプラインを開発、実装、拡張することを希望するデータサイエンティストと開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Spark NLPを使ってNLPパイプラインの構築を開始するために必要な開発環境をセットアップする
。
• Spark NLPを使うことの特徴、アーキテクチャ、利点を理解する
。
• Spark NLPで利用可能な事前学習済みモデルを使ってテキスト処理を実装する
。
• Spark NLPモデルをプロダクショングレードのプロジェクト用に構築、訓練、スケールする方法を学びます。
• 実際のユースケース(臨床データ、顧客行動の洞察など)に分類、推論、センチメント分析を適用する
。

このインストラクターによるライブトレーニングは、Spark、Hadoop、Pythonを使用して統合し、大規模で複雑なデータセットを処理、分析、変換することを希望する開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Spark、Hadoop、Pythonを使用してビッグデータの処理を開始するために必要な環境をセットアップする
。
• SparkとHadoopの機能、コアコンポーネント、アーキテクチャを理解する
。
• ビッグデータ処理のためにSpark、Hadoop、Pythonを統合する方法を学びます。
• Sparkエコシステム内のツール（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka、Flume）を探求する
。
• Netflix、YouTube、Amazon、Spotify、Googleと同様の協調フィルタリング推薦システムを構築する。
• 機械学習アルゴリズムをスケールさせるためにApache Mahoutを使用する。

このインストラクターによるライブ・トレーニングは、Spark StreamingとScalaを使ってビッグデータをストリーミングしたいソフトウェア・エンジニアを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Scalaプログラミング言語を使ってSparkアプリケーションを作成します。
• Spark Streamingを使って連続的なデータストリームを処理する。
• Spark Streamingを使ってリアルタイムデータのストリームを処理する。