Talend Big Data Integrationのトレーニングコース

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルのデータサイエンティストやエンジニアを対象としており、Google ColabとApache Sparkを使用してビッグデータの処理と分析を行いたい方々向けです。

このトレーニング終了時には、参加者は以下ができることを目指します：

• Google ColabとSparkを使用してビッグデータ環境をセットアップする。
• Apache Sparkを使用して大量のデータセットを効率的に処理および分析する。
• 協調的な環境でビッグデータを可視化する。
• Apache Sparkとクラウドベースのツールを統合する。

Apache Hadoopは、サーバークラスター上でビッグデータを処理する最も人気のあるフレームワークです。この3日間（またはオプションで4日間）のコースでは、参加者はHadoopとそのエコシステムのビジネス上の利点やユースケースについて学びます。また、クラスタの展開計画と拡大方法、インストール、メンテナンス、監視、トラブルシューティング、最適化方法を学びます。さらに、大量データのロード、さまざまなHadoopディストリビューションへの慣れ、Hadoopエコシステムツールのインストールと管理について実践します。コースはクラスタのKerberosによるセキュリティ設定に関する議論で締めくくります。

「...教材が非常によく準備され、徹底的にカバーされていました。ラボは非常に役立ち、整理が整っていました」
— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

対象者

Hadoop管理者

形式

講義と実践的なラボ、大体60%が講義、40%がラボです。

Apache NiFiは、オープンソースのフローベースのデータ統合とイベント処理プラットフォームです。異なるシステム間での自動化されたリアルタイムのデータルーティング、変換、およびシステム間の中継を可能にします。WebベースのUIと細かい制御が特徴です。

このインストラクター主導のライブトレーニング（オンサイトまたはリモート）は、中級レベルの管理者やエンジニア向けで、NiFiデータフローを実稼働環境で展開、管理、保護、最適化する方法を学びます。

このトレーニング終了時には、参加者は以下のことができるようになります：

• Apache NiFiクラスタのインストール、設定、および維持管理を行う。
• 様々なソースとシンクからのデータフローを設計し管理する。
• フローオートメーション、ルーティング、および変換ロジックを実装する。
• 性能を最適化し、運用状況を監視し、問題をトラブルシューティングする。

コースの形式

• 実践的な講義と実際のアーキテクチャについての議論。
• フローの構築、展開、管理に関するハンズオンラボ。
• 実践的なシナリオに基づく演習。

コースのカスタマイゼーションオプション

• このコースのカスタマイズされたトレーニングを依頼する場合は、お問い合わせください。

この講師主導のライブトレーニングでは、参加者はフローに基づくプログラミングの基礎を学びながら、Apache NiFi を使用してデモ用の拡張機能、コンポーネント、プロセッサを開発します。

このトレーニング終了時には、参加者は以下のことができます：

• NiFi のアーキテクチャとデータフローの概念を理解する。
• NiFi とサードパーティ API を使用して拡張機能を開発する。
• 独自の Apache NiFi プロセッサをカスタム開発する。
• 異なるフォーマットやデータソースからリアルタイムでデータを取り込み、処理する。

このトレーニングは、PySpark を使用したスケーラブルなデータ処理および機械学習ワークフローの構築に関する実践的な入門を提供します。参加者は、Apache Spark が現代のビッグデータエコシステム内でどのように動作するか、分散コンピューティングの原則を用いて大規模データセットを効率的に処理する方法を学びます。

この講師主導のライブトレーニング（オンラインまたはオンサイト）は、大量のデータを処理するために Apache Spark システムを設定し展開したいエンジニア向けです。

本トレーニング終了後、参加者は以下のことが行えるようになります：

• Apache Spark をインストールおよび設定する。
• 大量のデータセットを迅速に処理し分析する。
• Apache Spark と Hadoop MapReduce の違いを理解し、どちらを使用すべきか判断できる。
• 他の機械学習ツールと Apache Spark を統合する。

この講師主導のライブトレーニング（オンラインまたは対面）は、初級から中級レベルのシステム管理者を対象としており、Spark クラスタの展開、維持、最適化を目指しています。

このトレーニングの終了時には、参加者は以下のことができるようになります：

• 様々な環境での Apache Spark のインストールと設定を行うことができます。
• クラスタ リソースを管理し、Spark アプリケーションを監視することができます。
• Spark クラスタのパフォーマンスを最適化することができます。
• セキュリティ対策を実施し、高可用性を確保することができます。
• 一般的な Spark の問題のデバッグとトラブルシューティングを行うことができます。

Apache Spark の学習曲線は最初緩やかに上昇しますが、初めて成果を得るためには多くの努力が必要です。このコースは、最初の難しい部分を飛ばすことを目指しています。このコースを修了した参加者は、Apache Spark の基本を理解し、RDD と DataFrame を明確に区別し、Python と Scala API を学び、実行者とタスクを理解するなど、多くのスキルを身につけることができます。また、ベストプラクティスに基づいて、このコースはクラウド展開、Databricks および AWS に強い焦点を当てています。学生たちは、AWS EMR と AWS Glue の違いも理解し、AWS の最新の Spark サービスの一つである AWS Glue についても学びます。

対象者:

Data Engineer, DevOps, Data Scientist

目的:

このコースでは、Apache Spark の概要を紹介します。受講者は Big Data エコシステムにおける Spark の位置づけと、データ分析に Spark を使用する方法を学びます。Spark shell での対話型データ分析、Spark の内部構造、API、SQL、ストリーミング、機械学習、GraphX について説明します。

対象者:

開発者 / データアナリスト

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、Apache Spark 上で構築された Spark NLP を使用して自然言語テキスト処理モデルとパイプラインを開発、実装、スケーリングしたいデータサイエンティストや開発者を対象としています。

このトレーニングの終了時には、参加者は以下のことをできるようになります：

• Spark NLP で NLP パイプラインの構築に必要な開発環境をセットアップします。
• Spark NLP の機能、アーキテクチャ、および使用上の利点を理解します。
• Spark NLP で利用可能な事前学習済みモデルを使用してテキスト処理を実装します。
• Spark NLP モデルの構築、訓練、スケーリング方法を学びます。
• 分類、推論、感情分析を実際のユースケース（臨床データ、顧客行動の洞察など）に適用します。

このインストラクター主導のライブトレーニングでは、参加者は手順演習を通じてPythonとSparkを組み合わせてビッグデータを分析する方法を学びます。

このトレーニング終了時には、参加者は以下のことをできるようになります：

• Pythonを使用してSparkでビッグデータを分析する方法を学ぶ。
• 現実の事例を模した演習を行う。
• PySparkを使用したビッグデータ分析のさまざまなツールと技術を利用する。

この講師主導の実践トレーニング（オンラインまたはオンサイト）は、Spark、Hadoop、およびPythonを使用して大規模で複雑なデータセットを処理、分析、変換することを目指す開発者向けです。

このトレーニングの終了時には、参加者は以下のことができるようになります：

• Spark、Hadoop、およびPythonを使用してビッグデータの処理を開始するために必要な環境をセットアップする。
• SparkとHadoopの特徴、主要なコンポーネント、アーキテクチャを理解する。
• Spark、Hadoop、およびPythonを統合してビッグデータの処理を行う方法を学ぶ。
• Sparkエコシステム内のツール（Spark MlLib、Spark Streaming、Kafka、Sqoop、Flume）を探索する。
• Netflix、YouTube、Amazon、Spotify、Googleなどに類似した協調フィルタリング推薦システムを構築する。
• Apache Mahoutを使用して機械学習アルゴリズムをスケーリングする。

Spark SQLは、構造化データと非構造化データを処理するためのApache Sparkのモジュールです。Spark SQLは、データの構造や実行される計算に関する情報を提供します。この情報は最適化に使用されます。Spark SQLの一般的な用途には以下があります：
- SQLクエリの実行。
- 既存のHiveインストールからデータを読み取ります。

この講師主導のライブトレーニング（オンサイトまたはリモート）では、参加者はSpark SQLを使用してさまざまなタイプのデータセットを分析する方法を学びます。

このトレーニング終了時には、参加者は以下のことが Able to できます：

• Spark SQLをインストールおよび構成します。
• Spark SQLを使用してデータ分析を行います。
• 異なる形式のデータセットをクエリします。
• データとクエリ結果を可視化します。

コースの形式

• 対話型の講義とディスカッション。
• 多くの演習と実践。
• ライブラボ環境での手動実装。

コースのカスタマイズオプション

• このコースのカスタマイズ化されたトレーニングを希望する場合は、お問い合わせください。

Stratioは、ビッグデータ、AI、ガバナンスを統合したデータ中心のプラットフォームです。そのRocketとIntelligenceモジュールにより、エンタープライズ環境での迅速なデータ探索、変換、高度な分析が可能になります。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルのデータ専門家を対象とし、PySparkを使用してStratioのRocketとIntelligenceモジュールを効果的に活用することに焦点を当てます。ループ構造、ユーザー定義関数、および高度なデータロジックが重点となります。

このトレーニングの終了時には、参加者は以下が Able to できます：

• RocketとIntelligenceモジュールを使用してStratioプラットフォームをナビゲートし、操作する。
• データの取り込み、変換、分析の文脈でPySparkを適用する。
• ループと条件ロジックを使用してデータワークフローと特徴エンジニアリングタスクを制御する。
• 再利用可能なデータ操作のため、PySparkでユーザー定義関数（UDFs）を作成および管理する。

コース形式

• インタラクティブな講義とディスカッション。
• 多数の演習と実践。
• ライブラボ環境での手動実装。

コースカスタマイズオプション

• このコースのカスタマイズトレーニングを依頼するには、お問い合わせください。