日本のビッグデータトレーニング

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルのデータサイエンティストやエンジニアを対象としており、Google ColabとApache Sparkを使用してビッグデータの処理と分析を行いたい方々向けです。

このトレーニング終了時には、参加者は以下ができることを目指します：

• Google ColabとSparkを使用してビッグデータ環境をセットアップする。
• Apache Sparkを使用して大量のデータセットを効率的に処理および分析する。
• 協調的な環境でビッグデータを可視化する。
• Apache Sparkとクラウドベースのツールを統合する。

Stratioは、ビッグデータ、AI、ガバナンスを統合したデータ中心のプラットフォームです。そのRocketとIntelligenceモジュールにより、エンタープライズ環境での迅速なデータ探索、変換、高度な分析が可能になります。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルのデータ専門家を対象とし、PySparkを使用してStratioのRocketとIntelligenceモジュールを効果的に活用することに焦点を当てます。ループ構造、ユーザー定義関数、および高度なデータロジックが重点となります。

このトレーニングの終了時には、参加者は以下が Able to できます：

• RocketとIntelligenceモジュールを使用してStratioプラットフォームをナビゲートし、操作する。
• データの取り込み、変換、分析の文脈でPySparkを適用する。
• ループと条件ロジックを使用してデータワークフローと特徴エンジニアリングタスクを制御する。
• 再利用可能なデータ操作のため、PySparkでユーザー定義関数（UDFs）を作成および管理する。

コース形式

• インタラクティブな講義とディスカッション。
• 多数の演習と実践。
• ライブラボ環境での手動実装。

コースカスタマイズオプション

• このコースのカスタマイズトレーニングを依頼するには、お問い合わせください。

データウェアハウスは、分析、レポート作成、意思決定を支援する集中型のデータリポジトリを設計、構築、運用する実践です。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルのデータ専門家向けに、次元モデルの作成、堅牢なETLパイプラインの構築、および分析ワークロードの最適化を学ぶことを目指しています。

このトレーニング終了時には、受講者は以下のことが Able to できます：

• データウェアハウスの核心的な概念とアーキテクチャを説明する。
• 次元モデルを設計し、スター スキーマとスノーフレーク スキーマを選択する。
• ETL および ELT パイプラインを確実に構築し、オーケストレーションを行う。
• OLTP と OLAP のワークロードの違いを理解し、分析に最適化する。

コースの形式

• インタラクティブな講義とディスカッション。
• 多数の演習と練習。
• ライブ実装環境での手を動かす実践。

コースのカスタマイズ オプション

• このコースのカスタマイズ版をご希望の場合は、お問い合わせください。

日本でこのインストラクター主導のライブトレーニングを修了した参加者は、ビッグデータおよび関連技術、手法、ツールについて実践的な理解を得ることができます。

参加者は手動演習を通じてこの知識を実践する機会があります。グループでの相互作用とインストラクターからのフィードバックがクラスの重要な構成要素となっています。

コースはビッグデータの基本概念の紹介から始まり、次にデータ分析を行うためのプログラミング言語と手法について進みます。最後に、ビッグデータのストレージ、分散処理、スケーラビリティを可能にするツールやインフラストラクチャについて議論します。

Greenplum は、大規模な分析およびデータ環境向けに設計されたオープンソースのマスivement並列処理（MPP）データプラットフォームです。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級者から上級者の技術ユーザーを対象としており、Greenplum の内部アーキテクチャを理解し、最適化されたデータモデルを構築し、分散環境での高パフォーマンス SQL を適用する方法を学びます。

このトレーニングの終了時には、参加者は以下のことが Able to できるようになります：

• Greenplum の無共有アーキテクチャと並列処理モデルを理解する。
• クエリパフォーマンスに最適化された分散テーブル構造とパーティションを設計する。
• インデックシング戦略、ストレージ形式、物理設計手法を使用する。
• EXPLAIN プランを解釈し、ベストプラクティスを使用してクエリを最適化する。

コースの形式

• 交互的な講義とディスカッション。
• 多数の演習と実践。
• ライブラボ環境での手動実装。

コースのカスタマイズオプション

• このコースのカスタマイズされたトレーニングをご希望の場合は、お問い合わせください。

Greenplum は PostgreSQL をベースとするオープンソースの大量並列データプラットフォームで、高度な分析と大規模なデータウェアハウス向けに設計されています。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルの管理者を対象としており、Greenplum 環境を効果的にインストール、構成、管理する方法やシステムアップデートとライブラリの管理方法について学びます。

このトレーニング終了時には、参加者は以下のことができます：

• 生産環境向けの Greenplum クラスタをインストールおよび構成します。
• システムアップデートを安全に管理し、パッチを適用します。
• アナリティクスと拡張機能のための Greenplum ライブラリを管理します。
• Greenplum システムのトラブルシューティングと監視を行います。

コースの形式

• 交互的な講義とディスカッション。
• コントロールされたラボ環境での Greenplum の実践的な使用。
• クラスタのセットアップ、アップグレードのワークフロー、システム拡張に焦点を当てたガイダンス付き演習。

コースカスタマイゼーションオプション

• 環境やデータプラットフォームに応じて、このコースのカスタマイズされたトレーニングを希望する場合は、お問い合わせください。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、高度なレベルのデータ専門家向けで、データ処理ワークフローの最適化、データの一貫性の確保、現代的なビッグデータアプリケーションに耐えられる堅牢なデータレイクハウスソリューションの実装を目指しています。

このトレーニングを終了した参加者は、以下のことができます：

• Iceberg のアーキテクチャ（メタデータ管理とファイルレイアウトなど）について詳細な理解を得る。
• さまざまな環境での最適パフォーマンスのための Iceberg 設定を学び、複数のデータ処理エンジンとの統合を行う。
• 大規模な Iceberg テーブルの管理、複雑なスキーマ変更、パーティション進化の取り扱いを学ぶ。
• 大容量データセットのクエリパフォーマンスとデータスキャン効率を最適化する技術を習得する。
• データの一貫性を確保し、トランザクショナル保証を管理し、分散環境での障害を処理するメカニズムの実装を学ぶ。

この講師主導のライブトレーニング（オンラインまたはオンサイト）は、初心者レベルのデータプロフェッショナル向けで、Apache Iceberg を使用して大規模データセットを効果的に管理し、データ整合性を確保し、データ処理ワークフローを最適化するための知識とスキルを習得することを目指しています。

本トレーニング終了時には、参加者は次のことが able to:

• Apache Iceberg のアーキテクチャ、特徴、および利点を十分に理解します。
• テーブル形式、パーティショニング、スキーマ進化、時間移行機能について学びます。
• 異なる環境で Apache Iceberg をインストールおよび設定します。
• Iceberg テーブルの作成、管理、操作を行います。
• 他のテーブル形式から Iceberg へのデータ移行プロセスを理解します。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、中級レベルのIT専門家向けで、データアーキテクチャ、ガバナンス、クラウドコンピューティング、およびビッグデータ技術のスキルを向上させ、組織内の大量データセットの移行と管理に効果的に対応したい方を対象としています。

このトレーニング終了時には、参加者は以下のことが可能です：

• さまざまなデータアーキテクチャの基本概念と構成要素を理解する。
• データガバナンスの原則とその規制環境における重要性について包括的に理解する。
• Dama、Togafなどのデータガバナンスフレームワークを実装および管理する。
• クラウドプラットフォームを利用して効率的なデータストレージ、処理、管理を行う。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、効果的なデータ解析ソリューションを使用するためにAzure Data Lake Storage Gen2を学びたい中級レベルのデータエンジニア向けです。

本トレーニング終了時には、参加者は以下のことができます：

• Azure Data Lake Storage Gen2のアーキテクチャと主要機能を理解します。
• コストとパフォーマンスのためにデータストレージとアクセスを最適化します。
• Azure Data Lake Storage Gen2を他のAzureサービスと統合して、分析とデータ処理を行います。
• Azure Data Lake Storage Gen2 APIを使用してソリューションを開発します。
• 一般的な問題をトラブルシューティングし、ストレージ戦略を最適化します。

この講師主導の実践トレーニング（オンラインまたはオンサイト）は、Spark、Hadoop、およびPythonを使用して大規模で複雑なデータセットを処理、分析、変換することを目指す開発者向けです。

このトレーニングの終了時には、参加者は以下のことができるようになります：

• Spark、Hadoop、およびPythonを使用してビッグデータの処理を開始するために必要な環境をセットアップする。
• SparkとHadoopの特徴、主要なコンポーネント、アーキテクチャを理解する。
• Spark、Hadoop、およびPythonを統合してビッグデータの処理を行う方法を学ぶ。
• Sparkエコシステム内のツール（Spark MlLib、Spark Streaming、Kafka、Sqoop、Flume）を探索する。
• Netflix、YouTube、Amazon、Spotify、Googleなどに類似した協調フィルタリング推薦システムを構築する。
• Apache Mahoutを使用して機械学習アルゴリズムをスケーリングする。

Big Dataと高度な分析は、大量で複雑なデータセットから具体的な洞察や戦略的な意思決定を得るために洗練された手法やツールを適用することです。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、予測分析、処方分析、リアルタイム分析のために最先端の分析方法とビッグデータ技術を活用したい高度なレベルのデータ専門家向けです。

このトレーニングが完了すると、参加者は以下のことができます：

• 構造化されたデータと非構造化されたデータのための大規模データ処理パイプラインを設計および実装します。
• 大量のデータセットに対して高度な機械学習や深層学習技術を適用します。
• リアルタイム分析とデータストリーミングのために分散コンピューティングフレームワークを活用します。
• ビッグデータ分析をビジネスインテリジェンスや意思決定システムに統合します。

コースの形式

• 対話型講義とディスカッション。
• 多くの演習と実践。
• ライブラボ環境での手動実装。

コースのカスタマイズオプション

• このコースのカスタマイズトレーニングを希望する場合は、お問い合わせください。

このインストラクター主導のライブトレーニング（オンラインまたは対面）は、中級レベルのITプロフェッショナル向けです。このトレーニングでは、IBM DataStageを管理および利用するための包括的な理解を得ることができます。これにより、彼らはそれぞれの職場でこのツールを効果的に使用することができます。

このトレーニング終了時には、参加者は以下のことができるようになります：

• DataStageの基本概念を理解する。
• DataStage環境を効果的にインストール、設定、管理する方法を学ぶ。
• データベース、テキストファイル、外部ソースからデータを効率的に抽出する。
• 効果的なデータロード手法を実装する。

この講師主導のライブトレーニング（オンラインまたは対面）は、初級から中級レベルのシステム管理者を対象としており、Spark クラスタの展開、維持、最適化を目指しています。

このトレーニングの終了時には、参加者は以下のことができるようになります：

• 様々な環境での Apache Spark のインストールと設定を行うことができます。
• クラスタ リソースを管理し、Spark アプリケーションを監視することができます。
• Spark クラスタのパフォーマンスを最適化することができます。
• セキュリティ対策を実施し、高可用性を確保することができます。
• 一般的な Spark の問題のデバッグとトラブルシューティングを行うことができます。

このインストラクター主導のライブトレーニングでは、参加者は手順演習を通じてPythonとSparkを組み合わせてビッグデータを分析する方法を学びます。

このトレーニング終了時には、参加者は以下のことをできるようになります：

• Pythonを使用してSparkでビッグデータを分析する方法を学ぶ。
• 現実の事例を模した演習を行う。
• PySparkを使用したビッグデータ分析のさまざまなツールと技術を利用する。

技術の進歩と情報量の増加により、多くの業界、特に政府において、ビジネスの遂行方法が変革されています。スマートフォンやアプリケーション、センサーやデバイス、クラウドコンピューティングソリューション、市民向けポータルの急速な普及に伴い、政府データの生成とデジタルアーカイブのレートは上昇しています。デジタル情報が拡大し複雑化するにつれ、その管理、処理、保存、セキュリティ、および廃棄もより複雑になります。新たな収集、検索、発見、分析ツールにより、組織は非構造化データから洞察を得ることが可能になっています。政府市場は転換点に達しており、情報が戦略的な資産であることを認識し、政府は構造化されたおよび非構造化された情報を保護し、活用し、分析することでより良いサービスを提供し、ミッション要件を満たすことができるようになっています。政府の指導者がデータ駆動型組織への進化を目指して成功するためには、イベント、人々、プロセス、情報間の依存関係を相関させる基盤を整える必要があります。

価値ある政府ソリューションは、最も破壊的な技術を組み合わせて作成されます：

• モバイルデバイスとアプリケーション
• クラウドサービス
• ソーシャルビジネステクノロジーとネットワーキング
• ビッグデータと分析

大規模データは、知能化された業界ソリューションの1つであり、大量のデータを分析することで得られるパターンに基づいて政府がより良い決定を下すことを可能にします。

しかし、これらの成果を達成するには単に大量のデータを蓄積するだけでなく、さらに多くのことがあります。ホワイトハウス科学技術政策局（OSTP）のトム・カリルとフェン・ジャオは、OSTPブログの投稿で次のように述べています。「ビッグデータの大規模な量から意味を導き出すには、多様な情報ストリームから有用な知識を抽出し分析できる最先端のツールやテクノロジーが必要です。」

ホワイトハウスは2012年に、ビッグデータ研究開発イニシアチブを設立することで、機関がこれらの技術を見つける手助けをしました。このイニシアチブには2億ドル以上が投じられ、ビッグデータの爆発とその分析に必要なツールの活用を促進するためのものです。

ビッグデータがもたらす課題は、その約束が希望的であるように、困難です。効率的にデータを保存することがこれらの課題の1つです。予算は常に限られているため、機関は1メガバイトあたりの保存コストを最小限に抑え、ユーザーが必要とするときに必要な方法で簡単にアクセスできるようデータを保持する必要があります。大量のデータをバックアップすることはこの課題を高めます。

データを効果的に分析することも大きな課題です。多くの機関は、商業的なツールを使用して大量のデータを解析し、より効率的に運用できるようになるためのトレンドを見つけることができます。（MeriTalkによる最近の調査では、連邦IT幹部がビッグデータによって5000億ドル以上の節約が可能になると考えていることが示されています。）

カスタム開発された大規模データツールも、機関がデータを分析する必要性に対処するために使用されています。例えば、オークリッジ国立研究所の計算データ解析グループは、Piranhaデータ解析システムを他の機関に提供しています。このシステムは医療研究者に大動脈瘤の予兆を早期発見できるリンクを見つけ出すのに役立ちました。また、履歴書から求職者と採用担当者を結びつけるようなより一般的なタスクにも使用されています。

日本でのこのインストラクターリードの実践的なトレーニングでは、参加者はビッグデータ技術へのアプローチ方法、既存のプロセスやポリシーへの影響を評価し、これらの技術を犯罪活動の特定と防止に活用する方法を学びます。世界中の法執行機関が採用した事例研究を通じて、そのアプローチ、課題、結果についての洞察を得ます。

このトレーニング終了時には、参加者は以下のことが Able to となります:

• 捜査中に物語をつなぎ合わせるために、ビッグデータ技術と従来の情報収集プロセスを組み合わせる。
• データ分析のために産業用の大規模データ保存および処理ソリューションを実装する。
• 犯罪捜査にデータ駆動型アプローチを導入するための最適なツールとプロセスの提案書を作成する。

ビッグデータとは、大量のデータセットの保存と処理のために設計されたソリューションのことを指します。Googleが最初に開発したこれらのビッグデータソリューションは進化し、多くの類似プロジェクトをインスパイアしました。その多くはオープンソースで利用可能です。Rは金融業界で人気のあるプログラミング言語です。

コース概要

このコースは、リアルタイムデータストリーミングシステムの構築のための実践的で構造化された入門講座です。大規模な連続データの処理に使用されるコアコンセプト、アーキテクチャパターン、および業界標準のツールを取り上げます。参加者は、現代的なフレームワークを使用してストリーミングパイプラインの設計、実装、および最適化方法を学びます。コースは基礎的な概念から実践的な応用まで段階的に展開され、受講者が実運用に耐えうるリアルタイムソリューションを自信を持って構築できるよう支援します。

トレーニングの形式

・インストラクターによる指導付きセッション

・実世界例を用いたコンセプト解説

・ハンズオンデモンストレーションとコーディング演習

・日次トピックに連動した段階的なラボ演習

・インタラクティブなディスカッションとQ&A

コースの目的

・リアルタイムデータストリーミングのコンセプトとシステムアーキテクチャを理解する

・バッチ処理とストリーミングデータ処理のモデルの違いを明確にする

・スケーラブルで障害に強いストリーミングパイプラインを設計する

・分散型ストリーミングツールおよびフレームワークを活用する

・イベント時間処理、ウィンドウ処理、ステートフル操作を適用する

・ビジネスユースケースに対応するリアルタイムデータソリューションを構築・最適化する

Apache Hadoopは、サーバークラスター上でビッグデータを処理する最も人気のあるフレームワークです。この3日間（またはオプションで4日間）のコースでは、参加者はHadoopとそのエコシステムのビジネス上の利点やユースケースについて学びます。また、クラスタの展開計画と拡大方法、インストール、メンテナンス、監視、トラブルシューティング、最適化方法を学びます。さらに、大量データのロード、さまざまなHadoopディストリビューションへの慣れ、Hadoopエコシステムツールのインストールと管理について実践します。コースはクラスタのKerberosによるセキュリティ設定に関する議論で締めくくります。

「...教材が非常によく準備され、徹底的にカバーされていました。ラボは非常に役立ち、整理が整っていました」
— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

対象者

Hadoop管理者

形式

講義と実践的なラボ、大体60%が講義、40%がラボです。

Apache NiFiは、オープンソースのフローベースのデータ統合とイベント処理プラットフォームです。異なるシステム間での自動化されたリアルタイムのデータルーティング、変換、およびシステム間の中継を可能にします。WebベースのUIと細かい制御が特徴です。

このインストラクター主導のライブトレーニング（オンサイトまたはリモート）は、中級レベルの管理者やエンジニア向けで、NiFiデータフローを実稼働環境で展開、管理、保護、最適化する方法を学びます。

このトレーニング終了時には、参加者は以下のことができるようになります：

• Apache NiFiクラスタのインストール、設定、および維持管理を行う。
• 様々なソースとシンクからのデータフローを設計し管理する。
• フローオートメーション、ルーティング、および変換ロジックを実装する。
• 性能を最適化し、運用状況を監視し、問題をトラブルシューティングする。

コースの形式

• 実践的な講義と実際のアーキテクチャについての議論。
• フローの構築、展開、管理に関するハンズオンラボ。
• 実践的なシナリオに基づく演習。

コースのカスタマイゼーションオプション

• このコースのカスタマイズされたトレーニングを依頼する場合は、お問い合わせください。

この講師主導のライブトレーニングでは、参加者はフローに基づくプログラミングの基礎を学びながら、Apache NiFi を使用してデモ用の拡張機能、コンポーネント、プロセッサを開発します。

このトレーニング終了時には、参加者は以下のことができます：

• NiFi のアーキテクチャとデータフローの概念を理解する。
• NiFi とサードパーティ API を使用して拡張機能を開発する。
• 独自の Apache NiFi プロセッサをカスタム開発する。
• 異なるフォーマットやデータソースからリアルタイムでデータを取り込み、処理する。

このトレーニングは、PySpark を使用したスケーラブルなデータ処理および機械学習ワークフローの構築に関する実践的な入門を提供します。参加者は、Apache Spark が現代のビッグデータエコシステム内でどのように動作するか、分散コンピューティングの原則を用いて大規模データセットを効率的に処理する方法を学びます。

この講師主導のライブトレーニング（オンラインまたはオンサイト）は、大量のデータを処理するために Apache Spark システムを設定し展開したいエンジニア向けです。

本トレーニング終了後、参加者は以下のことが行えるようになります：

• Apache Spark をインストールおよび設定する。
• 大量のデータセットを迅速に処理し分析する。
• Apache Spark と Hadoop MapReduce の違いを理解し、どちらを使用すべきか判断できる。
• 他の機械学習ツールと Apache Spark を統合する。

Apache Spark の学習曲線は最初緩やかに上昇しますが、初めて成果を得るためには多くの努力が必要です。このコースは、最初の難しい部分を飛ばすことを目指しています。このコースを修了した参加者は、Apache Spark の基本を理解し、RDD と DataFrame を明確に区別し、Python と Scala API を学び、実行者とタスクを理解するなど、多くのスキルを身につけることができます。また、ベストプラクティスに基づいて、このコースはクラウド展開、Databricks および AWS に強い焦点を当てています。学生たちは、AWS EMR と AWS Glue の違いも理解し、AWS の最新の Spark サービスの一つである AWS Glue についても学びます。

対象者:

Data Engineer, DevOps, Data Scientist

Spark SQLは、構造化データと非構造化データを処理するためのApache Sparkのモジュールです。Spark SQLは、データの構造や実行される計算に関する情報を提供します。この情報は最適化に使用されます。Spark SQLの一般的な用途には以下があります：
- SQLクエリの実行。
- 既存のHiveインストールからデータを読み取ります。

この講師主導のライブトレーニング（オンサイトまたはリモート）では、参加者はSpark SQLを使用してさまざまなタイプのデータセットを分析する方法を学びます。

このトレーニング終了時には、参加者は以下のことが Able to できます：

• Spark SQLをインストールおよび構成します。
• Spark SQLを使用してデータ分析を行います。
• 異なる形式のデータセットをクエリします。
• データとクエリ結果を可視化します。

コースの形式

• 対話型の講義とディスカッション。
• 多くの演習と実践。
• ライブラボ環境での手動実装。

コースのカスタマイズオプション

• このコースのカスタマイズ化されたトレーニングを希望する場合は、お問い合わせください。

このインストラクター主導のライブトレーニング（オンラインまたはオンサイト）は、Big Data の読み込みや処理を簡素化するために Talend Open Studio for Big Data を展開したい技術者向けです。

本トレーニング終了後、参加者は以下のことが able to:

• Talend Open Studio for Big Data のインストールと設定を行います。
• Cloudera、HortonWorks、MapR、Amazon EMR および Apache などの Big Data システムに接続します。
• Open Studio の大規模データコンポーネントとコネクタの理解と設定を行います。
• MapReduce コードを自動生成するためのパラメータを設定します。
• Open Studio のドラッグアンドドロップインターフェースを使用して Hadoop ジョブを実行します。
• 大規模データパイプラインのプロトタイプを作成します。
• 大規模データ統合プロジェクトを自動化します。