お問い合わせを送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
予約を送信いただきありがとうございます!当社のスタッフがすぐにご連絡いたします。
コース概要
-
はじめに
- Hadoopの歴史と概念
- エコシステム
- ディストリビューション
- 高レベルのアーキテクチャ
- Hadoopに関する誤解
- Hadoopの課題(ハードウェア/ソフトウェア)
- ラボ: あなたのビッグデータプロジェクトや問題について議論する
-
計画とインストール
- ソフトウェアの選択、Hadoopディストリビューション
- クラスタサイズの決定、成長計画
- ハードウェアとネットワークの選択
- ラックトポロジー
- インストール
- マルチテナント
- ディレクトリ構造、ログ
- ベンチマーク
- ラボ: クラスタのインストール、パフォーマンスベンチマークの実行
-
HDFS操作
- 概念(水平スケーリング、レプリケーション、データローカリティ、ラックアウェアネス)
- ノードとデーモン(NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- 健康監視
- コマンドラインとブラウザベースの管理
- ストレージの追加、故障したドライブの交換
- ラボ: HDFSコマンドラインに慣れること
-
データ取り込み
- Flumeを使用したログやその他のデータのHDFSへの取り込み
- SQLデータベースからHDFSへのインポートと、逆にSQLへのエクスポート(Sqoop)
- Hadoopデータウェアハウスの構築(Hive)
- クラスタ間でのデータコピー(distcp)
- S3をHDFSの補完として使用
- データ取り込みのベストプラクティスとアーキテクチャ
- ラボ: Flumeの設定と使用、同様にSqoopも
-
MapReduce操作と管理
- mapreduce以前の並列計算: HPCとHadoop管理の比較
- MapReduceクラスタ負荷
- ノードとデーモン(JobTracker, TaskTracker)
- MapReduce UIの概要
- Mapreduceの設定
- ジョブ設定
- MapReduceの最適化
- MRを万全にする: プログラマに伝えるべきこと
- ラボ: MapReduceサンプルの実行
-
YARN: 新しいアーキテクチャと新機能
- YARNの設計目標と実装アーキテクチャ
- 新しいアクター: ResourceManager, NodeManager, Application Master
- YARNのインストール
- YARN下的ジョブスケジューリング
- ラボ: ジョブスケジューリングの調査
-
高度なトピック
- ハードウェア監視
- クラスタ監視
- サーバーの追加と削除、Hadoopのアップグレード
- バックアップ、復旧、事業継続計画
- Oozieジョブワークフロー
- Hadoopの高可用性(HA)
- Hadoopフェデレーション
- クラスタをKerberosで保護する
- ラボ: 監視の設定
-
オプショントラック
- Cloudera Managerを使用したクラスタ管理、監視、ルーチンタスクの実行;インストールと使用。このトラックでは、すべての演習とラボがClouderaディストリビューション環境(CDH5)で行われます。
- Ambariを使用したクラスタ管理、監視、ルーチンタスクの実行;インストールと使用。このトラックでは、すべての演習とラボがAmbariクラスタマネージャーとHortonworks Data Platform(HDP 2.0)で行われます。
要求
- 基本的なLinuxシステム管理に慣れていること
- 基本的なスクリプトスキル
Hadoopや分散コンピューティングの知識は不要ですが、コースで紹介および説明されます。
ラボ環境
ゼロインストール : 学生のマシンにHadoopソフトウェアをインストールする必要はありません! 学生用に動作するHadoopクラスターが提供されます。
学生には以下のものがが必要です
- SSHクライアント(LinuxとMacには既定のSSHクライアントがあります。WindowsではPuttyが推奨されます)
- クラスターにアクセスするためのブラウザ。Firefoxブラウザを推奨し、FoxyProxy拡張機能をインストールすることをお勧めします
21 時間
お客様の声 (5)
ライブ例
Ahmet Bolat - Accenture Industrial SS
コース - Python, Spark, and Hadoop for Big Data
機械翻訳
演習中に、ジェームズは私が困ったところを詳しく説明してくれました。私はNIFIについて全くの初心者でした。彼はNIFIの実際の目的からオープンソースなどの基本的な概念まで、初級レベルから開発者レベルまでのすべてのNIFIの概念を説明しました。
Firdous Hashim Ali - MOD A BLOCK
コース - Apache NiFi for Administrators
機械翻訳
最初から持っていたこと。
Peter Scales - CACI Ltd
コース - Apache NiFi for Developers
機械翻訳
実践的な面だけでなく、アジェイによる理論的側面もよく説明されました。
Dominik Mazur - Capgemini Polska Sp. z o.o.
コース - Hadoop Administration on MapR
機械翻訳
私はそのVMがとても気に入りました。 講師はテーマに関する知識だけでなく、他のトピックについても非常に詳しかったです。また、彼はとても親切でフレンドリーでした。 ドバイの施設も気に入りました。
Safar Alqahtani - Elm Information Security
コース - Big Data Analytics in Health
機械翻訳