コース概要

  • はじめに
    • Hadoopの歴史と概念
    • エコシステム
    • ディストリビューション
    • 高レベルのアーキテクチャ
    • Hadoopに関する誤解
    • Hadoopの課題(ハードウェア/ソフトウェア)
    • ラボ: あなたのビッグデータプロジェクトや問題について議論する
  • 計画とインストール
    • ソフトウェアの選択、Hadoopディストリビューション
    • クラスタサイズの決定、成長計画
    • ハードウェアとネットワークの選択
    • ラックトポロジー
    • インストール
    • マルチテナント
    • ディレクトリ構造、ログ
    • ベンチマーク
    • ラボ: クラスタのインストール、パフォーマンスベンチマークの実行
  • HDFS操作
    • 概念(水平スケーリング、レプリケーション、データローカリティ、ラックアウェアネス)
    • ノードとデーモン(NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
    • 健康監視
    • コマンドラインとブラウザベースの管理
    • ストレージの追加、故障したドライブの交換
    • ラボ: HDFSコマンドラインに慣れること
  • データ取り込み
    • Flumeを使用したログやその他のデータのHDFSへの取り込み
    • SQLデータベースからHDFSへのインポートと、逆にSQLへのエクスポート(Sqoop)
    • Hadoopデータウェアハウスの構築(Hive)
    • クラスタ間でのデータコピー(distcp)
    • S3をHDFSの補完として使用
    • データ取り込みのベストプラクティスとアーキテクチャ
    • ラボ: Flumeの設定と使用、同様にSqoopも
  • MapReduce操作と管理
    • mapreduce以前の並列計算: HPCとHadoop管理の比較
    • MapReduceクラスタ負荷
    • ノードとデーモン(JobTracker, TaskTracker)
    • MapReduce UIの概要
    • Mapreduceの設定
    • ジョブ設定
    • MapReduceの最適化
    • MRを万全にする: プログラマに伝えるべきこと
    • ラボ: MapReduceサンプルの実行
  • YARN: 新しいアーキテクチャと新機能
    • YARNの設計目標と実装アーキテクチャ
    • 新しいアクター: ResourceManager, NodeManager, Application Master
    • YARNのインストール
    • YARN下的ジョブスケジューリング
    • ラボ: ジョブスケジューリングの調査
  • 高度なトピック
    • ハードウェア監視
    • クラスタ監視
    • サーバーの追加と削除、Hadoopのアップグレード
    • バックアップ、復旧、事業継続計画
    • Oozieジョブワークフロー
    • Hadoopの高可用性(HA)
    • Hadoopフェデレーション
    • クラスタをKerberosで保護する
    • ラボ: 監視の設定
  • オプショントラック
    • Cloudera Managerを使用したクラスタ管理、監視、ルーチンタスクの実行;インストールと使用。このトラックでは、すべての演習とラボがClouderaディストリビューション環境(CDH5)で行われます。
    • Ambariを使用したクラスタ管理、監視、ルーチンタスクの実行;インストールと使用。このトラックでは、すべての演習とラボがAmbariクラスタマネージャーとHortonworks Data Platform(HDP 2.0)で行われます。

要求

  • 基本的なLinuxシステム管理に慣れていること
  • 基本的なスクリプトスキル

Hadoopや分散コンピューティングの知識は不要ですが、コースで紹介および説明されます。

ラボ環境

ゼロインストール : 学生のマシンにHadoopソフトウェアをインストールする必要はありません! 学生用に動作するHadoopクラスターが提供されます。

学生には以下のものがが必要です

  • SSHクライアント(LinuxとMacには既定のSSHクライアントがあります。WindowsではPuttyが推奨されます)
  • クラスターにアクセスするためのブラウザ。Firefoxブラウザを推奨し、FoxyProxy拡張機能をインストールすることをお勧めします
 21 時間

参加者の人数


参加者1人当たりの料金

お客様の声 (5)

今後のコース

関連カテゴリー