コース概要

  • 導入
    • Hadoop 歴史、コンセプト
    • 生態系
    • 分布
    • 高レベルのアーキテクチャ
    • Hadoop 神話
    • Hadoop課題(ハードウェア/ソフトウェア)
    • ラボ: Big Data 件のプロジェクトや問題について話し合う
  • 計画と設置
    • ソフトウェアの選択、Hadoop ディストリビューション
    • クラスターのサイズ設定、成長の計画
    • ハードウェアとネットワークの選択
    • ラックトポロジー
    • インストール
    • マルチテナンシー
    • ディレクトリ構造、ログ
    • ベンチマーク
    • ラボ: クラスターのインストール、パフォーマンス ベンチマークの実行
  • HDFS の操作
    • 概念 (水平スケーリング、レプリケーション、データの局所性、ラック認識)
    • ノードとデーモン (NameNode、セカンダリ NameNode、HA スタンバイ NameNode、DataNode)
    • ヘルスモニタリング
    • コマンドラインおよびブラウザベースの管理
    • ストレージの追加、故障したドライブの交換
    • ラボ: HDFS コマンド ラインに慣れる
  • データの取り込み
    • HDFS へのログおよびその他のデータ取り込み用の Flume
    • SQL データベースから HDFS にインポートしたり、SQL にエクスポートしたりするための Sqoop
    • Hadoop データ ウェアハウジングと Hive
    • クラスター間でのデータのコピー (distcp)
    • HDFS を補完するものとして S3 を使用する
    • データ取り込みのベスト プラクティスとアーキテクチャ
    • ラボ: Flume のセットアップと使用 (Sqoop と同じ)
  • MapReduce の運用と管理
    • MapReduce 前の並列コンピューティング: HPC と Hadoop 管理の比較
    • MapReduce クラスターの負荷
    • ノードとデーモン (JobTracker、TaskTracker)
    • MapReduce UI のウォークスルー
    • Mapreduce 構成
    • ジョブ構成
    • MapReduceの最適化
    • 確実な MR: プログラマーに伝えるべきこと
    • ラボ: MapReduce サンプルの実行
  • YARN: 新しいアーキテクチャと新しい機能
    • YARN の設計目標と実装アーキテクチャ
    • 新しいアクター: ResourceManager、NodeManager、Application Master
    • YARNのインストール
    • YARN でのジョブのスケジュール設定
    • ラボ: ジョブのスケジュールを調査する
  • 高度なトピック
    • ハードウェア監視
    • クラスターの監視
    • サーバーの追加と削除、アップグレード Hadoop
    • バックアップ、リカバリ、事業継続計画
    • Oozie ジョブのワークフロー
    • Hadoop 高可用性 (HA)
    • Hadoop 連邦
    • Kerberos によるクラスターの保護
    • ラボ: モニタリングをセットアップする
  • オプションのトラック
    • クラスターの管理、監視、日常的なタスクのための Cloudera Manager。取り付け、使用。このトラックでは、すべての演習とラボが Cloudera ディストリビューション環境 (CDH5) 内で実行されます。
    • Ambari はクラスターの管理、監視、日常的なタスクに使用します。取り付け、使用。このトラックでは、すべての演習とラボが Ambari クラスター マネージャーと Hortonworks データ プラットフォーム (HDP 2.0) 内で実行されます。

要求

  • 基本的なLinuxシステム管理に慣れていること
  • 基本的なスクリプトのスキル

0]と分散コンピューティングの知識は必須ではありませんが、コースの中で紹介し説明します。

ラボ環境

ゼロインストール:学生のマシンにhadoopソフトウェアをインストールする必要はありません!Hadoopクラスタは学生に提供されます。

生徒には以下が必要です。

  • SSHクライアント(LinuxとMacにはすでにsshクライアントがあります。
  • クラスタにアクセスするためのブラウザ。FoxyProxyエクステンションをインストールしたFirefoxブラウザを推奨します。
  21 時間
 

参加者の人数


開始

完了


Dates are subject to availability and take place between 10:00 and 17:00.
Open Training Courses require 5+ participants.

お客様の声 (3)

関連コース

Datameer for Data Analysts

  14 時間

関連カテゴリー