コース概要

1: HDFS (17%)

  • HDFS デーモンの機能を説明する
  • Apache Hadoop クラスターの通常の動作(データ保存とデータ処理)を説明する
  • 現在の計算システムの特徴を特定し、Apache Hadoop のようなシステムの必要性を理解する
  • HDFS デザインの主要な目標を分類する
  • 情報に基づいて、HDFS Federation の適切な使用例を特定する
  • HDFS HA-Quorum クラスターのコンポーネントとデーモンを識別する
  • HDFS セキュリティ(Kerberos)の役割を分析する
  • 情報に基づいて、最適なデータシリアル化方法を選択する
  • ファイル読み書きパスを説明する
  • Hadoop ファイルシステムシェルでファイルを操作するためのコマンドを識別する

2: YARN および MapReduce version 2 (MRv2) (17%)

  • Hadoop 1 から Hadoop 2 にクラスターをアップグレードする方法が、クラスターセット팅に与える影響を理解する
  • MapReduce v2 (MRv2 / YARN) を展開し、すべての YARN デーモンを理解する
  • MapReduce v2 (MRv2) の基本的な設計戦略を理解する
  • YARN がリソース割り当てを行う方法を決定する
  • MapReduce ジョブが YARN 上で実行されるワークフローを識別する
  • Hadoop 1 (MRv1) のクラスターから、YARN 上で動作する MapReduce version 2 (MRv2) に移行するために変更が必要なファイルとその方法を決定する

3: Hadoop クラスタープランニング (16%)

  • Apache Hadoop クラスターをホストするためのハードウェアとオペレーティングシステムを選択する際の主な考慮点
  • OS の選択に関する選択肢を分析する
  • カーネル調整とディスクスワッピングを理解する
  • 情報に基づいて、シナリオに適切なハードウェア構成を特定する
  • シナリオに基づいて、SLA を満たすためにクラスターが実行する必要があるエコシステムコンポーネントを決定する
  • クラスターサイジング:シナリオと実行頻度に基づいて、CPU、メモリー、ストレージ、ディスク I/O などのワークロードの詳細を特定する
  • ディスクサイズと構成(JBOD 対 RAID、SAN、仮想化、クラスター内のディスクサイズ要件)
  • ネットワークトポロジー:Hadoop(HDFS および MapReduce 用)でのネットワーク使用を理解し、特定のシナリオに対して主要なネットワーク設計コンポーネントを提案または識別する

4: Hadoop クラスターインストールと管理 (25%)

  • シナリオに基づいて、クラスターがディスクおよびマシンの障害をどのように処理するかを特定する
  • ログ設定とログ設定ファイル形式を分析する
  • Hadoop メトリクスとクラスターヘルスモニタリングの基本を理解する
  • 利用可能なクラスターモニタリングツールの機能と目的を識別する
  • CDH 5 のすべてのエコシステムコンポーネント(Impala、Flume、Oozie、Hue、Manager、Sqoop、Hive、Pig など)をインストールできる
  • 利用可能な Apache Hadoop ファイルシステム管理ツールの機能と目的を識別する

5: リソース管理 (10%)

  • 各 Hadoop スケジューラの全体的な設計目標を理解する
  • シナリオに基づいて、FIFO スケジューラがクラスター資源をどのように割り当てるかを決定する
  • シナリオに基づいて、Fair Scheduler が YARN 下でクラスター資源をどのように割り当てるかを決定する
  • シナリオに基づいて、Capacity Scheduler がクラスター資源をどのように割り当てるかを決定する

6: 監視とログ (15%)

  • Hadoop のメトリック収集機能と特徴を理解する
  • NameNode および JobTracker Web UI を分析する
  • クラスターデーモンの監視方法を理解する
  • マスターノードでの CPU 使用率を監視する
  • 全てのノードでスワップとメモリ割り当てを監視する方法を説明する
  • Hadoop のログファイルを表示および管理する方法を識別する
  • ログファイルの解釈を行う

要求

  • 基本的な Linux 管理スキル
  • 基本的なプログラミングスキル
 35 時間

参加者の人数


参加者1人当たりの料金

お客様の声 (3)

今後のコース

関連カテゴリー