コース概要

Kafka管理の基本

  • 現代のデータプラットフォームにおけるKafkaの位置づけと一般的なプロダクション責任
  • 運用者のための基本概念:ブローカー、トピック、パーティション、オフセット、コンシューマグループ
  • レプリケーションの基本:リーダーとフォロワー、ISyncレプリカ、可用性トレードオフ
  • Kafka運用のハイライトとランブックで使用される一般的な用語

KRaftモードとクラスタ設計

  • KRaftの基本:コントローラ、メタデータクォラム、選挙、運用上の重要性
  • 展開計画:スループット、パーティション、リテンション、成長に合わせたサイズ調整
  • ノードロールとレイアウト:統合コントローラー vs 専用コントローラー、障害ドメインの考慮事項
  • 実習:KRaftメタデータを検査し、クォラムの健全性を検証し、コントローラログを解釈する

インストール、構成、日常的な運用

  • インストールアプローチ(パッケージ、tarball、コンテナ)とエンタープライズ環境での標準化
  • 信頼性に影響を与えるコアブローカー構成:リスナー、レプリケーション、ログディレクトリ、リテンション
  • サービス運用の安全な方法:起動順序、グレースフルシャットダウン、検証チェック
  • 実習:マルチノードクラスタを展開し、ブローカー登録を確認し、ベースラインのプロデュースとコンシュームを確認する

トピック、パーティション、データ配置の管理

  • Kafka CLIを使用したトピックライフサイクル:作成、説明、設定更新、削除
  • 実際のワークロードに適したパーティションとレプリケーション係数の選択、一般的なアンチパターン
  • リアサインメントとバランス:パーティションを移動するタイミングと安全に進行確認する方法
  • 実習:トピックを作成し、パーティションリアサインメントをトリガーし、ブローカー障害をシミュレーションし、回復を確認する

プロダクション向けのKafka保護

  • クライアントとブローカー間通信のTLS:証明書、信頼チェーン、検証手順
  • SASLによる認証:一般的なメカニズムの選択と誤構成を避ける方法
  • ACLによる認可:管理者、プロデューサー、コンシューマーの最小権限パターン
  • 実習:TLSとSASLを有効にし、クライアント接続を検証し、アプリケーションロール用ACLを適用する

監視、信頼性、トラブルシューティング

  • 監視の基本:コントローラの健全性、未レプリケートパーティション、リクエストレイテンシ、ディスクとネットワークのサチュレーション
  • ログとメトリクス:ブローカーログの読み取りとJMXエクスポーターを介したメトリクスの公開(一般的な監視スタックとの統合)
  • 運用プレイブック:ローリングリスタート、安全な構成変更、ディスクフルとISR問題の対処
  • 実習:最小限のアラートセットを構築し、悪化したクラスタを診断し、健全なレプリケーションを復元する

アップグレードと災害回復準備

  • Kafkaのアップグレード計画:互換性チェック、ステージング、ロールバックアプローチ
  • バックアップと復旧の期待値:何がバックアップできるか、できないか、構成回復の基本
  • クロスクラスタレプリケーションの概要とDRや移行にMirrorMaker 2を使用するタイミング
  • 終了:運用チェックリスト、引き渡しアーティファクト、プロダクション展開の次のステップ

要求

  • 基本的なLinux管理(ユーザー、サービス、ファイル、権限)の理解
  • TCP/IPネットワーク概念(DNS、ポート、ファイアウォール、ロードバランサー)の経験
  • Bash、PowerShellなどを使用した基本的なスクリプト作成経験(ルーチン運用タスク用)

対象者

  • Kafkaクラスタを運用するKafka管理者とプラットフォームエンジニア
  • ストリーミングプラットフォームをサポートするサイト信頼性エンジニアとDevOpsエンジニア
  • 新しいKRaftベースのKafkaクラスタを展開またはZooKeeperから移行するインフラストラクチャおよびオペレーションチーム
 21 時間

参加者の人数


参加者1人あたりの価格

お客様の声 (5)

今後のコース

関連カテゴリー