Kafka Streams を使用したストリーム処理のトレーニングコース
Kafka Streams は、アプリケーションとマイクロサービスの構築に使用されるクライアントサイドのライブラリで、データは Kafka メッセージングシステムとの間で送受信されます。伝統的に、Apache Kafka は Apache Spark や Apache Storm を使用して、メッセージのプロデューサーとコンシューマー間のデータを処理していました。アプリケーション内で Kafka Streams API を呼び出すことで、データを別のクラスターに転送せずに Kafka 内で直接処理することが可能になります。
このインストラクター主導のライブトレーニングでは、参加者はサンプル Java アプリケーションをいくつか構築し、それらが Apache Kafka との間でデータをやり取りするストリーム処理を行う方法を学びます。
本トレーニング終了時には、参加者は以下のことができるようになります:
- Kafka Streams の特徴と他のストリーム処理フレームワークとの優位性を理解する
- Kafka クラスター内で直接ストリームデータを処理する
- Java または Scala アプリケーションやマイクロサービスを Kafka および Kafka Streams と統合する方法を書く
- 入力 Kafka トピックを出力 Kafka トピックに変換する簡潔なコードを書く
- アプリケーションのビルド、パッケージ化、デプロイを行う
対象者
- 開発者
コース形式
- 講義とディスカッションの一部、演習と実践的な練習が中心
備考
- このコースのカスタマイズされたトレーニングを依頼するには、ご連絡ください。
コース概要
導入
- Kafka vs Spark, Flink, and Storm
Kafka Streams の特徴の概要
- 状態を持つ処理と状態を持たない処理、イベントタイム処理、DSL、イベントタイムベースのウィンドウ操作など
事例:予測的な予算管理ための Kafka Streams API
開発環境のセットアップ
ストリームアプリケーションの作成
Kafka クラスターの開始
トピックと入力データの準備
ストリームデータの処理オプション
- 高レベルの Kafka Streams DSL
- 低レベルの Processor API
入力データの変換
出力データの確認
Kafka クラスターの停止
アプリケーションのデプロイオプション
- クラシックなオペレーションツール (Puppet, Chef, Salt)
- Docker
- WAR ファイル
トラブルシューティング
まとめと結論
要求
- Apache Kafka の理解
- Java プログラミング経験
オープントレーニングコースには5人以上が必要です。
Kafka Streams を使用したストリーム処理のトレーニングコース - 予約
Kafka Streams を使用したストリーム処理のトレーニングコース - お問い合わせ
Kafka Streams を使用したストリーム処理 - コンサルティングお問い合わせ
コンサルティングお問い合わせ
お客様の声 (1)
議論されたトピックの要点を振り返る。
Paolo Angelo Gaton - SMS Global Technologies Inc.
コース - Building Stream Processing Applications with Kafka Streams
機械翻訳
今後のコース
関連コース
Apache Kafka Connect
7 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)では、開発者が既存のデータベースやアプリケーションを統合して処理、分析などを行うことを目指しています。
このトレーニングの終了時には、参加者は以下のことができるようになります:
- Kafka Connectを使用して、データベースから大量のデータをKafkaトピックに取り込む。
- アプリケーションサーバーによって生成されたログデータをKafkaトピックに取り込む。
- 収集したすべてのデータをストリーム処理のために利用可能にする。
- Kafkaトピックからデータを二次システムにエクスポートして、保存や分析を行う。
Confluentを使用したKafkaソリューションの構築
14 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、エンジニアを対象としています。彼らはConfluent(Kafkaのディストリビューション)を使用して、アプリケーション向けのリアルタイムデータ処理プラットフォームを構築および管理する方法を学びます。
このトレーニングの終了時には、参加者は以下のことができるようになります:
- Confluent Platformをインストールおよび設定する。
- Confluentの管理ツールとサービスを使用してKafkaをより簡単に運用する。
- 流入するストリームデータを保存および処理する。
- Kafkaクラスターを最適化および管理する。
- データストリームを保護する。
コースの形式
- 対話型の講義とディスカッション。
- 多くの演習と実践。
- ライブラボ環境での手動実装。
コースのカスタマイズオプション
- このコースは、オープンソース版のConfluent:Confluent Open Sourceをベースにしています。
- このコースのカスタマイズトレーニングをご希望の場合、ご連絡ください。
Apache Kafka を使用したデータパイプラインの構築
7 時間Apache Kafka は分散ストリーミングプラットフォームです。データパイプラインの構築における事実上の標準であり、さまざまなデータ処理のユースケースを解決します。メッセージキューや分散ログ、ストリームプロセッサなどとして使用できます。
まず、一般的なデータパイプラインの理論から始め、次に Kafka の基本概念に進みます。また、Kafka Streams と Kafka Connect などの重要なコンポーネントについても紹介します。
ストリーム処理の実践的な導入
21 時間このインストラクター主導のライブトレーニング(日本、オンサイトまたはリモート)では、参加者は既存の大規模データストレージシステムや関連するソフトウェアアプリケーションおよびマイクロサービスと異なるストリーム処理フレームワークを設定し統合する方法を学びます。
このトレーニングの終了時には、参加者は以下のことができるようになります:
- Spark Streaming と Kafka Streaming のような異なるストリーム処理フレームワークをインストールおよび設定する。
- タスクに最も適したフレームワークを選択し理解する。
- データを連続的、並行的に、レコードごとに処理する。
- ストリーム処理ソリューションを既存のデータベース、データウェアハウス、データレイクなどと統合する。
- 企業アプリケーションおよびマイクロサービスに最も適したストリーム処理ライブラリを統合する。
Apache Kafkaを使用した分散メッセージング
14 時間このコースは、エンタープライズアーキテクト、開発者、システム管理者、および高スループットの分散メッセージングシステムを理解し、使用したいすべての人向けです。特定の要件がある場合(例:システム管理側のみ)、このコースは必要に応じて調整され、より適切な内容で提供されます。
Kafka for Administrators
21 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)では、企業グレードのKafkaクラスターをセットアップ、デプロイ、管理、最適化することを目指すシステム管理者向けです。
このトレーニング終了時には、参加者は以下のことができます:
- Kafkaクラスターをセットアップおよび管理する。
- オンプレミスとクラウドでのKafkaのデプロイの利点と欠点を評価する。
- さまざまなオンプレミスおよびクラウド環境ツールを使用してKafkaをデプロイおよび監視する。
Apache Kafka for Developers
21 時間このインストラクター主導のライブトレーニングは、日本(オンラインまたはオンサイト)で行われ、Apache Kafkaを使用してビッグデータアプリケーションを開発することを目指す中級開発者向けです。
このトレーニング終了時には、参加者は以下のことができるようになります:
- Kafkaにデータを送信し読み取るためのKafkaプロデューサーとコンシューマーを開発する。
- Kafka Connectを使用して外部システムと統合する。
- Kafka Streams & ksqlDBを使用してストリーミングアプリケーションを書く。
- Confluent CloudとのKafkaクライアントアプリケーションの統合により、クラウドベースのKafka展開を行う。
- ハンズオン演習と実世界のユースケースを通じて実践的な経験を積む。
Python プログラマーのための Apache Kafka
7 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、データエンジニア、データサイエンティスト、およびプログラマを対象としており、Python を使用してデータストリーミングで Apache Kafka の機能を使用したい方々に向けられています。
このトレーニングの終了時には、参加者は Python プログラミングを使用して継続的なデータストリームの状態を監視および管理することができるようになります。
Java開発者向けKafkaの基礎
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、信頼性が高く、スケーラブルで、高吞吐量のメッセージングを実現するためのApache Kafkaをアプリケーションに統合したい中級レベルのJava開発者向けです。
このトレーニングの終了時には、参加者は以下のことをできるようになります:
- Kafkaのアーキテクチャと主要なコンポーネントを理解する。
- Kafkaクラスタのセットアップと構成を行う。
- Javaを使用してメッセージを生成および消費する。
- リアルタイムデータ処理のためにKafka Streamsを実装する。
- Kafkaアプリケーションにおける障害対策とスケーラビリティを確保する。
Kafka メッセージキューの管理
14 時間この講師主導の実践的なトレーニング(オンラインまたはオンサイト)は、Kafka のメッセージキュー機能を効果的に活用したい中級レベルのシステム管理者向けです。
本トレーニング終了時には、受講者は以下のことが Able to できます:
- Kafka のメッセージキュー機能とアーキテクチャを理解する。
- メッセージキュー用の Kafka トピックを構成する。
- Kafka を使用してメッセージの送信と受信を行う。
- Kafka をメッセージキューとして監視および管理する。
Apache Kafkaのセキュリティ
7 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、Apache Kafkaアプリケーションにネットワークセキュリティ措置を実装したいソフトウェアテスト担当者向けです。
本トレーニング終了時には、参加者は以下のことができます:
- クラウドベースのサーバーにApache Kafkaをデプロイする。
- SSL暗号化を実装して攻撃から保護する。
- ACL認証を追加してユーザーのアクセスを追跡および制御する。
- SSLとSASL認証を使用して信頼できるクライアントがKafkaクラスターにアクセスできるようにする。
Apache KafkaとSpring Boot
7 時間この講師主導のライブトレーニング(オンラインまたはオンサイト)は、中級レベルの開発者向けに設計されており、Kafkaの基礎を学び、Spring Bootとの統合方法を習得することを目指しています。
このトレーニング終了時には、参加者は以下のことが Able to できます:
- Kafkaとそのアーキテクチャを理解する。
- 基本的なKafka環境のインストール、設定、セットアップ方法を学ぶ。
- KafkaをSpring Bootに統合する。
Kafkaトピックの管理
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、Kafkaトピックを効率的に管理してデータストリーミングと処理を行う方法を学びたい中級レベルのシステム管理者向けです。
このトレーニング終了後、参加者は以下のことができるようになります:
- Kafkaトピックの基本とアーキテクチャを理解する。
- Kafkaトピックを作成、設定、管理する。
- Kafkaトピックの健全性、パフォーマンス、可用性を監視する。
- Kafkaトピックのセキュリティ対策を実装する。
データサイエンスのためのSMACKスタック
14 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)は、ビッグデータソリューションのためのデータ処理プラットフォームを構築したいデータサイエンティストを対象としています。
このトレーニングが終了したとき、参加者は以下のことをできるようになります:
- ビッグデータの処理に使用されるデータパイプラインアーキテクチャを実装します。
- Apache MesosとDockerを使用してクラスタインフラストラクチャを開発します。
- SparkとScalaを使用してデータを分析します。
- Apache Cassandraを使用して非構造化データを管理します。
Spring CloudとKafkaを使用したマイクロサービス
21 時間このインストラクター主導のライブトレーニング(オンラインまたはオンサイト)では、Spring Cloud、Kafka、Docker、Kubernetes、Redisを使用して従来のアーキテクチャを高並行性のマイクロサービスベースのアーキテクチャに変換する方法を学びます。
このトレーニング終了時には、参加者は以下のことが able to:
- マイクロサービス開発に必要な開発環境をセットアップします。
- Spring Cloud、Kafka、Redis、Docker、Kubernetesを使用して高並行性のマイクロサービスエコシステムを設計および実装します。
- モノリシックとSOAサービスをマイクロサービスベースのアーキテクチャに変換します。
- ソフトウェア開発、テスト、リリースにおけるDevOpsアプローチを採用します。
- 本番環境でのマイクロサービス間の高並行性を確保します。
- マイクロサービスを監視し、復旧戦略を実装します。
- パフォーマンス調整を行います。
- マイクロサービスアーキテクチャの未来トレンドについて学びます。