Building Data Pipelines with Apache Kafkaのトレーニングコース

このコースは、エンタープライズアーキテクト、開発者、システム管理者、およびハイスループット分散メッセージングシステムを理解して使用したい方を対象としています。より具体的な要件（システム管理側のみなど）がある場合は、このコースをニーズに合わせて調整することができます。

Apache Samzaは、ストリーム処理用のオープンソースの準リアルタイムの非同期計算フレームワークです。メッセージングにはApache Kafkaを使用し、フォールトトレランス、プロセッサの隔離、セキュリティ、およびリソース管理にはApache Hadoop YARNを使用します。

このインストラクター主導のライブトレーニングでは、サンプルのSamzaベースのプロジェクトの作成とジョブの実行を通じて参加者をウォーキングしながら、メッセージングシステムと分散ストリーム処理の背後にある原則を紹介します。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Samzaを使用して、メッセージの生成と消費に必要なコードを単純化してください。
• アプリケーションからのメッセージの処理を切り離します。
• Samzaを使用して、ほぼリアルタイムの非同期計算を実装します。
• ストリーム処理を使用して、メッセージングシステムよりも高度な抽象化を提供します。

観客

• 開発者

コースの形式

• パートレクチャー、パートディスカッション、エクササイズ、そして激しい実習

Kafka Streamsは、データがKafkaメッセージングシステムとやり取りされるアプリケーションおよびマイクロサービスを構築するためのクライアントサイドライブラリです。伝統的に、 Apache Kafkaはメッセージプロデューサとコンシューマの間でデータを処理するためにApache SparkまたはApache Stormに依存していました。アプリケーション内からKafka Streams APIを呼び出すことで、データをKafka内で直接処理できます。処理のためにデータを別のクラスターに送信する必要がありません。

この講師主導のライブトレーニングでは、参加者は、Kafka Streamsを、ストリーム処理のためにApache Kafkaとの間でデータをやり取りする一連のサンプルJavaアプリケーションに統合する方法を学習します。

このトレーニングの終わりまでに、参加者は次のことができるようになります。

• Kafka Streamsの機能と他のストリーム処理フレームワークに対する利点を理解する
• Kafkaクラスタ内で直接ストリームデータを処理する
• KafkaおよびKafka Streamsと統合するJavaまたはScalaアプリケーションまたはマイクロサービスを書く
• 入力Kafkaトピックを出力Kafkaトピックに変換する簡潔なコードを書く
• アプリケーションをビルド、パッケージ化、およびデプロイする

観客

• 開発者

コースの 形式

• パートレクチャー、パートディスカッション、エクササイズ、そして激しい実習

ノート

• このコースのためのカスタマイズされたトレーニングを要求するために、手配するために私達に連絡してください

このインストラクターによるライブトレーニングでは、既存のビッグデータストレージシステムや関連するソフトウェアアプリケーション、マイクロサービスと、さまざまなStream Processingフレームワークをセットアップし、統合する方法を学びます。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• SparkストリーミングやKafkaストリーミングなど、さまざまなStream Processingフレームワークをインストールして設定する。
• 業務に最適なフレームワークを理解し、選択する
。
• データを連続的、同時並行的に、レコードごとに処理する
。
• 既存のデータベース、データウェアハウス、データレイクなどとソリューションを統合する
。
• 最適なストリーム処理ライブラリをエンタープライズ・アプリケーションやマイクロサービスと統合する
。

このインストラクター主導のライブトレーニング (オンサイトまたはリモート) は、コンフルエント (Kafka の配布) を使用して、アプリケーションのリアルタイムデータ処理プラットフォームを構築および管理したいエンジニアを対象としています。

このトレーニングの最後までに、参加者は次のことができるようになります。

• コンフルエントプラットフォームをインストールして構成します。
• は、Kafka をより簡単に実行するために、コンフルエント & #39; の管理ツールとサービスを使用します。
• は、受信ストリームデータを格納および処理します。
• は、Kafka クラスターを最適化および管理します。
• セキュリティで保護されたデータストリーム。

コースの形式

• インタラクティブな講義と討論。
• 多くの演習と練習.
• は、ライブラボ環境での実践的な実装を実現します。

コースのカスタマイズオプション

• このコースは、オープンソースバージョンのコンフルエント: コンフルエントオープンソースに基づいています。
• このコースのためのカスタマイズされたトレーニングをリクエストするには、手配するために私達に連絡してください。

このインストラクターによるライブトレーニングは、Spring Cloud、Kafka、Docker、Kubernetes、およびRedisを使用して、従来のアーキテクチャを並行性の高いマイクロサービスベースのアーキテクチャに変換したい開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• マイクロサービスを構築するために必要な開発環境をセットアップする
。
• Spring Cloud、Kafka、Redis、Docker、Kubernetesを使用して、並行性の高いマイクロサービスのエコシステムを設計し、実装する
。
• モノリシックなサービスやSOAサービスをマイクロサービスベースのアーキテクチャに変換する
。
• ソフトウェアの開発、テスト、リリースにDevOpsアプローチを採用します。
• 本番環境でマイクロサービス間の高い並行性を確保する
。
• マイクロサービスを監視し、リカバリ戦略を実装する
。
• パフォーマンスチューニングを実施する
。
• マイクロサービスアーキテクチャの将来のトレンドについて学ぶ
。

このインストラクターによるライブトレーニングは、既存のデータベースやアプリケーションとApache Kafkaを統合し、処理や分析などを行いたい開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• データベースからKafkaトピックに大量のデータを取り込むには、Kafka Connectを使用します。
• アプリケーションサーバーが生成したログデータをKafkaトピックに取り込む。
• 収集したデータをストリーム処理に利用できるようにします。
• Kafkaトピックからセカンダリシステムにデータをエクスポートし、保存と分析を行う。

このインストラクターによるライブトレーニングは、コードを書かずにストリーム処理を実装したい開発者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• インストールと設定Confluent KSQL
。
• SQLコマンドのみを使用してストリーム処理パイプラインをセットアップします(JavaやPythonのコーディングは行いません)
。
• データのフィルタリング、変換、集約、結合、ウィンドウ化、セッション化をすべて SQL で実行します。
• ストリーミング ETL およびリアルタイム分析のための、対話的で継続的なクエリを設計および展開します。

このインストラクターによるライブトレーニングは、エンタープライズグレードのKafkaクラスタのセットアップ、デプロイ、管理、最適化を希望するシステム管理者を対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• Kafkaクラスタのセットアップと管理。
• Kafkaをオンプレミスで展開する場合とクラウドで展開する場合のメリットとデメリットを評価する
。
• さまざまなオンプレミスおよびクラウド環境ツールを使用してKafkaをデプロイし、監視する。

このインストラクターによるライブトレーニングは、ネットワークセキュリティ対策をアプリケーションに実装したいソフトウェアテスターを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• クラウドベースのサーバーにApache Kafkaをデプロイします。
• 攻撃を防ぐためにSSL暗号化を実装する
。
• ACL認証を追加して、ユーザーアクセスを追跡・制御する
。
• SSLとSASL認証を使用して、信頼できるクライアントがKafkaクラスタにアクセスできるようにします。

このインストラクターによるライブトレーニングは、SMACKスタックを使用してビッグデータソリューションのデータ処理プラットフォームを構築したいデータサイエンティストを対象としています。

このトレーニングの終了時までに、参加者は以下のことができるようになります：

• ビッグデータを処理するためのデータパイプラインアーキテクチャを実装する。
• Apache MesosとDockerでクラスタインフラを開発する
。
• SparkとScalaを使ってデータを分析する
。
• Apache Cassandraで非構造化データを管理する
。

このインストラクターによるライブトレーニングは、データエンジニア、データサイエンティスト、プログラマーを対象としています。

このトレーニングの終了時には、参加者はApache Kafkaを使用して、Pythonプログラミングを使用して連続的なデータストリームの状態を監視および管理できるようになります。

このインストラクターによるライブトレーニングは、リアルタイムデータの処理や分析にSpark Streamingの機能を使用したいデータエンジニア、データサイエンティスト、プログラマーを対象としています。

このトレーニングの終了時には、参加者はSpark Streamingを使用して、データベース、ファイルシステム、ライブダッシュボードで使用するためのライブデータストリームを処理できるようになります。

日本 でのこのインストラクター主導のライブ トレーニング (オンラインまたはオンサイト) は、Apache Kafka を使用してビッグ データ アプリケーションを開発したい中級レベルの開発者を対象としています。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

Kafka からデータを送信および読み取るための Kafka プロデューサーとコンシューマーを開発します。 Kafka Connect を使用して Kafka を外部システムと統合します。 Kafka Streams と ksqlDB を使用してストリーミング アプリケーションを作成します。 Kafka クライアント アプリケーションを Confluent Cloud と統合して、クラウドベースの Kafka 導入を実現します。実践的な演習や実際の使用例を通じて実践的な経験を積みます。

日本 でのこのインストラクター主導のライブ トレーニング (オンラインまたはオンサイト) は、Kafka の基礎を学び、Kafka を Spring Boot と統合したいと考えている中級レベルの開発者を対象としています。

このトレーニングを終了するまでに、参加者は次のことができるようになります。

Kafka とそのアーキテクチャを理解します。基本的な Kafka 環境をインストール、構成、セットアップする方法を学びます。 Kafka を Spring Boot と統合します。