Apache Kafka Streaming Applications

Introductie cursus Apache Kafka Streaming Applications

De cursus Apache Kafka Streaming Applications biedt een grondige introductie in de architectuur van Kafka en bespreekt belangrijke concepten zoals topics, partitions, producers, consumers en brokers. Ook wordt de rol van Kafka belicht bij het bouwen van realtime data pipelines, wat essentieel is voor moderne dataverwerkingssystemen.

Kafka Brokers

In deze cursus duiken we dieper in de Kafka brokers, de kerncomponenten van de gedistribueerde architectuur van Kafka. Onderwerpen zoals broker configuratie, replicatie, partition replica leaders en followers, en fouttolerantie komen uitgebreid aan bod. Daarnaast wordt de rol van Zookeeper in dit proces duidelijk uitgelegd.

Kafka Streams API

Een belangrijk onderdeel van de cursus Apache Kafka Streaming Applications is de Kafka Streams API. Deze API stelt ontwikkelaars in staat om streaming applicaties te bouwen voor realtime data verwerking. We behandelen concepten zoals processor topology, stream processors, de Kafka Streams DSL (Domain Specific Language) en KStreams. Ook wordt het verschil tussen stateful en stateless operaties toegelicht.

Topics en Opslag

Een ander essentieel aspect van de cursus is het begrijpen van de fundamentele concepten voor het organiseren en opslaan van data in Kafka clusters. We bespreken de creatie, replicatie en compaction van topics. Verder wordt ingegaan op Kafka storage, inclusief partities, storage formats, Kafka tables en tiered storage.

Beveiliging van Kafka

De cursus behandelt ook de security mechanismen die nodig zijn om Kafka clusters en data streams te beveiligen. Onderwerpen zoals authentication en authorization, encryptie met SSL, SASL (Simple Authentication and Security Layer), ZooKeeper security, en het instellen van request rate quota komen aan bod.

Management en Schaalbaarheid

Tenslotte richten we ons op het managen en schalen van Kafka clusters, met aandacht voor high availability en performance. We bespreken tools en technieken zoals Kafka Manager en Prometheus voor het monitoren en beheren van Kafka-clusters. Voor meer informatie over container deployment, bekijk ook onze cursus Openshift Container Deployment. Voor meer details over deze technologie, kunt u de officiële documentatie van Apache Kafka raadplegen.

Doelgroep Cursus Apache Kafka Streaming Applications

De cursus Apache Kafka Streaming Applications is bestemd voor developers en data engineers die Apache Kafka willen inzetten bij het real-time verwerken van data.

Voorkennis Cursus Apache Kafka Streaming Applications

Om aan deze cursus te kunnen deelnemen is basis kennis van messaging systemen bevorderlijk voor een goede begripsvorming.

Uitvoering Training Apache Kafka Streaming Applications

De cursus heeft een hands-on karakter waarbij theorie van de hand van demos wordt afgewisseld met praktijk door middel van exercises.

Certificaat Cursus Apache Kafka Streaming Applications

De deelnemers krijgen na het goed doorlopen van de cursus een certificaat van deelname aan Apache Kafka Streaming Applications.

Modules

Module 1 : Intro Apache Kafka

• What is Apache Kafka?
• Apache Kafka Architecture
• Kafka Components
• Producers, Consumers, and Brokers
• Topics and Partitions
• Kafka Streams Overview
• Event Streaming in Kafka
• Message Serialization
• Message DeSerialization
• Kafka Connect
• Kafka Installation

Module 2 : Kafka Brokers

• What are Brokers?
• Producers Sourcing Data
• Configuring Broker List
• Consumers Unlocking Data
• Consumer Interaction
• Role of Zookeeper
• Broker Level Options
• Partition Replica Leaders
• Peeking into Kafka
• Cluster Maintenance
• Adding Brokers

Module 3 : Kafka Streams

• Kafka Streams API
• Stream Partition
• Data Record
• Application Instances
• Elastic Scaling
• Processor Topology
• Stream Processors
• Stateful Operations
• Stateless Operations
• KStreams
• Real Time Analytics

Module 4 : Topics and Storage

• Topic Creation Options
• Replication Factors
• Partitions
• Partition Location
• Topic Compaction
• Kafka Storage
• Storage is Partitioned
• Storage Formats
• Kafka Tables
• Tiered Storage
• Data Movement

Module 5 : Kafka Security

• Security Fundamentals
• Encryption with SSL
• SSL and SASL Authentication
• SSL Brokers and Clients
• SSL between Brokers
• Authorization in Kafka
• Access Control List
• Role Based Access Control
• Zookeeper Kerberos Setup
• Network Bandwidth Quota
• Request Rate Quotas

Module 6 : Management and Scalability

• Kafka Replication
• High Availability
• Scaling Kafka clusters
• Processing Parallelism
• Fault Tolerant Processing
• Elastic Processing
• Table Compaction
• Monitoring Kafka
• Kafka Application Logs
• Optimizing Kafka
• Data Skew