Kafka Integration with Storm, Spark, Flume, and Security

Offrez à votre carrière le cadeau de Coursera Plus avec $160 de réduction, facturé annuellement. Économisez aujourd’hui.

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Kafka Integration with Storm, Spark, Flume, and Security

Ce cours fait partie de Spécialisation Apache Kafka

Instructeur : LearnKartS

Inclus avec Coursera Plus

2 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

3 heures pour terminer

3 semaines à 1 heure par semaine

Planning flexible

Apprenez à votre propre rythme

2 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

3 heures pour terminer

3 semaines à 1 heure par semaine

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Understanding Apache Storm's architecture and topology analysis.
Integrating Kafka Spouts into Apache Storm topologies.
Exploring Apache Spark's components, functions, and practical applications.
Developing Spark applications with Kafka integration, including RDD and session operations, and configuring Flume connectors for Kafka to HDFS.

Compétences que vous acquerrez

Catégorie : Apache Flume
Catégorie : Spark Streaming
Catégorie : Apache Storm
Catégorie : Kafka security

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Récemment mis à jour !

juin 2024

Évaluations

10 devoirs

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation Apache Kafka

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Obtenez un certificat professionnel

Ajoutez cette qualification à votre profil LinkedIn ou à votre CV

Partagez-le sur les réseaux sociaux et dans votre évaluation de performance

Il y a 2 modules dans ce cours

Welcome to the Kafka Integration with Storm, Spark, Flume, and Security course!

The course is designed to equip you with advanced skills and knowledge in real-time data processing and data security frameworks. In today's data-driven world, organizations rely heavily on robust frameworks like Apache Storm, Apache Spark, and Apache Flume to handle large-scale data processing efficiently while ensuring data integrity and security. This course requires a solid of Kafka and Java/Scala programming. By the end of the course, you will be able to: - Analyze Apache Storm's architecture and topology. - Implement Kafka Spouts in Storm topologies. - Evaluate Apache Spark's components and functions. - Develop and execute Spark applications integrated with Kafka. - Utilize RDD and session operations in Spark. - Configure Flume connectors for Kafka to HDFS. - Understand and utilize Kafka Admin Client. - Apply Kafka security measures like SASL and SSL. This course contains engaging videos, demos, readings, and assessments to ensure a comprehensive understanding of Apache Kafka.

This module delves into Kafka internals, operations, performance tuning, and reliability methods. At the end of this, learners will be able to ensure system reliability through effective configuration and management techniques.

Inclus

24 vidéos1 lecture7 devoirs1 sujet de discussion

24 vidéosTotal 108 minutes

Apache Storm2 minutesPrévisualiser le module
Real-time Analytics5 minutes
Apache Storm Architecture3 minutes
Apache Storm Components4 minutes
Understanding Apache Storm Topology: Spouts Workflow3 minutes
Understanding Apache Storm Topology: Bolts Workflow6 minutes
Kafka Spout3 minutes
Integration of Apache Storm and Kafka6 minutes
DEMO: Simple Standalone Application Using Kafka and Storm3 minutes
Introduction to Spark3 minutes
Spark Components7 minutes
Resilient Distributed Dataset3 minutes
RDD Operations - Transformation - Map, FlatMap, and Filter5 minutes
RDD Operations - Transformation - Join, Distinct, First, and Take5 minutes
RDD Operations - Actions2 minutes
Data Sets and Spark Session2 minutes
Data Sets and Spark Session Operations5 minutes
Understanding Spark Stream3 minutes
Spark Integration with Kafka2 minutes
DEMO: Running a Small Standalone Application in Spark with Kafka3 minutes
Introduction to Apache Flume5 minutes
Understanding Flume Connectors2 minutes
Flume Kafka to HDFS Configuration6 minutes
DEMO: Creating Flume Agent Sending Data from Kafka to HDFS7 minutes

1 lectureTotal 2 minutes

Introduction and Syllabus2 minutes

7 devoirsTotal 54 minutes

Apache Storm Overview6 minutes
Kafka Integration6 minutes
Spark Components 6 minutes
Spark Operations6 minutes
RDD & Spark Operations6 minutes
Flume Kafka6 minutes
Kafka Integration18 minutes

1 sujet de discussionTotal 5 minutes

Kafka Integration with Apache Storm, Spark, and Flume5 minutes

This module introduces the Kafka Admin Client and focuses on securing Kafka with SASL, SSL configuration, and ACLs. At the end of this, learners will be able to perform administrative tasks using the Admin Client and implement security measures to protect Kafka clusters.

Inclus

7 vidéos1 lecture3 devoirs1 sujet de discussion

7 vidéosTotal 29 minutes

Introduction to Admin Client6 minutesPrévisualiser le module
DEMO: Perform Various Admin Tasks using Admin Client5 minutes
Kafka Security1 minute
Kafka Security Component6 minutes
Simple Authorization Service Layer in Kafka3 minutes
Configure SSL in Kafka1 minute
Secure using ACLS4 minutes

1 lectureTotal 2 minutes

Course Synopsis2 minutes

3 devoirsTotal 30 minutes

Kafka Admin Client Utilization6 minutes
Kafka Security Essentials6 minutes
Kafka Security18 minutes

1 sujet de discussionTotal 5 minutes

Admin Client and Securing Kafka5 minutes

Instructeur

LearnKartS

63 Cours27 604 apprenants

Offert par

LearnKartS

Recommandé si vous êtes intéressé(e) par Software Development

Google Cloud
Essential Cloud Infrastructure: Core Services dalam bahasa Indonesia
Cours
Politecnico di Milano
Data science perspectives on pandemic management
Cours
Snowflake
Introduction to Modern Data Engineering with Snowflake
Cours
Codio
Security Infrastructure Management
Cours

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à plus de 7 000 cours de renommée internationale, à des projets pratiques et à des programmes de certificats reconnus sur le marché du travail, tous inclus dans votre abonnement

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Découvrir les diplômes

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions

Yes, this course requires a solid understanding of Kafka which is covered in the first course "Kafka Fundamentals" which belongs to the "Apache Kafka" specialization.

Apache Flume is used for collecting, aggregating, and moving large amounts of streaming data (logs, events) into Kafka topics. It acts as a reliable, distributed, and available service for efficiently collecting, aggregating, and moving large amounts of streaming data into Kafka.

Yes, a course completion certificate is allocated upon completing all graded assignments and quizzes present in the Kafka Integration with Storm, Spark, Flume, and Security course.

Access to lectures and assignments depends on your type of enrollment. If you take a course in audit mode, you will be able to see most course materials for free. To access graded assignments and to earn a Certificate, you will need to purchase the Certificate experience, during or after your audit. If you don't see the audit option:

The course may not offer an audit option. You can try a Free Trial instead, or apply for Financial Aid.
The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile. If you only want to read and view the course content, you can audit the course for free.