In the fast-evolving world of big data, the ability to process streaming data in real time is essential. This course is meticulously designed to take you from the basics of Spark and Scala to advanced real-time data processing with Spark Streaming. We begin with a foundational setup of your development environment, ensuring you are equipped to run Spark and Scala on your desktop. A hands-on activity will introduce you to the excitement of live data by streaming and analyzing real-time Tweets.
Streaming Big Data with Spark Streaming, Scala, and Spark 3!
Streaming Big Data with Spark Streaming, Scala, and Spark 3!
Dozent: Packt - Course Instructors
Bei 
enthalten
Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.
Stufe Fortgeschritten
Empfohlene Erfahrung
Es dauert 8 Stunden
3 Wochen bei 2 Stunden pro Woche
Flexibler Zeitplan
In Ihrem eigenen Lerntempo lernen
Was Sie lernen werden
Identify key components of the Spark and Scala development environment.
Explain the core concepts of Scala and Spark, including Resilient Distributed Datasets (RDDs) and windowing mechanisms.
Differentiate between various data integration techniques with Spark Streaming, such as Kafka, Flume, and Cassandra.
Assess the performance and reliability of Spark Streaming applications in production environments.
Kompetenzen, die Sie erwerben
- Kategorie: Spark Streaming
- Kategorie: spark streaming
- Kategorie: fast data
- Kategorie: Apache spark
- Kategorie: big data
- Kategorie: Big Data
- Kategorie: Scala
- Kategorie: Apache Spark
Wichtige Details
Zertifikat zur Vorlage
Zu Ihrem LinkedIn-Profil hinzufügen
Kürzlich aktualisiert!
Oktober 2024
Bewertungen
4 Aufgaben
Unterrichtet in Englisch
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.
Erwerben Sie ein Karrierezertifikat.
Fügen Sie diese Qualifikation zur Ihrem LinkedIn-Profil oder Ihrem Lebenslauf hinzu.
Teilen Sie es in den sozialen Medien und in Ihrer Leistungsbeurteilung.
In diesem Kurs gibt es 9 Module
In this module, we will introduce you to the course, guide you through setting up your development environment, and ensure that Spark and Scala are installed correctly on your system. You will also dive into a hands-on activity where you will stream live Tweets using Spark Streaming.
Das ist alles enthalten
2 Videos1 Lektüre
In this module, we will dive into the fundamentals of Scala, starting with the basics like variables and flow control. You’ll then progress to functions and essential data structures, equipping you with the Scala knowledge necessary to work effectively with Spark.
Das ist alles enthalten
4 Videos
In this module, we will build upon your knowledge of Spark and introduce you to Spark Streaming in detail. You'll explore key concepts like RDDs, windowing, and fault tolerance while running hands-on activities that solidify your understanding of real-time data processing.
Das ist alles enthalten
7 Videos1 Aufgabe
In this module, we will apply Spark Streaming to real-world scenarios using Twitter data. You'll progress from saving tweets to disk, to computing tweet statistics like average length, and finally, tracking trending hashtags in real-time, providing practical insights into Spark Streaming's capabilities.
Das ist alles enthalten
3 Videos
In this module, we will dive into practical examples of Spark Streaming with Apache access logs and clickstream data. You'll learn to track popular URLs, monitor errors, integrate Spark Streaming with SQL, and explore Structured Streaming to analyze logs in real time, giving you a robust toolkit for handling streaming data.
Das ist alles enthalten
5 Videos
In this module, we will explore how to integrate Spark Streaming with various external systems like Apache Kafka, Apache Flume, Amazon Kinesis, and Cassandra. You’ll also learn how to create custom data receivers for proprietary systems, giving you the skills to connect Spark Streaming with almost any data source.
Das ist alles enthalten
5 Videos1 Aufgabe
In this module, we will delve into advanced Spark Streaming concepts, focusing on stateful information processing and the integration of machine learning techniques like K-means clustering and linear regression. You'll gain hands-on experience with these powerful tools, enabling you to build sophisticated real-time data processing applications.
Das ist alles enthalten
3 Videos
In this module, we will take your Spark Streaming applications to production, covering the essentials of packaging, deploying, and running your code on real clusters. You'll learn how to manage dependencies with SBT, deploy on Amazon EMR, and troubleshoot and optimize your jobs for reliable, high-performance operation in a production environment.
Das ist alles enthalten
4 Videos1 Aufgabe
In this module, we will offer you guidance on how to continue your learning journey with Spark Streaming, including valuable resources and next steps. You'll also reflect on your progress and plan how to integrate your newfound knowledge into real-world applications.
Das ist alles enthalten
1 Video1 Aufgabe
Dozent
von
Empfohlen, wenn Sie sich für Data Analysis interessieren
Warum entscheiden sich Menschen für Coursera für ihre Karriere?
Felipe M.
Lernender seit 2018
„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“
Jennifer J.
Lernender seit 2020
„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“
Larry W.
Lernender seit 2021
„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“
Chaitanya A.
„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“
Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu über 7.000 erstklassigen Kursen, praktischen Projekten und Zertifikatsprogrammen, die Sie auf den Beruf vorbereiten – alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.
If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.
Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.