Dieses Modul führt Sie in Spark ein und gibt Ihnen einen Überblick über die wichtigsten Funktionen und Anwendungen im Bereich des Data Engineering. Sie werden den Prozess der Verbindung mit einem Spark-Cluster anhand von SN-Laboren kennenlernen und sich mit verschiedenen Themen wie Regression, Meilenvorhersage, Klassifizierung, Diabetikerklassifizierung, Clustering und Clustering von Lastdaten mithilfe von SparkML beschäftigen. Außerdem erhalten Sie Einblicke in die Konstruktion dieser Modelle mit Spark ML. Außerdem wird dieses Modul GraphFrames auf Apache Spark behandeln und Sie in praktischen Übungen anleiten.

Dieses Modul beginnt mit Apache Spark Structured Streaming und seiner Rolle bei der Verarbeitung von Streaming-Daten mit Spark SQL. Sie erwerben Kenntnisse über die wichtigsten Begriffe im Zusammenhang mit Structured Streaming. Das Modul deckt dann den Prozess Extrahieren-Transformieren-Laden ab und bietet praktische Erfahrung bei der Übertragung von Daten von einer Quelle zu einem anderen Ziel mit unterschiedlichen Datenformaten oder -strukturen. Darüber hinaus erhalten Sie ein praktisches Verständnis für die Extraktion und Transformation von Merkmalen mit Hilfe von Spark extract and transform features. Das Modul befasst sich auch mit Pipelines für maschinelles Lernen mit Spark und demonstriert den Prozess und die damit verbundenen Vorteile. Schließlich werden Sie das Konzept der Modellpersistenz und seine wichtige Rolle beim maschinellen Lernen verstehen.

In diesem Modul werden Sie die im Kurs erworbenen Fähigkeiten und Techniken der Datentechnik anwenden. Der Kurs schließt mit einem Abschlussprojekt und Aufgaben ab, in denen Sie Ihre Fähigkeiten in diesen Bereichen unter Beweis stellen können. Sie schlüpfen in die Rolle eines Data Engineers, der in einem renommierten Beratungsunternehmen für die Luftfahrt arbeitet, das für seine Geschicklichkeit im Umgang mit großen Datenmengen bekannt ist. Ihre Rolle als Data Engineer ist von entscheidender Bedeutung, denn die Data Scientists verlassen sich bei der Durchführung von ETL-Aufgaben (Extract, Transform, Load) und der Einrichtung von Pipelines für maschinelles Lernen auf Ihr Fachwissen. Während die Data Scientists über Fachwissen im Bereich des maschinellen Lernens verfügen, sind sie bei der Handhabung verschiedener Algorithmen und Datenformate auf Ihr Fachwissen angewiesen. Ihr Beitrag spielt eine wichtige Rolle bei der reibungslosen Ausführung ihrer Aufgaben.