In diesem Kurs dreht sich alles um Big Data. Er richtet sich an Studenten mit SQL-Erfahrung, die den nächsten Schritt auf ihrer Datenreise machen möchten, indem sie das verteilte Rechnen mit Apache Spark erlernen. Die Teilnehmer erhalten ein umfassendes Verständnis dieses Open-Source-Standards für die Arbeit mit großen Datenmengen. Die Teilnehmer lernen die Grundlagen der Datenanalyse mit SQL auf Spark kennen und legen damit den Grundstein für die Kombination von Daten mit fortgeschrittenen Analysen im großen Maßstab und in Produktionsumgebungen. Die vier Module bauen aufeinander auf und am Ende des Kurses werden Sie Folgendes verstehen: die Spark-Architektur, Abfragen innerhalb von Spark, gängige Möglichkeiten zur Optimierung von Spark-SQL und den Aufbau zuverlässiger Datenpipelines.

Das erste Modul führt Sie in Spark und die Databricks-Umgebung ein, einschließlich der Frage, wie Spark die Berechnungen und Spark SQL verteilt. Modul 2 befasst sich mit den Kernkonzepten von Spark, wie z.B. Speicherung vs. Berechnung, Caching, Partitionen und Fehlerbehebung bei Leistungsproblemen über die Spark-Benutzeroberfläche. Außerdem werden die neuen Funktionen von Apache Spark 3.x wie die Adaptive Query Execution behandelt. Das dritte Modul konzentriert sich auf die Entwicklung von Datenpipelines, einschließlich der Verbindung zu Datenbanken, Schemas und Datentypen, Dateiformaten und dem Schreiben zuverlässiger Daten. Das letzte Modul behandelt Data Lakes, Data Warehouses und Lakehouses. Die Teilnehmer erstellen produktionsreife Datenpipelines, indem sie Spark mit dem Open-Source-Projekt Delta Lake kombinieren. Am Ende dieses Kurses werden die Teilnehmer ihre SQL- und Distributed Computing-Kenntnisse verfeinern, um fortgeschrittene Analysen durchführen zu können und die Voraussetzungen für den Übergang zu fortgeschrittenen Analysen als Data Scientist zu schaffen.