In diesem Kurs dreht sich alles um Big Data. Er richtet sich an Teilnehmer mit SQL-Erfahrung, die den nächsten Schritt auf ihrer Datenreise machen wollen, indem sie das verteilte Rechnen mit Apache Spark erlernen. Die Teilnehmer erhalten ein umfassendes Verständnis dieses Open-Source-Standards für die Arbeit mit großen Datensätzen. Die Teilnehmer lernen die Grundlagen der Datenanalyse mit SQL auf Spark kennen und legen damit den Grundstein für die Kombination von Daten mit fortschrittlichen Analysen im großen Maßstab und in Produktionsumgebungen. Die vier Module bauen aufeinander auf, und am Ende des Kurses werden Sie Folgendes verstehen: die Spark-Architektur, Abfragen innerhalb von Spark, allgemeine Möglichkeiten zur Optimierung von Spark-SQL und den Aufbau zuverlässiger Datenpipelines.

Das erste Modul führt in Spark und die Databricks-Umgebung ein, einschließlich der Frage, wie Spark die Berechnungen und Spark SQL verteilt. Modul 2 deckt die Kernkonzepte von Spark ab, wie z. B. Speicherung vs. Berechnung, Caching, Partitionen und Fehlerbehebung bei Leistungsproblemen über die Spark-Benutzeroberfläche. Außerdem werden die neuen Funktionen von Apache Spark 3.x behandelt, wie z. B. Adaptive Query Execution. Das dritte Modul konzentriert sich auf das Engineering von Datenpipelines, einschließlich der Verbindung zu Datenbanken, Schemas und Datentypen, Dateiformaten und dem Schreiben zuverlässiger Daten. Das letzte Modul behandelt Data Lakes, Data Warehouses und Lakehouses. Am Ende dieses Kurses werden die Teilnehmer ihre SQL- und Distributed-Computing-Fähigkeiten verfeinern, um fortgeschrittene Analysen zu beherrschen und die Voraussetzungen für den Übergang zu fortgeschrittenen Analysen als Data Scientists zu schaffen.