In diesem Modul erhalten Sie ein grundlegendes Verständnis der Architektur, des Ökosystems, der Praktiken und der häufig verwendeten Anwendungen von Apache Hadoop, einschließlich des Distributed File System (HDFS), MapReduce, Hive und HBase. Darüber hinaus erwerben Sie in praktischen Übungen praktische Fähigkeiten, wenn Sie die mit Hive hinzugefügten Daten abfragen, einen Single-Node-Hadoop-Cluster mit Docker starten und MapReduce-Jobs ausführen.

In diesem Modul widmen Sie sich der beliebten Apache Spark-Plattform und lernen die Eigenschaften und Vorteile von Apache Spark und verteiltem Rechnen kennen. Sie erhalten wichtige Einblicke in die funktionale Programmierung und Lambda-Funktionen. Sie werden auch Resilient Distributed Datasets (RDDs), parallele Programmierung und Ausfallsicherheit in Apache Spark erkunden und RDDs und parallele Programmierung mit Apache Spark in Verbindung bringen. Dann tauchen Sie in weitere Apache Spark-Komponenten ein und erfahren, wie Apache Spark mit Big Data skaliert. Die Arbeit mit Big Data macht es erforderlich, mit Abfragen zu arbeiten, einschließlich strukturierter Abfragen mit SQL. Sie lernen auch die Funktionen, Teile und Vorteile von Spark SQL und DataFrame-Abfragen kennen und erfahren, wie DataFrames mit Spark SQL funktionieren.

In diesem Modul lernen Sie Resilient Distributed Datasets (RDDs), ihre Verwendung in Apache Spark sowie RDD-Transformationen und -Aktionen kennen. Sie vergleichen die Verwendung von Datasets mit der neuesten Datenabstraktion von Spark, DataFrames. Sie werden lernen, grundlegende DataFrame-Operationen zu identifizieren und anzuwenden. Sie lernen die Apache Spark SQL-Optimierung kennen und erfahren, wie Spark SQL und die Speicheroptimierung von der Verwendung von Catalyst und Tungsten profitieren. Abschließend vertiefen Sie Ihre Kenntnisse in einer geführten praktischen Übung zur Erstellung einer Tabellenansicht und zur Anwendung von Datenaggregationsverfahren.

In diesem Modul erfahren Sie, wie Spark die Anfragen verarbeitet, die Ihre Anwendung stellt, und wie Sie die Arbeit mit der Spark-Anwendungsschnittstelle verfolgen können. Da die Arbeit von Spark-Anwendungen auf dem Cluster stattfindet, müssen Sie die Apache Cluster Manager, ihre Komponenten und Vorteile kennen. Sie werden auch wissen, wie Sie sich mit jedem Clustermanager verbinden und wie und wann Sie eine lokale, eigenständige Spark-Instanz einrichten können. Als Nächstes lernen Sie die Einreichung von Apache Spark-Anwendungen kennen, einschließlich der Verwendung der einheitlichen Schnittstelle von Spark, "spark-submit", und erfahren mehr über Optionen und Abhängigkeiten. Sie werden auch Optionen für die Einreichung von Anwendungen beschreiben und anwenden, Techniken zur Verwaltung externer Anwendungsabhängigkeiten identifizieren und die Vorteile von Spark Shell auflisten. Sie werden sich auch mit den empfohlenen Praktiken für die statischen und dynamischen Konfigurationsoptionen von Spark befassen und praktische Übungen durchführen, um Apache Spark auf IBM Cloud zu verwenden und Spark auf Kubernetes auszuführen.

Plattformen und Anwendungen müssen überwacht und abgestimmt werden, um Probleme zu bewältigen, die unweigerlich auftreten. In diesem Modul lernen Sie, wie Sie den Webserver der Apache Spark-Benutzeroberfläche anschließen und denselben UI-Webserver zur Verwaltung von Anwendungsprozessen verwenden. Sie werden auch häufige Probleme mit Apache Spark-Anwendungen identifizieren und lernen, wie Sie Probleme mit der Benutzeroberfläche der Anwendung beheben und die entsprechenden Protokolldateien finden. Darüber hinaus lernen Sie im praktischen Labor, wie Spark Speicher- und Prozessorressourcen verwaltet, und erwerben praktische Kenntnisse darüber.

In diesem Modul führen Sie ein Praxislabor durch, in dem Sie zwei wichtige Aspekte der Datenverarbeitung mit Spark erkunden: die Arbeit mit Resilient Distributed Datasets (RDDs) und die Erstellung von DataFrames aus JSON-Daten. Sie werden auch verschiedene Transformationen und Aktionen auf RDDs und DataFrames anwenden, um Erkenntnisse zu gewinnen und die Daten effektiv zu bearbeiten. Außerdem wenden Sie Ihr Wissen in einem Abschlussprojekt an, in dem Sie einen DataFrame erstellen, indem Sie Daten aus einer CSV-Datei laden und mit Spark SQL Transformationen und Aktionen anwenden. Abschließend werden Sie auf der Grundlage Ihrer Kenntnisse aus dem Kurs bewertet.