Dans ce module, vous acquerrez une compréhension fondamentale de l'architecture, de l'écosystème et des pratiques d'Apache Hadoop, ainsi que des applications couramment utilisées, notamment le système de fichiers distribués (HDFS), MapReduce, Hive et HBase. Vous acquerrez également des compétences pratiques lors de travaux pratiques au cours desquels vous interrogerez les données ajoutées à l'aide de Hive, lancerez un cluster Hadoop à un seul nœud à l'aide de Docker et exécuterez des tâches MapReduce.

Dans ce module, vous porterez votre attention sur la populaire plateforme Apache Spark, où vous explorerez les attributs et les avantages d'Apache Spark et de l'informatique distribuée. Vous obtiendrez des informations clés sur la programmation fonctionnelle et les fonctions Lambda. Vous explorerez également les RDD (Resilient Distributed Datasets), la programmation parallèle, la résilience dans Apache Spark, et ferez le lien entre les RDD et la programmation parallèle avec Apache Spark. Ensuite, vous plongerez dans les composants supplémentaires d'Apache Spark et apprendrez comment Apache Spark évolue avec les Big Data. Travailler avec les Big Data nécessite de travailler avec des requêtes, y compris des requêtes structurées utilisant SQL. Vous apprendrez également les fonctions, les parties et les avantages de Spark SQL et des requêtes DataFrame, et découvrirez comment les DataFrames fonctionnent avec Spark SQL.

Dans ce module, vous découvrirez les Resilient Distributed Datasets (RDD), leur utilisation dans Apache Spark, ainsi que les transformations et actions RDD. Vous comparerez l'utilisation des datasets avec la dernière abstraction de données de Spark, les DataFrames. Vous apprendrez à identifier et à appliquer les opérations de base des DataFrames. Vous explorerez l'optimisation SQL d'Apache Spark et apprendrez comment Spark SQL et l'optimisation de la mémoire bénéficient de l'utilisation de Catalyst et Tungsten. Enfin, vous renforcerez vos compétences avec des travaux pratiques guidés pour créer une vue de table et appliquer des techniques d'agrégation de données.

Dans ce module, vous découvrirez comment Spark traite les requêtes que votre application soumet et comment vous pouvez suivre le travail à l'aide de l'interface utilisateur de l'application Spark. Comme le travail de l'application Spark se fait sur le cluster, vous devez être capable d'identifier les Apache Cluster Managers, leurs composants et leurs avantages. Vous saurez également comment vous connecter à chaque gestionnaire de cluster et quand et comment vous voudrez peut-être configurer une instance Spark locale et autonome. Ensuite, vous apprendrez à soumettre une application Apache Spark, y compris l'utilisation de l'interface unifiée de Spark, "spark-submit", et vous vous familiariserez avec les options et les dépendances. Vous décrirez et appliquerez également les options de soumission des applications, identifierez les techniques de gestion des dépendances des applications externes et énumérerez les avantages de Spark Shell. Vous examinerez également les pratiques recommandées pour les options de configuration statique et dynamique de Spark et effectuerez des travaux pratiques pour utiliser Apache Spark sur IBM Cloud et exécuter Spark sur Kubernetes.

Les plateformes et les applications nécessitent une surveillance et un réglage pour gérer les problèmes qui surviennent inévitablement. Dans ce module, vous apprendrez à connecter le serveur web de l'interface utilisateur Apache Spark et à utiliser ce même serveur web pour gérer les processus de l'application. Vous identifierez également les problèmes courants des applications Apache Spark et apprendrez à déboguer les problèmes en utilisant l'interface utilisateur de l'application et en localisant les fichiers journaux correspondants. En outre, vous découvrirez et acquerrez des connaissances concrètes sur la façon dont Spark gère la mémoire et les ressources du processeur grâce à un laboratoire pratique.

Dans ce module, vous effectuerez un laboratoire pratique où vous explorerez deux aspects critiques du traitement des données à l'aide de Spark : travailler avec des RDD (Resilient Distributed Datasets) et construire des DataFrames à partir de données JSON. Vous appliquerez également diverses transformations et actions sur les RDD et les DataFrames afin d'obtenir des informations et de manipuler les données de manière efficace. En outre, vous appliquerez vos connaissances dans un projet final où vous créerez un DataFrame en chargeant des données à partir d'un fichier CSV et en appliquant des transformations et des actions à l'aide de Spark SQL. Enfin, vous serez évalué sur la base de ce que vous aurez appris pendant le cours.