Ce cours est entièrement consacré au Big data. Il s'adresse aux étudiants ayant une expérience de SQL qui veulent passer à l'étape suivante de leur voyage de données en apprenant l'informatique distribuée à l'aide d'Apache Spark. Les étudiants acquerront une compréhension approfondie de cette norme open source pour travailler avec de grands ensembles de données. Les étudiants comprendront les principes fondamentaux de l'analyse des données à l'aide de SQL sur Spark, jetant les bases de la façon de combiner les données avec des analyses avancées à l'échelle et dans des environnements de production. Les quatre modules s'appuient les uns sur les autres et, à la fin du cours, vous comprendrez : l'architecture de Spark, les requêtes au sein de Spark, les moyens courants d'optimiser Spark SQL et la façon de construire des pipelines de données fiables.

Le premier module présente Spark et l'environnement Databricks, notamment la façon dont Spark distribue les calculs et Spark SQL. Le module 2 couvre les concepts fondamentaux de Spark tels que le stockage par rapport au calcul, la mise en cache, les partitions et le dépannage des problèmes de performance via l'UI de Spark. Il couvre également les nouvelles fonctionnalités d'Apache Spark 3.x telles que l'exécution adaptative des requêtes (Adaptive Query Execution). Le troisième module se concentre sur l'Ingénieur de données Pipelines, y compris la connexion aux bases de données, les schémas et les types de données, les formats de fichiers et l'écriture de données fiables. Le dernier module couvre les lacs de données, les entrepôts de données et les lakehouses. À la fin de ce cours, les étudiants affineront leurs compétences en matière de Raisonnement d'authentification et d'informatique distribuée pour devenir plus adeptes de l'analyse avancée et pour préparer le terrain pour la transition vers des analyses plus avancées en tant qu'Analytique d'ensemble (Data Scientists).