Ce cours porte sur le big data. Il s'adresse aux étudiants ayant une expérience du langage SQL et qui souhaitent passer à l'étape suivante de leur voyage dans les données en apprenant le calcul distribué à l'aide d'Apache Spark. Les étudiants acquerront une compréhension approfondie de ce standard open-source pour travailler avec de grands ensembles de données. Les étudiants comprendront les principes fondamentaux de l'analyse de données en utilisant SQL sur Spark, jetant les bases pour combiner les données avec des analyses avancées à l'échelle et dans des environnements de production. Les quatre modules s'appuient les uns sur les autres et, à la fin du cours, vous comprendrez : l'architecture Spark, les requêtes au sein de Spark, les moyens courants d'optimiser Spark SQL, et comment construire des pipelines de données fiables.

Le premier module présente Spark et l'environnement Databricks, y compris la façon dont Spark distribue les calculs et Spark SQL. Le module 2 couvre les concepts fondamentaux de Spark tels que le stockage par rapport au calcul, la mise en cache, les partitions et la résolution des problèmes de performance via l'interface utilisateur de Spark. Il couvre également les nouvelles fonctionnalités d'Apache Spark 3.x telles que l'exécution adaptative des requêtes. Le troisième module se concentre sur l'ingénierie des pipelines de données, y compris la connexion aux bases de données, les schémas et les types de données, les formats de fichiers et l'écriture de données fiables. Le dernier module couvre les lacs de données, les entrepôts de données et les entrepôts lacustres. Les étudiants construisent des pipelines de données de niveau production en combinant Spark avec le projet open-source Delta Lake. À la fin de ce cours, les étudiants auront affiné leurs compétences en SQL et en informatique distribuée pour devenir plus adeptes de l'analyse avancée et préparer le terrain pour passer à des analyses plus avancées en tant que Data Scientists.