Ce module vous présentera Spark et vous donnera un aperçu de ses principales caractéristiques et applications dans le domaine de l'ingénierie des données. Vous découvrirez le processus de connexion à un cluster Spark à l'aide de SN labs et approfondirez divers sujets tels que la régression, la prédiction de kilométrage, la classification, la classification diabétique, le clustering et le clustering de données de charge à l'aide de SparkML. En outre, vous aurez un aperçu de la façon de construire ces modèles à l'aide de Spark ML. De plus, ce module couvrira GraphFrames sur Apache Spark et vous guidera dans des travaux pratiques.

Ce module présente Apache Spark Structured Streaming et son rôle dans le traitement des données en continu avec Spark SQL. Vous acquerrez des connaissances sur les termes clés associés à Structured Streaming. Le module couvre ensuite le processus Extract-Transform-Load et fournit une expérience pratique dans le transfert de données d'une source à une autre destination avec différents formats ou structures de données. En outre, vous acquerrez une compréhension pratique de l'extraction et de la transformation des caractéristiques en utilisant les fonctions d'extraction et de transformation de Spark. Le module se penche également sur les pipelines d'apprentissage automatique à l'aide de Spark, en démontrant le processus et les avantages qui en découlent. Enfin, vous comprendrez le concept de persistance des modèles et son rôle important dans l'apprentissage automatique.

Dans ce module, vous appliquerez les compétences et les techniques d'ingénierie des données que vous avez acquises tout au long du cours. Le cours se termine par un projet final et des travaux qui vous permettront de démontrer votre maîtrise de ces domaines. Vous entrerez dans la peau d'un ingénieur de données travaillant dans une société de conseil en aéronautique renommée, reconnue pour son habileté à traiter de grands ensembles de données. Votre rôle d'ingénieur en données est crucial car les data scientists comptent sur votre expertise pour effectuer des tâches ETL (Extract, Transform, Load) et établir des pipelines d'apprentissage automatique. Alors que les data scientists possèdent une expertise en apprentissage automatique, ils dépendent de vos connaissances spécialisées pour traiter divers algorithmes et formats de données. Votre contribution joue un rôle essentiel dans la bonne exécution de leurs tâches.