Apprenez à construire des systèmes de recherche multimodale et des systèmes RAG. Les systèmes RAG améliorent un LLM en incorporant des données propriétaires dans le contexte d'interrogation. En général, les applications RAG utilisent des documents textuels, mais que se passe-t-il si le contexte souhaité comprend des éléments multimédias tels que des images, des sons et des vidéos ? Ce cours couvre les aspects techniques de la mise en œuvre de RAG avec des données multimodales. 1. Apprendre comment les modèles multimodaux sont formés par l'apprentissage contrastif et l'implémenter sur un ensemble de données réelles. 2. Construire une recherche multimodale any-to-any pour récupérer un contexte pertinent à travers différents types de données. 3. Apprendre comment les LLMs sont entraînés à comprendre les données multimodales par Visualisation des données et les utiliser sur de multiples exemples de raisonnement par l'image. 4. Mettre en œuvre un système RAG multimodal de bout en bout qui analyse le contexte multimodal récupéré pour générer des réponses pertinentes. 5. Explorer des applications industrielles telles que la Visualisation des données de factures et d'organigrammes pour produire des données structurées. 6. Créer un système de recommandation multi-vectoriel qui suggère des éléments pertinents en comparant leurs similitudes à travers plusieurs modalités. Comme les systèmes IA ont de plus en plus besoin de traiter et de raisonner sur plusieurs modalités de données, apprendre à construire de tels systèmes est une compétence importante pour les développeurs IA. Ce cours vous permet d'acquérir les compétences clés pour intégrer, récupérer et générer à travers différentes modalités. En acquérant une base solide en IA multimodale, vous serez prêt à construire des systèmes de recherche, de RAG et de recommandation plus intelligents.