Dans ce module, vous décrirez les applications des grands modèles de langage (LLM) pour générer des règles d'application et des probabilités pour générer des réponses sur la base du texte d'entrée. Vous aurez également un aperçu de la relation entre la politique et le modèle génératif de langage en tant que fonction d'oméga pour générer des réponses possibles. En outre, ce module montrera comment calculer les récompenses en utilisant le feedback humain incorporant la fonction de récompense, former des échantillons de réponses et évaluer la performance de l'agent. Vous définirez également la fonction de notation pour l'Analyse des sentiments en utilisant PPO avec Hugging Face. Vous expliquerez également la classe de configuration PPO pour des modèles spécifiques et le taux d'apprentissage pour la formation PPO et comment le formateur PPO traite les échantillons de requêtes pour optimiser les politiques du chatbot afin d'obtenir des réponses de haute qualité. Ce module approfondit les concepts d'optimisation directe des préférences (DPO) afin de fournir des solutions optimales pour les requêtes générées basées sur les préférences humaines de manière plus directe et plus efficace en utilisant Hugging Face. Les travaux pratiques de ce module permettent de s'exercer sur le retour d'information humain et la DPO. Les méthodes telles que l'apprentissage par renforcement et le PPO sont assez complexes et pourraient être considérées comme des sujets d'étude à part entière. Bien que nous ayons fourni quelques références pour ceux qui sont intéressés, on ne s'attend pas à ce que vous les compreniez en profondeur dans le cadre de ce cours