Rejoignez notre nouvelle formation courte, Efficiently Serving Large Language Models, pour acquérir une compréhension de base de la manière de servir les applications LLM par Travis Addair, CTO chez Predibase. Que vous soyez prêt à lancer votre propre application ou que vous commenciez à la construire, les sujets que vous explorerez dans ce cours approfondiront votre connaissance fondamentale du fonctionnement des LLM et vous aideront à mieux comprendre les compromis de performance que vous devez prendre en compte lors de la construction d'applications LLM qui serviront un grand nombre d'utilisateurs. Vous passerez en revue les optimisations les plus importantes qui permettent aux fournisseurs de LLM de servir efficacement des modèles à de nombreux clients, y compris des stratégies pour travailler avec plusieurs modèles affinés à la fois. Dans ce cours, vous : 1. Apprendre comment les modèles génératifs de langage (LLM) auto-régressifs génèrent du texte un jeton à la fois. 2. Implémenter les éléments fondamentaux d'une pile d'inférence LLM moderne dans le code, y compris la mise en cache KV, la mise en lot continue et la quantification de modèle, et comparer leurs impacts sur le débit et la latence de l'inférence. 3. Explorer les détails du fonctionnement des adaptateurs LoRA et apprendre comment les techniques de batching permettent à différents adaptateurs LoRA d'être servis à plusieurs clients simultanément. 4. Mettre la main sur le serveur d'inférence LoRAX de Predibase pour voir ces techniques d'optimisation mises en œuvre dans un serveur d'inférence LLM réel. En savoir plus sur le fonctionnement des serveurs LLM sous le capot améliorera grandement votre compréhension des options dont vous disposez pour augmenter la performance et l'efficacité de vos applications alimentées par LLM.