Generative KI-Modelle, wie z. B. große Sprachmodelle, übersteigen oft die Möglichkeiten von Consumer-Hardware und sind teuer in der Ausführung. Die Komprimierung von Modellen durch Methoden wie die Quantisierung macht sie effizienter, schneller und zugänglicher. Dadurch können sie auf einer Vielzahl von Geräten ausgeführt werden, darunter Smartphones, PCs und Edge-Geräte, und die Leistungseinbußen werden minimiert. Nehmen Sie an diesem Kurs teil, um: 1. Jedes Open Source Modell mit linearer Quantisierung unter Verwendung der Quanto Bibliothek zu quantisieren. 2. Erhalten Sie einen Überblick darüber, wie lineare Quantisierung implementiert wird. Diese Form der Quantisierung kann zur Komprimierung beliebiger Modelle eingesetzt werden, einschließlich LLMs, Visionsmodelle usw. 3. Wenden Sie "Downcasting", eine weitere Form der Quantisierung, mit der Transformers-Bibliothek an, die es Ihnen ermöglicht, Modelle in etwa der Hälfte ihrer normalen Größe in den BFloat16-Datentyp zu laden. Am Ende dieses Kurses werden Sie über ein Fundament an Quantisierungstechniken verfügen und in der Lage sein, diese anzuwenden, um Ihre eigenen generativen KI-Modelle zu komprimieren und zu optimieren und sie so zugänglicher und effizienter zu machen.