Dieser Kurs gibt Ihnen einen Überblick über die Verwendung von transformatorbasierten Modellen für die Verarbeitung natürlicher Sprache (NLP). In diesem Kurs lernen Sie, transformatorbasierte Modelle für die Textklassifikation anzuwenden, wobei der Schwerpunkt auf der Encoder-Komponente liegt.
Generative KI Sprachmodellierung mit Transformers
Generative KI Sprachmodellierung mit Transformers
Dieser Kurs ist Teil mehrerer Programme.
Dozenten: Joseph Santarcangelo
3.316 bereits angemeldet
Bei 
enthalten
Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.
4.5
(26 Bewertungen)
Stufe Mittel
Empfohlene Erfahrung
Es dauert 8 Stunden
3 Wochen bei 2 Stunden pro Woche
Flexibler Zeitplan
In Ihrem eigenen Lerntempo lernen
Was Sie lernen werden
Erklären Sie das Konzept der Aufmerksamkeitsmechanismen bei Transformatoren, einschließlich ihrer Rolle bei der Erfassung von Kontextinformationen.
Beschreiben Sie die Sprachmodellierung mit dem decoderbasierten GPT und dem encoderbasierten BERT.
Implementierung von Positionskodierung, Maskierung, Aufmerksamkeitsmechanismus, Dokumentenklassifizierung und Erstellung von LLMs wie GPT und BERT.
Verwenden Sie transformatorbasierte Modelle und PyTorch-Funktionen zur Textklassifizierung, Sprachübersetzung und Modellierung.
Kompetenzen, die Sie erwerben
- Kategorie: Bidirektionale Darstellung für Transformatoren (BERT)
- Kategorie: Positionelle Kodierung und Maskierung
- Kategorie: Generative vortrainierte Transformatoren (GPT)
- Kategorie: Transformation der Sprache
- Kategorie: PyTorch-Funktionen
Wichtige Details
Zertifikat zur Vorlage
Zu Ihrem LinkedIn-Profil hinzufügen
Bewertungen
6 Aufgaben
Unterrichtet in Englisch
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.
Erweitern Sie Ihre Fachkenntnisse
Dieser Kurs ist als Teil verfügbar
Wenn Sie sich für diesen Kurs anmelden, müssen Sie auch ein bestimmtes Programm auswählen.
- Lernen Sie neue Konzepte von Branchenexperten
- Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
- Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
- Erwerben Sie ein Berufszertifikat zur Vorlage
Erwerben Sie ein Karrierezertifikat.
Fügen Sie diese Qualifikation zur Ihrem LinkedIn-Profil oder Ihrem Lebenslauf hinzu.
Teilen Sie es in den sozialen Medien und in Ihrer Leistungsbeurteilung.
In diesem Kurs gibt es 2 Module
In diesem Modul lernen Sie die Techniken zur Positionskodierung kennen und erfahren, wie Sie Positionskodierung in PyTorch implementieren. Sie werden lernen, wie der Aufmerksamkeitsmechanismus funktioniert und wie man den Aufmerksamkeitsmechanismus auf Worteinbettungen und Sequenzen anwendet. Sie werden auch lernen, wie Selbstaufmerksamkeitsmechanismen bei der einfachen Sprachmodellierung helfen, um das Token vorherzusagen. Darüber hinaus lernen Sie den skalierten Punktprodukt-Aufmerksamkeitsmechanismus mit mehreren Köpfen kennen und erfahren, wie die Transformator-Architektur die Effizienz von Aufmerksamkeitsmechanismen erhöht. Sie werden auch lernen, wie man eine Reihe von Encoder-Schicht-Instanzen in PyTorch implementiert. Schließlich werden Sie lernen, wie man Transformator-basierte Modelle für die Textklassifikation verwendet, einschließlich der Erstellung der Textpipeline und des Modells sowie des Trainings des Modells.
Das ist alles enthalten
6 Videos4 Lektüren2 Aufgaben2 App-Elemente1 Plug-in
In diesem Modul lernen Sie Dekoder und GPT-ähnliche Modelle für die Sprachübersetzung kennen, trainieren die Modelle und implementieren sie mit PyTorch. Sie werden auch Kenntnisse über Encoder-Modelle mit bidirektionalen Encoder-Repräsentationen von Transformatoren (BERT) erwerben und diese mit maskierter Sprachmodellierung (MLM) und Vorhersage des nächsten Satzes (NSP) trainieren. Sie werden auch die Datenvorbereitung für BERT mit PyTorch durchführen. Schließlich lernen Sie die Anwendungen von Transformern für die Übersetzung kennen, indem Sie die Architektur von Transformern verstehen und ihre Implementierung in PyTorch durchführen. Die praktischen Übungen in diesem Modul werden Ihnen zeigen, wie Sie das Decoder-Modell, das Encoder-Modell und die Transformatoren für reale Anwendungen nutzen können.
Das ist alles enthalten
10 Videos6 Lektüren4 Aufgaben4 App-Elemente2 Plug-ins
von
Empfohlen, wenn Sie sich für Maschinelles Lernen interessieren
Google Cloud
Fractal Analytics
DeepLearning.AI
Warum entscheiden sich Menschen für Coursera für ihre Karriere?
Felipe M.
Lernender seit 2018
„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“
Jennifer J.
Lernender seit 2020
„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“
Larry W.
Lernender seit 2021
„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“
Chaitanya A.
„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“
Bewertungen von Lernenden
4.5
26 Bewertungen
- 5 stars
68,96 %
- 4 stars
27,58 %
- 3 stars
0 %
- 2 stars
0 %
- 1 star
3,44 %
Zeigt 3 von 26 an
SM
4
Geprüft am 21. Okt. 2024
It is an excellent specialisation, except the pace of the speaker is very fast. It is difficult to understand, and it sounds very artificial.
NA
4
Geprüft am 16. Nov. 2024
need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.
RR
4
Geprüft am 10. Okt. 2024
Once again, great content and not that great documentation (printable cheatsheets, no slides, etc). Documentation is essential to review a course content in the future. Alas!
Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu 10,000+ Weltklasse-Kursen, praktischen Projekten und berufsqualifizierenden Zertifikatsprogrammen - alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
Es dauert nur zwei Wochen, um diesen Kurs zu absolvieren, wenn Sie 3 bis 5 Stunden pro Woche für das Lernen aufwenden.
Es wäre gut, wenn Sie über Grundkenntnisse in Python verfügen und mit Konzepten des maschinellen Lernens und neuronaler Netze vertraut sind. Es wäre von Vorteil, wenn Sie mit Textvorverarbeitungsschritten und N-Gramm-, Word2Vec- und Sequenz-zu-Sequenz-Modellen vertraut sind. Kenntnisse von Evaluationsmetriken wie z.B. der bilingualen Evaluation Understudy (BLEU) sind von Vorteil.
Dieser Kurs ist Teil der Generative AI Engineering Essentials with LLMs PC Spezialisierung. Wenn Sie die Spezialisierung abschließen, werden Sie sich mit den Fähigkeiten und dem Selbstvertrauen vorbereiten, um Jobs wie AI Engineer, NLP Engineer, Machine Learning Engineer, Deep Learning Engineer und Data Scientist anzunehmen.