In dieser Woche befassen wir uns mit Sequenz-zu-Sequenz-Modellen in der Verarbeitung natürlicher Sprache (NLP), beginnend mit Architekturen auf der Grundlage rekurrenter neuronaler Netze (RNN) und der Einführung von Aufmerksamkeitsmechanismen für verbessertes Alignment bei Aufgaben wie der maschinellen Übersetzung. Das Modul behandelt auch bewährte Verfahren für das Training neuronaler Netze, einschließlich Regularisierung, Optimierungsstrategien und effizientes Training von Modellen. Am Ende der Woche werden Sie praktische Erfahrungen mit der Implementierung und dem Training von Sequenz-zu-Sequenz-Modellen sammeln.

In dieser Woche werden Techniken des Transfer Learning in NLP untersucht, wobei der Schwerpunkt auf Pretraining, Finetuning und mehrsprachigen Modellen liegt. Sie werden zunächst die Rolle von vortrainierten Sprachmodellen wie GPT, GPT-2 und BERT und deren Herausforderungen untersuchen. Anschließend werden wir uns mit Multitask-Training und Datenerweiterung befassen und dabei Strategien wie die gemeinsame Nutzung von Parametern und die Verlustgewichtung zur Verbesserung der Modellgeneralisierung über verschiedene Aufgaben hinweg hervorheben. Schließlich werden Sie in das sprachübergreifende Transfer Learning eintauchen und Methoden wie Translate-Train vs. Translate-Test sowie Zero-Shot, One-Shot und Few-Shot Learning für mehrsprachiges NLP erkunden.

In dieser letzten Woche werden große Sprachmodelle (LLMs) vorgestellt und es wird gezeigt, wie sie durch Techniken wie Prompt Engineering, kontextbezogenes Lernen und parameter-effizientes Finetuning effektiv genutzt werden können. Sie werden Sprach- und Sichtmodelle untersuchen und verstehen, wie multimodale Architekturen über Text hinausgehen und visuelle und andere Datenmodalitäten integrieren. Wir werden auch nicht-funktionale Eigenschaften von LLMs untersuchen, einschließlich Herausforderungen wie Halluzinationen, Fairness, Ressourceneffizienz, Datenschutz und Interpretierbarkeit.