Letzte Woche haben wir unsere Deep Learning-Grundlagen aufgebaut und etwas über Perceptrons und den Backprop-Algorithmus gelernt. Diese Woche lernen wir etwas über Optimierungsmethoden. Wir beginnen mit dem Stochastischen Gradientenabstieg (SGD). SGD verfügt über mehrere Design-Parameter, die wir anpassen können, darunter Lernrate, Momentum und Decay. Dann werden wir uns fortgeschrittenen Gradientenabstiegsmethoden wie der Planung der Lernrate und dem Nesterov-Drehmoment zuwenden. Neben dem Vanilla Gradient Descent gibt es weitere Optimierungsalgorithmen wie AdaGrad, AdaDelta, RMSprop und Adam. Wir werden allgemeine Tipps zur Reduzierung der Überanpassung beim Training neuronaler Netze behandeln, einschließlich Regularisierungsmethoden wie Dropout und Batch-Normalisierung. In dieser Woche werden Sie Ihr DL-Toolkit aufbauen und Erfahrungen mit der Python-Bibliothek Keras sammeln. Zu den Aufgaben in dieser Woche gehören ein Quiz und ein Jupyter-Labornotizbuch mit einem begleitenden Peer Review. Diese Aufgabe ist Ihr letztes Jupyter-Labornotizbuch für diesen Kurs. In den nächsten drei Wochen werden Sie praktische Erfahrungen sammeln und wöchentliche Miniprojekte durchführen, die Kaggle-Herausforderungen beinhalten.

In diesem Modul lernen Sie einen Typ von neuronalen Netzen kennen, der sich für die Bildanalyse eignet: die Faltungsneuronalen Netze. Wir lernen etwas über Definitionen, Entwurfsparameter, Operationen, Hyperparameterabstimmung und Anwendungen. Diese Woche gibt es kein Jupyter-Labornotizbuch. Sie werden ein kurzes Quiz schreiben und an einem klinisch relevanten Kaggle-Challenge-Miniprojekt teilnehmen. Bei der Stadieneinteilung von Brustkrebs ist es von entscheidender Bedeutung, zu beurteilen, ob sich der Krebs auf den Wächterlymphknoten ausgebreitet hat. Sie werden ein CNN-Modell erstellen, um zu klassifizieren, ob digitale Pathologiebilder zeigen, dass sich der Krebs auf die Lymphknoten ausgebreitet hat. Dieses Projekt verwendet den PCam-Datensatz, der eine überschaubare Größe hat. Die Autoren stellen fest, dass "Modelle leicht auf einer einzigen GPU in ein paar Stunden trainiert werden können und konkurrenzfähige Ergebnisse erzielen Während Sie sich auf die Woche vorbereiten, sollten Sie sich die Rubrik ansehen und einen Plan entwickeln, wie Sie sie bearbeiten werden. Bei einem Projekt wie diesem müssen Sie einen Zeitrahmen einhalten, der es Ihnen erlaubt, Experimente durchzuführen. Es wird nicht erwartet, dass Sie das Äquivalent eines Abschlussprojekts in eine einzige Woche packen oder dass Sie einen Spitzenplatz in der Rangliste erreichen müssen, um eine gute Note für dieses Projekt zu erhalten. Hoffentlich haben Sie genug Zeit, um einige aufregende Ergebnisse zu erzielen, die Sie in Ihrem Portfolio vorzeigen können.

In diesem Modul lernen Sie ein weiteres neuronales Netzwerk kennen, nämlich rekurrente neuronale Netze (RNNs) zur Verarbeitung sequentieller Daten. Bisher haben wir uns mit neuronalen Netzwerken mit Vorwärtskopplung beschäftigt, einschließlich mehrschichtiger Perceptrons und CNNs. In biologischen Systemen können Informationen jedoch rückwärts und vorwärts fließen. RNNs führen einen Rückwärtsdurchlauf durch, der den biologischen Systemen näher kommt. Die Verwendung von RNNs hat hervorragende Vorteile, insbesondere für Textdaten, da RNN-Architekturen die Anzahl der Parameter reduzieren. Wir werden uns mit den Problemen des verschwindenden und explodierenden Gradienten befassen, die bei der Arbeit mit Vanilla-RNNs auftreten können, sowie mit Abhilfemaßnahmen für diese Probleme, einschließlich GRU- und LSTM-Zellen. Diese Woche gibt es kein Quiz, aber ein Kaggle-Challenge-Miniprojekt über NLP mit Katastrophen-Tweets. Das Projekt ist ein Einstiegswettbewerb, der sich an Lernende richtet, die ihre Kenntnisse im Bereich des maschinellen Lernens ausbauen möchten. Die Herausforderung ist in einer Woche machbar, aber Sie sollten früh anfangen, um Experimente durchzuführen und ein wenig zu iterieren.

Dieses Modul konzentriert sich auf neuronale Netzwerkmodelle, die durch unüberwachtes Lernen trainiert werden. Wir werden uns mit Autoencodern und GAN als Beispielen beschäftigen. Wir werden die Kuchenanalogie des berühmten KI-Forschers Yann LeCun für Reinforcement Learning, Supervised Learning und Unsupervised Learning betrachten. Überwachtes Deep Learning hat enorme Erfolge erzielt, vor allem dank der Verfügbarkeit riesiger Datensätze wie ImageNet. Es ist jedoch teuer und schwierig, beschriftete Daten für Bereiche wie biomedizinische Bilder zu erhalten. Es besteht eine große Motivation, die Entwicklung von unüberwachten Deep Learning-Ansätzen fortzusetzen, um eine Fülle von unmarkierten Datenquellen nutzbar zu machen. Diese Woche ist die letzte Woche mit neuem Kursmaterial. Es gibt kein Quiz und kein Jupyter-Notebook-Labor. Generative adversarische Netzwerke (GANs) lernen, neue Daten mit denselben Statistiken wie die Trainingsdaten zu erzeugen. Diese Woche werden Sie ein letztes Kaggle-Miniprojekt abschließen. Diesmal werden Sie mit der Erstellung eines Netzwerks experimentieren, das Bilder von Welpen generiert.