La semaine dernière, nous avons jeté les bases de l'apprentissage profond en découvrant les perceptrons et l'algorithme de rétropropagation. Cette semaine, nous apprenons les méthodes d'optimisation. Nous commencerons par l'algorithme de descente de gradient stochastique (SGD). SGD a plusieurs paramètres de conception que nous pouvons ajuster, y compris le taux d'apprentissage, l'élan et la décroissance. Nous nous intéresserons ensuite aux méthodes avancées de descente de gradient, telles que la planification du taux d'apprentissage et le momentum de Nesterov. Outre la descente de gradient vanille, les autres algorithmes d'optimisation comprennent AdaGrad, AdaDelta, RMSprop et Adam. Nous aborderons des conseils généraux pour réduire l'ajustement excessif lors de la formation des réseaux neuronaux, notamment des méthodes de régularisation telles que l'abandon et la normalisation par lots. Cette semaine, vous construirez votre boîte à outils DL, en acquérant de l'expérience avec la bibliothèque Python Keras. Les évaluations de la semaine comprennent un quiz et un cahier de laboratoire Jupyter accompagné d'une évaluation par les pairs. Ce travail est votre dernier cahier de laboratoire Jupyter pour le cours. Au cours des trois semaines suivantes, vous allez acquérir une expérience pratique et réaliser des mini-projets hebdomadaires qui intègrent les défis Kaggle.

Ce module présente un type de réseau neuronal appelé réseau neuronal convolutif, adapté aux tâches d'analyse d'images. Nous apprendrons les définitions, les paramètres de conception, les opérations, le réglage des hyperparamètres et les applications. Il n'y a pas de cahier de laboratoire Jupyter cette semaine. Vous aurez un bref quiz et participerez à un mini-projet du défi Kaggle pertinent d'un point de vue clinique. Il est essentiel d'évaluer si le cancer s'est propagé au ganglion lymphatique sentinelle pour la stadification du cancer du sein. Vous construirez un modèle CNN pour classifier si les images de pathologie numérique montrent que le cancer s'est propagé aux ganglions lymphatiques. Ce projet utilise l'ensemble de données PCam, dont la taille est abordable. Les auteurs notent que "les modèles peuvent facilement être entraînés sur un seul GPU en quelques heures, et atteindre des scores compétitifs" Alors que vous vous préparez pour la semaine, examinez la rubrique et élaborez un plan sur la manière dont vous la compléterez. Pour un projet comme celui-ci, il sera nécessaire de travailler dans un délai qui vous permette de réaliser des expériences. Nous n'attendons pas de vous que vous entassiez l'équivalent d'un projet final en une seule semaine ou que vous ayez besoin d'un score élevé au tableau de classement pour obtenir une bonne note pour ce projet. Nous espérons que vous aurez le temps d'obtenir des résultats intéressants à présenter dans votre portfolio.

Ce module vous apprendra à utiliser un autre réseau neuronal, appelé réseau neuronal récurrent (RNN), pour traiter les données séquentielles. Jusqu'à présent, nous avons abordé les réseaux neuronaux à progression directe, y compris les perceptrons multicouches et les réseaux neuronaux récurrents. Toutefois, dans les systèmes biologiques, les informations peuvent circuler en amont et en aval. Les RNN effectuent un passage vers l'arrière plus proche des systèmes biologiques. L'utilisation des RNN présente d'excellents avantages, en particulier pour les données textuelles, car les architectures RNN réduisent le nombre de paramètres. Nous découvrirons les problèmes de disparition et d'explosion du gradient qui peuvent survenir lorsque l'on travaille avec des RNN vanille et les remèdes à ces problèmes, y compris les cellules GRU et LSTM. Nous n'avons pas d'interrogation cette semaine, mais nous avons un mini-projet de défi Kaggle sur le TAL avec des tweets de catastrophe. Le projet est un concours de démarrage conçu pour les apprenants qui se forment à l'apprentissage automatique. Le défi est tout à fait réalisable en une semaine, mais assurez-vous de commencer tôt pour faire des expériences et itérer un peu.

Ce module se concentre sur les modèles de réseaux de neurones formés via l'apprentissage non supervisé. Nous couvrirons les autoencodeurs et les GAN en tant qu'exemples. Nous examinerons l'analogie du gâteau du célèbre chercheur en IA Yann LeCun pour l'apprentissage par renforcement, l'apprentissage supervisé et l'apprentissage non supervisé. L'apprentissage profond supervisé a connu un succès considérable, principalement en raison de la disponibilité d'ensembles de données massifs comme ImageNet. Cependant, il est coûteux et difficile d'obtenir des données étiquetées pour des domaines tels que les images biomédicales. Il y a une grande motivation pour continuer à développer des approches d'apprentissage profond non supervisées afin d'exploiter d'abondantes sources de données non étiquetées. Cette semaine est la dernière semaine de nouveau matériel de cours. Il n'y a pas de quiz ni de laboratoire Jupyter. Les réseaux adversaires génératifs (GAN) apprennent à générer de nouvelles données avec les mêmes statistiques que l'ensemble d'apprentissage. Cette semaine, vous terminerez un dernier mini-projet Kaggle. Cette fois, vous expérimenterez la création d'un réseau pour générer des images de chiots.