Ce module présente les principaux concepts du vaste domaine de la vision par ordinateur nécessaires pour progresser dans les méthodes de perception pour les véhicules à conduite autonome. Les principaux composants incluent les modèles de caméra et leur calibration, la vision monoculaire et stéréo, la géométrie projective et les opérations de convolution.

Les caractéristiques visuelles sont utilisées pour suivre les mouvements dans un environnement et pour reconnaître des lieux sur une carte. Ce module décrit comment les caractéristiques peuvent être détectées et suivies à travers une séquence d'images et fusionnées avec d'autres sources pour la localisation comme décrit dans le cours 2. L'extraction de caractéristiques est également fondamentale pour la détection d'objets et la segmentation sémantique dans les réseaux profonds, et ce module présente certaines des méthodes de détection de caractéristiques employées dans ce contexte également.

L'apprentissage profond est une technologie de base pour la perception de la conduite autonome. Ce module présente brièvement les concepts fondamentaux utilisés dans les réseaux neuronaux convolutionnels modernes, en mettant l'accent sur les méthodes qui se sont avérées efficaces pour des tâches telles que la détection d'objets et la segmentation sémantique. Les architectures de base des réseaux, les composants communs et les outils utiles pour la construction et l'entraînement des réseaux sont décrits.

Les deux applications les plus courantes des réseaux neuronaux profonds à la conduite autonome sont la détection d'objets, y compris les piétons, les cyclistes et les véhicules, et la segmentation sémantique, qui associe les pixels de l'image à des étiquettes utiles telles que panneau, lumière, trottoir, route, véhicule, etc. Ce module présente les techniques de base pour la détection d'objets et le module suivant introduit la segmentation sémantique. Ces deux techniques peuvent être utilisées pour créer un pipeline complet de perception de la voiture autonome.

La deuxième application la plus courante des réseaux neuronaux profonds à la conduite autonome est la segmentation sémantique, qui associe les pixels de l'image à des étiquettes utiles telles que panneau, lumière, trottoir, route, véhicule, etc. La segmentation sert principalement à identifier la surface carrossable, ce qui facilite l'estimation du plan du sol, la détection des objets et l'évaluation des limites de la voie. Les étiquettes de segmentation sont également directement intégrées dans la détection d'objets sous forme de masques de pixels, pour les objets statiques tels que les panneaux, les feux et les voies, et les objets mobiles tels que les voitures, les camions, les bicyclettes et les piétons

Le dernier module de ce cours se concentre sur la mise en œuvre d'un système d'alerte de collision qui avertit une voiture autonome de la position et de la catégorie des obstacles présents dans sa voie. Le projet est composé de trois segments principaux : 1) L'estimation de l'espace de conduite en 3D, 2) L'estimation sémantique des voies et 3) Le filtrage des résultats erronés de la détection d'objets à l'aide de la segmentation sémantique.