Jetzt, da wir ein gutes Kameramodell haben, werden wir die Geometrie der perspektivischen Projektion in der Tiefe erforschen. Wir werden feststellen, dass diese Projektion die Ursache für die größte Herausforderung bei der Wahrnehmung ist, da wir eine Dimension verlieren, die wir nicht mehr direkt beobachten können. In diesem Modul lernen wir verschiedene Eigenschaften von projektiven Transformationen in der Tiefe kennen, wie z.B. Fluchtpunkte, die es uns ermöglichen, komplexe Informationen über unser grundlegendes Kameramodell hinaus abzuleiten.

In diesem Modul werden wir uns mit der Extraktion von Merkmalen und der Schätzung der Körperhaltung aus zwei Bildern beschäftigen. Wir werden lernen, wie man die markantesten Teile eines Bildes findet und sie über mehrere Bilder (d.h. in einer Videosequenz) verfolgt. Anschließend lernen wir, wie wir mithilfe von Merkmalen die Position der Kamera in Bezug auf ein anderes Referenzbild auf einer Ebene mit Hilfe von Homographien bestimmen können. Wir werden auch lernen, wie wir diese Techniken robuster machen können, indem wir kleinste Quadrate verwenden, um verrauschte Merkmalspunkte zu behandeln oder RANSAC, um völlig fehlerhafte Merkmalspunkte zu entfernen.

Jetzt werden wir das, was wir über die Geometrie in zwei Ansichten gelernt haben, auf Bildsequenzen, wie z.B. ein Video, ausweiten. Wir werden die grundlegenden geometrischen Beschränkungen zwischen Punktmerkmalen in Bildern, die Epipolar-Beschränkung, erläutern und lernen, wie man sie verwendet, um die relativen Posen zwischen mehreren Bildern zu extrahieren. Abschließend kombinieren wir all diese Informationen für die Anwendung von Structure from Motion, bei der wir die Trajektorie einer Kamera und einer Karte über viele Frames hinweg berechnen und unsere Schätzungen mithilfe der Bündelanpassung verfeinern.