Dieser Kurs konzentriert sich auf die Wiederherstellung der 3D-Struktur einer Szene aus Bildern, die aus verschiedenen Blickwinkeln aufgenommen wurden. Wir beginnen mit der Erstellung eines umfassenden geometrischen Modells einer Kamera und entwickeln dann eine Methode zur Ermittlung (Kalibrierung) der internen und externen Parameter des Kameramodells. Dann zeigen wir, wie zwei so kalibrierte Kameras, deren relative Positionen und Ausrichtungen bekannt sind, verwendet werden können, um die 3D-Struktur der Szene wiederherzustellen. Dies bezeichnen wir als einfaches binokulares Stereo. Als nächstes befassen wir uns mit dem Problem des unkalibrierten Stereos, bei dem die relativen Positionen und Ausrichtungen der beiden Kameras unbekannt sind. Interessanterweise können wir allein anhand der beiden von den Kameras aufgenommenen Bilder sowohl die relativen Positionen als auch die Ausrichtungen der Kameras bestimmen und diese Informationen dann verwenden, um die 3D-Struktur der Szene zu schätzen.

Als nächstes konzentrieren wir uns auf das Problem der dynamischen Szenen. Anhand von zwei Bildern einer Szene, die sich bewegende Objekte enthält, zeigen wir, wie die Bewegung jedes Punktes im Bild berechnet werden kann. Diese scheinbare Bewegung von Punkten im Bild wird als optischer Fluss bezeichnet. Die Schätzung des optischen Flusses ermöglicht es uns, Szenenpunkte über eine Videosequenz hinweg zu verfolgen. Als nächstes betrachten wir das Video einer Szene, die mit einer beweglichen Kamera aufgenommen wurde, wobei die Bewegung der Kamera unbekannt ist. Wir stellen Struktur aus Bewegung vor, die als Eingabe verfolgte Merkmale in einem solchen Video nimmt und nicht nur die 3D-Struktur der Szene bestimmt, sondern auch, wie sich die Kamera in Bezug auf die Szene bewegt. Die Methoden, die wir in diesem Kurs entwickeln, finden breite Anwendung in der Objektmodellierung, der 3D-Ortsmodellierung, der Robotik, der autonomen Navigation, der virtuellen Realität und der erweiterten Realität.