Aufnahmearchitekturen für Lichtfelder

In der klassischen plenoptischen Kamera, oft als Plenoptik 1.0 bezeichnet (siehe Ng et al., 2005), liegt das Mikrolinsen-Array nahe der Bildebene der Hauptlinse, und jede Mikrolinse bildet die Apertur der Hauptlinse auf dem Sensor ab. Die Pixel hinter einer Mikrolinse entsprechen deshalb verschiedenen Ausbreitungsrichtungen. Das liefert Winkelinformation auf Kosten der räumlichen Auflösung: Auf einem Sensor mit fester Pixelzahl bleiben bei mehr Winkelabtastwerten weniger unabhängige räumliche Abtastwerte.

In der fokussierten plenoptischen Kamera, auch Plenoptik 2.0 genannt (Lumsdaine und Georgiev, 2009), sind die Mikrolinsen nicht auf die Apertur der Hauptlinse fokussiert, sondern auf das Zwischenbild, das die Hauptlinse erzeugt. Dadurch verteilen sich räumliche und Winkelinformation anders, und es lässt sich eine vergleichsweise hohe effektive räumliche Auflösung erreichen, während die Winkelinformation für Tiefenrekonstruktion und digitale Refokussierung erhalten bleibt. Manche Bauformen kombinieren Mikrolinsen mit unterschiedlichen Brennweiten, um den nutzbaren Tiefenbereich zu erweitern.

Mikrolinsenbasierte Kameras werden in der Industrie dort eingesetzt, wo ein kompaktes System, kurze Arbeitsabstände und 3D-Information aus einer einzigen optischen Baugruppe und einer einzigen Belichtung wichtig sind, zum Beispiel bei der Prüfung im Nahbereich.

Ein Array aus \(N\) Kameras nimmt die Bilder

auf, wobei \(I_i\) das Bild der Kamera \(i\) ist. Jede Kamera hat eine bekannte Position und Orientierung in einem gemeinsamen Koordinatensystem. Mit den intrinsischen und extrinsischen Kalibrierparametern lässt sich jedes Pixel einem Strahl im dreidimensionalen Raum zuordnen, und alle diese Strahlen zusammen bilden eine diskrete Abtastung des vierdimensionalen Lichtfelds. Für ein regelmäßiges, rektifiziertes Kamera-Array lässt sich das schreiben als:

Dabei ist \((u_i, v_i)\) der Blickpunkt der Kamera \(i\), und \((s, t)\) sind die Koordinaten in einer gemeinsamen Bildparametrisierung. Anzahl und Anordnung der Kameras bestimmen die Winkelabtastung; Bildsensoren und Optiken bestimmen die räumliche Abtastung.

Kamera-Arrays bringen auch Herausforderungen mit sich:

Der Entwurf eines Kamera-Arrays ist daher eine Abwägung zwischen geometrischer Genauigkeit, räumlicher Auflösung, Winkelabtastung, Rechenaufwand und Aufnahmegeschwindigkeit.

Die Basislinie ist der effektive Abstand zwischen den Blickpunkten, die für die Triangulation verwendet werden. Für eine ideale rektifizierte Stereoanordnung mit \(Z = f B / d\) (siehe Parallaxe, Disparität und Tiefe) bewirkt eine Unsicherheit \(\sigma_d\) der geschätzten Disparität in erster Näherung eine Tiefenunsicherheit von:

Daraus folgen zwei Eigenschaften. Erstens wächst bei fester Basislinie, Brennweite und Disparitätsunsicherheit die Tiefenunsicherheit näherungsweise mit dem Quadrat des Abstands. Zweitens kann eine längere Basislinie die Tiefenunsicherheit verringern. Eine längere Basislinie vergrößert aber auch die Unterschiede zwischen den Blickpunkten; das erschwert die Korrespondenzschätzung und führt zu zusätzlichen Verdeckungen. Die beste Basislinie hängt daher vom Messvolumen, von der Objektgeometrie, von den Oberflächeneigenschaften und vom Rekonstruktionsverfahren ab.

Mikrolinsenbasierte plenoptische Kameras nehmen räumliche und Winkelinformation auf einem Sensor auf; ihre effektive räumliche Auflösung hängt deshalb davon ab, wie die Pixel auf diese Dimensionen verteilt werden. Kamera-Arrays nehmen die räumliche Information mit mehreren Sensoren auf. Das vermeidet den Zielkonflikt eines einzelnen Sensors, bringt aber zusätzliche Kameras, Datenübertragung und Rekonstruktionsaufwand mit sich.

Die Gesamtzahl der Sensorpixel eines Kamera-Arrays bestimmt nicht direkt die räumliche Auflösung seiner Tiefenkarte. Die effektive 3D-Auflösung hängt vom Rekonstruktionsverfahren, von der Szenentextur, von der Kamerageometrie und von der Sichtbarkeit korrespondierender Merkmale ab.

Eine Verdeckung liegt vor, wenn eine Oberfläche aus einem bestimmten Blickpunkt von einem anderen Objekt verdeckt wird. Da eine Lichtfeldkamera die Szene aus mehreren Richtungen betrachtet, kann sie Information gewinnen, die ein einzelner Blickpunkt nicht liefert. Wie gut sie Verdeckungen auflöst, hängt vom Winkelumfang und von der Verteilung der Blickpunkte ab: Ein größerer Winkelbereich zeigt mehr Oberflächen, kann aber das Zuordnen korrespondierender Merkmale erschweren.

Eine Tiefenschätzung auf Grundlage von Bildkorrespondenzen wird schwierig, wenn Oberflächen keine markanten Bildmerkmale haben. Spiegelnde Oberflächen sehen zudem aus verschiedenen Blickpunkten unterschiedlich aus. Die zusätzlichen Beobachtungen eines Lichtfelds helfen den Rekonstruktionsalgorithmen, die geometrische Konsistenz über die Blickpunkte hinweg zu prüfen; die Winkelabtastung allein garantiert aber keine zuverlässige Rekonstruktion spiegelnder oder texturarmer Oberflächen. Ein auf eine texturlose Oberfläche projiziertes Muster gibt ihr eine künstliche Textur, in der sich Korrespondenzen finden lassen; der LumiScan X nutzt dafür den Musterprojektor LumiScan SL (siehe Passive 3D-Bildgebung und Beleuchtung). Das Ergebnis hängt von der Beleuchtung, der optischen Konfiguration, den Oberflächeneigenschaften und den Algorithmen ab.