Image Image Image Image Image Image Image Image Image Image

Der kleinste Tiefensensor der Welt: Augmented Reality und 3D-Scanning

Der kleinste Tiefensensor der Welt: Augmented Reality und 3D-Scanning

Wir sind dieses Jahr für Euch auf der Game Developers Conference Europe und schauen uns aktuelle Entwicklungen und zukünftige Richtungen in der Entwicklung von Games auf allen möglichen Plattformen und mithilfe von diversen Peripheriegeräten an.

Ganz vorne mit dabei sind nochmals Konzepte wie Augmented Reality, also die Miteinbeziehung von Kamera-Bildern, die zur Verschmelzung von Realität und Fiktion dienen sollen. AR steckt noch immer in den Kinderschuhen, was ich heute morgen mal wieder bemerkte. Es scheitert aber mittlerweile nicht mehr an den RGB-Sensoren oder Tiefensensoren in Kamerasystemen.

PrimeSense, das Unternehmen hinter der Kinect-Technologie und vielen anderen Sensorlösungen mit Tiefenkameras, demonstriert auf der GDC und Gamescom einen Prototypen für Tablets. Dieser wird momentan in seinem frühen Stadium an das Google Nexus 10 angeknipst, die Verbindung zwischen Tablet und Sensor läuft via USB. Mit fast nicht wahnehmbarer Latenz bringt der Prototyp die Funktionalität eines Kinect oder Leap Motion zu einem Tablet, nur zeigt er dabei weg vom Anwender. Mein erster Gedanke war: Cool, aber wo ist dann der Use-Case? Bei Kinect und dergleichen denkt man ja zunächst an Gestensteuerung für Spiele, wofür der Sensor nach vorne zeigen müsste. Ihr ahnt es fast: Augmented Reality und 3D Scanning ist die Antwort.

Mit einem rückseitig ausgerichteten Tiefensensor kann ein Spiel beispielsweise viel interessantere AR-Umgebungen schaffen, als es momentan nur mit einer Kamera machbar ist. Während einige wenige Spiele bereits grobe Geometrie von einem herkömmlichen RGB-Bild ableiten, lässt sich das selten wirklich für Kollisionserkennung nutzen. Der Augmented Reality Effekt verblasst nämlich schnell, wenn der Spielcharakter auf dem Schreibtisch durch sämtliche Gegenstände läuft und sie dabei überlappt.

In einer groben Pre-Release-Demo zeigte PrimseSense ein in der Unity Engine entwickeltes Spiel namens Alice in Zombieland, das in sehr kurzer Zeit entwickelt wurde. Hier war bereits erkenntlich: Wenn Spielcharaktere in der echten Welt verlässlich hinter Objekten verschwinden können oder mit Gegenständen und Wänden kollidieren, wirkt Augmented Reality schlagartig besser. Hier hängt der Erfolg natürlicha auch stark davon ab, wie das Spiel mit Störfaktoren wie reflektiven Oberflächen und anderen Sensorproblemen umgeht. Je mehr hier kompensiert wird, desto besser ist die Gesamterfahrung. Angesichts der sehr kurzen Entwicklungszeit war hier bereits eine interessante Erfahrung geboten.

Fast spannender empfand ich jedoch die praktischen Applikationen des “Capri”-Prototypen am Google Nexus 10. Die RGB-Daten (zweidimensionales Farbbild) holt sich das System von der Bordkamera des Tablets, die natürlich ein gutes bis sehr gutes Bild liefert. Parallel werden Tiefendaten über den Sensor des Ansteckmoduls reingeholt, die sich dann in Kombination mit dem Bild beispielsweise für 3D-Scans nutzen lassen. Ähnlich wie beim Microsoft Kinect kann hiermit eine Person nicht nur fotografiert, sondern auch dreidimensional erfasst und in einem Modell verewigt werden. Das funktioniert bereits erstaunlich gut, obwohl es sich hier wirklich um eine Miniaturversion von Kinect handelt sind keine Abstriche sichtbar, das erzeugte Drahtgitter sieht ohne Vorbehandlung bereits durchaus brauchbar aus. Anwendungsbeispiele in Spielen wären beispielsweise in Anpassungen von Spielcharakteren oder Gegnern, die dann in Gestalt von Freunden oder der Freundin auftreten könnten. Für (automatisierte) Animation und Artikulation muss der Entwickler dann natürlich sorgen.

Update: Video von der GDC 2013 mit Jeremy Kletzkine von PrimeSense und einigen Impressionen der Möglichkeiten:

Etwas alltäglicher ist der Einsatz als digitales Maßband, das die Tiefendaten mit einbezieht. In einer Demo-App sahen wir die recht hohe Genauigkeit (etwa 1 Zentimeter bei 1-2 Metern Distanz) und die darunterliegende Erkennung der Umgebung. Bereits heute ist klar, dass wir in naher Zukunft mit unseren Smartphones standardmäßig Gebrauch von Tiefenkameras machen werden, um neue Spielkonzepte auszuprobieren oder eben 3D-Scanning und Distanzmessungen zu unserem Vorteil nutzen. Auf welchen Geräten bzw. in welcher Partnerschaft mit OEMs die Technologie letztlich auf den Markt kommt (sowohl Einbauversionen als auch Aufsteckversionen sind in der Pipeline), wollte Jeremie Kletzkine von PrimeSense noch nicht verraten. Eine iOS-Version stünde aber neben Android auf jeden Fall im Raum, die Umsetzung davon hinge wie immer von der Kooperation mit Apple ab.

Probleme? Wir liefern Unterstützung bei Fragen zu iOS 8, Jailbreaking und mehr! Trete unserer Community bei Facebook bei und verpasse keine Neuigkeiten mehr: