Augmented Reality

Augmented Reality (Erweiterte Realität)

Augmented Reality oder kurz AR, im Deutschen erweiterte Realität genannt, bezeichnet die Überlagerung von digitalen Informationen in den realen Raum. Der Sinn und Zweck bei Augmented Reality ist, dass der Benutzer über eine Schnittstelle Zugriff auf für ihn potenziell wichtige Daten, Bilder oder Informationen bekommt. Das heißt, die reale Umgebung, welche der Nutzer auf natürlichem Wege wahrnimmt, wird durch Objekte, Text oder Bilder ergänzt, die von einem technischen System erzeugt werden, oder es werden reale Objekte durch eine Überblendung entfernt.

Nach Ronald T. Azuma ist Augmented Reality durch drei Charakteristika gekennzeichnet:

  1. Reale und virtuelle Elemente werden miteinander kombiniert.
  2. Interaktivität in Echtzeit ist gegeben.
  3. Die Elemente werden dreidimensional registriert.

Echtzeit bedeutet in seinem Verständnis, dass Änderungen durch Interaktionen möglichst ohne Verzögerung sichtbar werden. Diese Anforderung soll verhindern, dass generierte Objekte beispielsweise deplatziert angezeigt werden, weil der Nutzer seine Position verändert hat. Die dreidimensionale Registrierung dient dazu, dass sowohl generierte als auch reale Objekte wirken, als würden sie im gleichen Raum (Größenverhältnisse, Abstände usw.) koexistieren. Durch das Einbetten in die reale Umgebung unterstützt Augmented Reality die Realität, statt sie komplett zu ersetzen. Genau dies unterscheidet erweiterte Realität von der virtuellen Realität.

Bereits 1968 stellte Ivan Sutherland den ersten Head-Mounted Display (HMD) vor. Zwei Kathodenstrahlröhren in eine Konstruktion eingebettet, die über Spiegel und Optik je ein Bild vor jedes Auge positionierte, ermöglichten die Betrachtung eines Drahtgitterwürfels.

Durch die Halbverspiegelung der Optik wurde das Drahtgittermodell mit der realen Umgebung überlagert, und der Würfel schien in der Mitte des Labors zu schweben. Eine mechanische Armkonstruktion erfasste hierfür die Bewegungen des Trägers, so konnten durch diese Bewegungsdaten vom Rechner immer neue Sichtwinkel auf den Würfel dargestellt werden.

Knapp fünfzig Jahre später gliedert Prof. Dr. Wolfgang Broll, Fachgebietsleiter für Virtuelle Welten und Digitale Spiele an der TU Ilmenau, die Erstellung von Augmented Reality in fünf Schritte. Der erste Schritt bezeichnet nach seinem Verständnis die Videoaufnahme. Hier wird üblicherweise ein Videobild bzw. ein Videostream der Umgebung des Betrachters aufgenommen. Dies erfolgt mit einer beliebigen Kamera. Wichtig ist allerdings, dass diese zuvor entsprechend kalibriert wurde, d. h., die Brennweite und andere Linseneigenschaften sowie die Position und Orientierung der Kamera wurden ausgerechnet.

Als Nächstes folgt das Tracking (deutsch: Verfolgen), darunter wird die Berechnung bzw. die Schätzung der Position und Lage verstanden. Im Fall von Augmented Reality ist es erforderlich, zu jedem Zeitpunkt den Blickpunkt des Betrachters so genau wie möglich zu erfassen. Da die Realität jedoch zumeist in Form des zuvor aufgenommenen Videobildes vorliegt, wird die Position und Lage der verwendeten Kamera meistens geschätzt.

Die Lage kann heutzutage in der Regel über hybride 3-DOF-Lagesensoren, bestehend aus Inertialsensoren, Gyrosensoren und Magnetometern, zuverlässig erfasst werden. Solche Sensoren sind mittlerweile in nahezu allen Smartphones und Tablets verbaut, können aber auch als zusätzliche Eingabegeräte vorhanden sein. Im Gegensatz zur Lageschätzung ist eine hinreichend genaue Positionsschätzung zumeist schwierig. Im Außenbereich kommt hier bei AR zumeist GPS zum Einsatz, während besonders im Innenbereich meistens mit Computervision-basierten Verfahren gearbeitet wird. Letztere haben zusätzlich den Vorteil, dass sie außer der Position auch die Lage schätzen können. Das Tracking liefert somit eine Transformation aus dem Nutzer- bzw. Kamerakoordinatensystem in das Koordinatensystem der virtuellen Umgebung.

Der dritte Schritt ist die geometrische Registrierung. Unter ihr wird die Verankerung oder das korrekte Einpassen der künstlichen virtuellen Inhalte in die Realität verstanden. Um eine möglichst genaue Registrierung zu gewährleisten, kommen verschiedene Marker- und Trackingtechniken zum Einsatz. Mittels Markers werden, wie es der Name sagt, Markierungen gesetzt, die vom AR-System erkannt und verarbeitet werden können. Die einfachsten Marker sind dabei Bar- oder QR-Codes, die Informationen zu zusätzlich bereitgestellten Inhalten enthalten. Auf Basis der Positions- und Lageschätzung des Trackings sowie gegebenenfalls eines Markers wird das Koordinatensystem der einzelnen virtuellen Inhalte und der beobachteten Realität so in Beziehung gesetzt, dass die virtuellen Inhalte in der Realität fest verortet (registriert) erscheinen. Dies führt dazu, dass ein sich in der virtuellen Welt nicht bewegendes künstliches Objekt auch in der Realität einen scheinbar festen Platz hat, unabhängig vom sich verändernden Standpunkt des Betrachters.

Als Viertes folgt die Darstellung. Basierend auf der sich durch die geometrische Registrierung ergebenden Transformation und der jeweiligen Kameraperspektive werden die virtuellen Inhalte wiedergegeben (Rendering). Dabei wird das aufgenommene Videobild durch die virtuellen Inhalte perspektivisch korrekt überlagert, wodurch die eigentliche Augmentierung erfolgt. Für eine möglichst nahtlose Überlagerung müssen hierbei unter Umständen zusätzlich die Auflösung und Schärfe des virtuellen Bildes angepasst werden. Alternativ zur Überlagerung des Videobildes kann auch unmittelbar eine optische Überlagerung der Sicht des Betrachters erfolgen.

Abschließend wird der augmentierte Videostream über ein Display ausgegeben, an welchem auch die Kamera angebracht ist. Dies kann ein Handgerät wie beispielsweise ein Smartphone, ein Tablet oder eine Datenbrille sein. Prinzipiell kann die Ausgabe auch auf einem separaten Monitor oder mittels einer Projektion erfolgen. Beim Betrachter entsteht der Eindruck der nahtlosen Erweiterung der Realität hierbei jedoch nur bedingt.

Anwendungsbeispiele:
Waren im 20. Jahrhundert die AR-Systeme noch groß, schwer und unhandlich, reicht, wie bereits erwähnt, heutzutage ein Smartphone oder Tablet aus, um sich der erweiterten Realität zu bedienen. Der Touchscreen dient sowohl als Ausgabebildschirm als auch als Eingabeschnittstelle, und mit der Kamera kann die Umgebung aufgenommen werden. Tonausgaben sind ebenfalls kein Problem und die Rechenleistung übersteigt jene früherer Computergenerationen bei Weitem. Zudem besitzen die meisten dieser Geräte zusätzliche Funktionen und Sensoren wie GPS, einen Kompass oder einen Beschleunigungssensor. Auf Basis dieser Entwicklung erreichte AR 2016 zum ersten Mal den Mainstream, als sich Menschen auf der ganzen Welt für einige Sommerwochen dem Spiel Pokémon GO hingaben, bei dem mit der Kamerafunktion des Smartphones virtuelle Monster aufgespürt und eingefangen werden mussten. Die Kamera filmte die reale Umgebung, in der die Kreaturen auf dem Display digital überlagert wurden, was dem Betrachter als ein Mix aus Realität und Virtualität erschien.

Für viele Organisationen bietet AR ein großes Potenzial. So veröffentlichte Microsoft im Herbst 2016 seine eigene AR-Brille: die HoloLens. Damit entwickelte das Unternehmen ein Gerät für den Einsatz in bestimmten Interaktionen. Beispielsweise kann das eigene Wohnzimmer ein Schlachtfeld im Kampf gegen außerirdische Invasoren werden. Inzwischen sind die Eindrücke mit der Brille so authentisch, dass sie das israelische Militär zur Ausbildung und in Kampfsituationen einzusetzen erwägt. Die mit den Brillen ausgerüsteten Soldaten müssen dann bei Übungsmanövern nicht mehr die Kaserne verlassen, sondern können unterschiedliche Szenarien auch in der erweiterten Realität bewältigen. Konkret anstehende militärische Operationen können mit der HoloLens künftig realitätsnah geplant werden. Interessant dürften auch die Einsatzgebiete in der Medizin sein: Ärzte können mithilfe von AR-Brillen und der Nutzung von Robotern viel präzisere Operationen durchführen oder sich durch Simulationen auf eine komplexe Operation vorbereiten.

Ingenieurbüros, Designstudios oder Architekten können bei der Konstruktion ihrer Produkte direkt an virtuellen Prototypen testen, ohne dafür zuvor ein physischer Prototyp herstellen zu müssen. Schon die Nutzung von 3-D-Druckern ermöglicht enorme Ressourceneinsparungen in der Prototypentwicklung. Diese Einsparungen werden durch AR-Brillen nochmals größer. Die phasenspezifische Nutzung von Augmented-Reality- Inhalten und 3-D-Druck könnte zu einer Revolution in der Produktentwicklung führen. AR-Anwendungen haben zusätzlich das Potenzial, Lernzeiten zu verkürzen: Menschen müssen zumindest bei manchen neuen Aufgabenfeldern nicht mehr – wie bisher – eingearbeitet werden. AR Brillen können die einzelnen Arbeitsschritte in den physischen Raum projizieren, sodass nur den gezeigten Tätigkeiten gefolgt werden muss. Thyssen- Krupp wendet diese Unterstützung bereits bei Servicetechnikern an, deren Aufgabe es ist, Fahrstühle zu warten und zu reparieren. Die Reparaturzeiten haben sich durch AR auf ein Viertel der vorherigen Dauer reduziert. Zumal die Techniker beide Hände frei haben, während sie technische Informationen zum Aufzug sowie Expertenunterstützung per

Bildübertragung sehen.

Ein weiteres potenzielles Einsatzfeld von erweiterter Realität ist die Erscheinung von Hologrammen im Raum. Die erste holografische Botschaft, einen Hilferuf, übermittelte 1977 Prinzessin Lea im Film Star Wars. Vermutlich war dies überhaupt der erste Film, der seinem weltweiten Publikum eine Augmented-Reality-Anwendung demonstrierte. Was damals aber noch Science-Fiction war, ist mittlerweile keine Fiktion mehr: Das Unternehmen Leila 3D hat einen Bildschirm entwickelt, auf dem die Gesprächspartner mit dem Smartphone holografisch in den Raum projiziert werden können.

Literatur: Bits and Bricks: Digitalisierung von Geschäftsmodellen in der Immobilienbranche, Andreas Moring · Lukas Maiwald · Timo Kewitz, 2018

Bild: http://www.thetechy.com/augmented-reality-for-real-estate-interior-designing/