AR-Ticketsystem im Bau - Spatial Anchors im Einsatz

Augmented Reality (AR) ist auf dem Vormarsch und gewinnt zunehmend an Beliebtheit – deutlich wird das auch durch Apples neu angekündigten LIDAR-Scanner. Dieser ist in der neusten Version des iPads verbaut und ermöglicht seinen Nutzern neue, spannende AR Erfahrungen. 

Doch was ist denn eigentlich AR? Im Allgemeinen handelt es sich dabei um eine Technologie, welche die physische Welt mit virtuellen 3D-Modellen und weiteren Informationen anreichert. Das Ganze wird durch Smartphones, Tablets oder sogenannten Smartglasses ermöglicht. Diese bieten zunehmend neue Möglichkeiten und erlauben ihren Benutzern, unabhängig vom Standort, einen Zugang zu einer großen Menge an Informationen. Werden diese Informationen oder Daten mit moderner Sensorik und Tracking-Algorithmen gepaart, verwandeln sie die physische Welt in eine Schnittstelle, über die der Benutzer mit neuen Interaktionsmöglichkeiten auf die Daten zugreifen kann. Das Ergebnis ist eine bahnbrechende Art der Mensch-Computer-Interaktion, welche unsere kognitiven Fähigkeiten zur Aufnahme von Informationen verstärkt und unzählige neue Möglichkeiten bietet.

Deshalb ist es nicht verwunderlich, dass bereits zahlreiche Unternehmen von der Technologie Gebrauch machen. So geht beispielsweise aus einer Studie von Capgemini (Beratungs- und IT-Dienstleistungsunternehmen) aus dem Jahre 2019 hervor, dass bereits über 30% der befragten Unternehmen in Deutschland, Österreich und der Schweiz Augmented Reality & Virtual Reality (eine verwandte Technologie) für unterschiedliche Anwendungsfälle nutzen oder derzeit implementieren.
Aber welche Anwendungsfälle sind das denn genau – und was ist mit AR eigentlich möglich?

Aufgrund der Effektivität bei der Visualisierung und Kontextualisierung von Informationen wird AR in einem großem Umfang für den Transfer von Wissen genutzt. In der Architekturlehre z.B. wird AR verwendet, um das Verständnis der Studenten für den architektonischen Stahlbau zu verbessern. Ein weiterer Anwendungsfall ist die Verwendung von AR Schritt-für-Schritt-Anweisungen und Fernanleitungen, die nicht nur in der Bildung, sondern auch für die Wartung von Maschinen und Geräten – also in der Industrie – zum Einsatz kommen. Damit wird es beispielsweise unerfahrenem Personal ermöglicht, Arbeitsprozesse auf Anhieb korrekt auszuführen.

Im medizinischen Bereich kann AR den Prozess der Patientenuntersuchung verbessern, indem die Ergebnisse verschiedener diagnostischer Bildgebungstechniken und die Körper der Patienten nahtlos zusammengeführt werden.

Eine ähnliche Methode kommt auch in der Industrie und im Bauwesen zum Einsatz. In Industrieanlagen werden beispielsweise reale Maschinen und Objekte mit CAD-Modellen überlagert, um so Service-Technikern die Reparaturarbeiten zu erleichtern. Im Bauwesen werden wiederum unterirdische Infrastrukturelemente auf den Boden projiziert, um bei Erdarbeiten Beschädigungen zu vermeiden.

Problemstellung

Durch die Echtzeit-Integration virtueller Informationen in die reale Umgebung der Benutzer, führen viele AR-Anwendungen zu einer Minimierung von Fehlern sowie zu einer Verbesserung der Entscheidungsfindung. Für einige Branchen bedeutet dies eine klare Reduktion der Kosten. Entsprechend ist eine Anwendung im Bauwesen, wo Fehler kostspielig sein können und Qualitätskontrollen entscheidend sind, naheliegend.

Die Qualitätskontrollen auf Baustellen werden normalerweise nach Abschluss eines bestimmten Arbeitspakets durchgeführt, um sicherzustellen, dass die durchgeführten Bauarbeiten den Anforderungen der vorab definierten Konstruktionsspezifikationen entsprechen. Eine der Verantwortlichkeiten der Bauleiter ist die manuelle Prüfung und das Sammeln von Details zu technischen Mängeln oder Fehlern bei der Konstruktion. Dabei gehen sie Qualitätsprüflisten und Zeichnungen durch und gleichen diese mit dem aktuellen Zustand auf der Baustelle ab. Die vorhandenen Mängel, sowie deren Lage und Beschaffenheit, werden in Form von Fotos und textuellen Beschreibungen in einem Bericht dokumentiert. Dieser wird im Anschluss zur Behebung der Mängel an die entsprechenden Gewerke weitergegeben.
Schlechte Dokumentationen der Mängel sowie eine Vernachlässigung dieses Prozesses können zu weiteren Baufehlern, Qualitätsminderungen, überflüssiger Arbeit und damit zu verheerenden Kosten führen.

Um diesen Prozess zu optimieren und damit die Dokumentation und Bearbeitung der Mängel zu erleichtern, kann Augmented Reality eingesetzt werden.

Unser Ansatz bestand darin, prototypisch ein AR-Ticketsystem zu entwickeln, welches die beschriebene Dokumentation von Mängeln erleichtert und damit das Mängelmanagement im Bau auf ein neues, digitales Level hievt. Dabei kam Microsofts Service Azure Spatial Anchors zum Einsatz.

Umsetzung

Das Ticketsystem wurde mit AR Foundation für Android umgesetzt. Dabei konzentrierten wir uns auf zwei wesentliche Funktionen.

Zum einen die Verfolgung der aktuellen Position und ihre Anzeige im Bauplan. Das sorgt dafür, dass der Orientierungsaufwand in oftmals komplexen Gebäuden stark reduziert wird und Orientierungsschwierigkeiten vermieden werden.

Zum anderen das Setzen und Finden von Tickets im dreidimensionalen Raum mit Hilfe von Azure Spatial Anchors. Dadurch werden Mängel direkt an ihrer Position gespeichert und lokalisiert, wodurch die Chance diese zu übersehen sinkt. Denn in der Praxis sind Mängel oftmals sehr klein und liegen an ungünstigen Stellen. Dazu gehört beispielsweise ein kleiner Riss in einem Fensterrahmen, ein kleines Loch in der Decke oder eine beschädigte Leitung hinter einer bereits zugemauerten Wand.

Kalibrierung

Die Position des Handys in der Umgebung wird mit Hilfe von Tracking-Methoden verfolgt. Damit wir diese Position auf unserer Karte bzw. auf dem Bauplan sehen können, müssen wir die Daten aus der realen Umgebung auf unsere virtuelle Karte mappen. Dazu müssen wir der Karte vorab mitteilen, wo wir uns bei Start der Anwendung befinden, in welche Richtung wir blicken und wie das Verhältnis der Karte zur Umgebung bzw. Realität ist. Danach können die Bewegungen eins zu eins übertragen werden. Diesen Vorgang nennen wir Kalibrierung.

Wir kalibrieren die Anwendung mit Hilfe einer Triangulationsmethode. Hierzu werden vier verschiedene Anhaltspunkte benötigt, zwei davon in der Realität und zwei weitere auf der Karte. Für die Punkte in der Realität nutzen wir markante Punkte, wie beispielsweise die Eckpunkte eines Raums. Diese Punkte markieren wir dann auf der Karte. Aus dem Verhältnis des Abstands der jeweiligen Punkte wird der Maßstab berechnet und die Karte skaliert. Aus den Punkten in der Realität und der aktuellen Position wird ein Dreieck aufgespannt, welches dann kongruent auf die Punkte der Karte übertragen wird. So übertragen wir unsere Startposition und Ausrichtung auf den Bauplan.

Die Triangulation ist in der folgenden Abbildung verdeutlicht. A und B sind die Eckpunkte des Raums und C unsere aktuelle Position. Wir ermitteln α und β, übertragen sie auf die Punkte der Karte A‘ und B‘, schneiden die neuen Geraden und erhalten die übertragene Position im Bauplan.

Visualisierung Triangulation

Azure Spatial Anchors

Um Objekte im dreidimensionalen Raum anzubringen, nutzen wir Azure Spatial Anchors von Microsoft. Spatial Anchors, also räumliche Anker, sind feste Referenzpunkte, welche in der realen Umgebung an einer speziellen Position verankert sind. Anhand dieser Punkte können virtuelle Objekte in die Realität integriert werden. Die Ankerpunkte werden in einem Cloudspeicher persistiert. Sie können so gleichzeitig von mehreren Geräten und zu unterschiedlichen Zeitpunkten verwendet werden. Beim Kreieren des Ankers scannt das AR-Device seine Umgebung. Hierbei erkennt es eine Kombination aus sogenannten Feature-Points und erstellt eine Punktwolke.

Feature-Points sind markante Punkte in der realen Umgebung, die ein AR-Device nutzt, um seine Umgebung abzubilden. Dazu gehören beispielsweise Eckpunkte oder Kontrastunterschiede. Sie werden mit Methoden der Computer-Vision erkannt.

Der Ankerpunkt wird innerhalb dieser Punktwolke festgemacht und in der Cloud gespeichert. Beim Erkennen vergleicht das Device seine Umgebung, also aktuelle Punktwolken mit bestehenden Wolken aus der Cloud und erkennt so einen zuvor abgespeicherten Ankerpunkt. Dabei ist es unerheblich, in welcher Lage und Ausrichtung es sich zu diesem Punkt befindet. Auf diese Weise können virtuelle Inhalte einem beliebigen Benutzer an einer bestimmten Position im Raum angezeigt werden.

In unserem Ticketsystem nutzen wir diese Ankerpunkte, um die Tickets im dreidimensionalen Raum an den Mängeln zu befestigen. Eine ausführliche Beschreibung der Azure Spatial Anchors findest du in Azure Spatial Anchors – Die digitale Welt wirft Anker.

Demo

In unserem Ticketsystem haben wir an einem Ankerpunkt einen Notizblock visualisiert. Dieser steht für ein Ticket und enthält eine Textnotiz sowie ein Foto, welche ebenfalls in der Cloud gespeichert werden. Im Folgenden ist ein Demovideo der Anwendung zu sehen. Die Anwendung wird hier in unserem Büro vorgestellt. Zuerst wird die Kalibrierung durchgeführt. Zu beachten ist, wie nach der Kalibrierung die Position auf der Karte unserer Bewegung im Raum folgt. Danach wird ein Ticket bzw. Ankerpunkt erzeugt und nach einem Anwendungsneustart wiedergefunden. Das Demovideo ist eine Aufzeichnung. Die Pixelfehler sind eine Folge der Videoübertragung.

Ticket System in Action: Stress Test

Die Anwendung haben wir auf einer Hotelbaustelle zum Einsatz gebracht. Dies ist ein Belastungstest bzw. Worst-Case-Szenario. Die Schwierigkeiten liegen hier in der Umgebung, denn Wände und Böden sind oftmals eintönig grau und Werkzeuge und Utensilien lagern zeitweise in den Gängen und Zimmern. Darüber hinaus sind viele der entstehenden Räume identisch zueinander aufgebaut. In unserem Testlauf haben wir daher insbesondere auf die Funktionsfähigkeit und Praxistauglichkeit geachtet. Im Konkreten heißt das, das Testen der Flächenerkennung, des Positionstrackings sowie das Setzen und Wiederfinden der Anker im Raum.

Erkenntnisse

Die Flächenerkennung funktioniert gut. Wider Erwarten erkennt die Anwendung eintönige Böden und sogar Wände, selbst Hindernisse behindern die Erkennung nicht. Lediglich Fensterglas wird von dem AR-Device nicht erkannt. Darauf aufbauend lässt sich die Kalibrierung problemlos durchführen. Allerdings kommt es im Betrieb der Anwendung vereinzelt zu einem Drift-Effekt. Bei diesem Effekt friert das Tracking unter starker Belastung ein und erkannte Flächen und Feature-Points driften in benachbarte Räume ab, dadurch wird unsere Position verfälscht und die Kalibrierung müsste erneut durchgeführt werden. Eine wiederverwendbare Kalibrierung wäre hier klar von Vorteil. Verschiedene AR-Devices verfügen zu jedem Anwendungsstart über ihre eigenen lokalen Koordinatensysteme. Um eine Kalibrierung universell anwenden zu können, müsste eine Möglichkeit gefunden werden diese in Übereinstimmung miteinander zu bringen. Hierzu könnte ein Offset verwendet werden.

Die Spatial Anchor Technologie arbeitet erfolgreich, aber mit Einschränkungen. Da wir auf der Baustelle nur mobiles Netz und kein WLAN zur Verfügung hatten, benötigten wir eine längere Zeit, um eine Verbindung zum Spatial Anchor Service aufzubauen. Das resultiert in Verzögerungen bei jeder Interaktion, beispielsweise beim Erzeugen eines Ankers. Ein weiteres Problem, speziell auf einer Hotelbaustelle, ist eine aufgetretene „Doppelerkennung“. Die einzelnen Zimmer sind identisch zueinander gestaltet und ausgestattet, dadurch werden Ankerpunkte, welche in unterschiedlichen Zimmern an ähnlichen Stellen erzeugt wurden, oftmals gleichzeitig an einer Stelle wiedererkannt. Dadurch können Mängel nicht mehr korrekt zu einer Position zugeordnet werden. Abhilfe könnte hier eine asynchrone Variante mit Aufbau einer Ankertopologie schaffen. Da Anker, die sich in Sichtweite zueinander befinden, untereinander vernetzt sind, können wir so alle Anker miteinander verbinden. In diesem Fall würde das Finden eines Ankers zur Erkennung aller Anker führen. Asynchron würde heißen, dass wir zu Beginn einen Anker scannen, entsprechend alle Daten auf einen Schlag herunterladen und danach die Erkennung der Anker deaktivieren, um so der „Doppelerkennung“ vorzubeugen. Fraglich bleibt allerdings, wie sich die Erkennung verhält, falls sich die Zimmer im Zuge des Baufortschritts weiter verändern.

Diese Hindernisse mindern die Praxistauglichkeit des Prototypen im aktuellen Zustand. Hinzu kommt, dass der ständige Datenaustausch und der Dauerbetrieb von Kamera und AR sehr ressourcenintensiv sind. Ebenfalls bedacht sollte werden, dass der dauerhafte Blick ins Smartphone auf einer Baustelle gefährlich ist. Bei den Testläufen ist so ein Möbelstück zu Bruch gegangen – glücklicherweise nur ein Möbelstück.

Fazit

Die Technologien können bereits im Bereich der Architektur, des Ingenieurwesens und des Bauwesens vorteilhaft eingesetzt werden. Sie ermöglichen es, den gesamten Lebenszyklus eines Gebäudes abzudecken – von der Planung und dem Bau über die Instandhaltung bis hin zum Facility Management. Dennoch gibt es für unseren Prototypen einige Punkte zu berücksichtigen, welche es für eine produktive Anwendung zu beheben gilt: der Drift-Effekt bei der Positionsbestimmung im Raum, die grundsätzliche Abhängigkeit einer Internetanbindung, sowie die Gleichheit von Räumen und die damit auftretende „Doppelerkennung“.

Für alle aufgeführten Punkte kennen wir eine Vielzahl an Lösungsansätzen, welche allerdings nur mit einem gewissen Entwicklungsaufwand behoben werden können. Dennoch – unser AR-Ticketsystem kann bereits in diesem Zustand als ein erfolgreicher Start betrachtet werden, der uns wieder einmal zeigt wie facettenreich und bahnbrechend Augmented Reality eingesetzt werden kann.

PS:
Das Ticketsystem kann in vielerlei Hinsicht erweitert werden. Denkbar sind beispielsweise eine Überlagerung der Baustellen mit Building Information Modelling (BIM), eine Darstellung auf AR Smartglasses, oder eine Indoor-Navigation, die Gewerke direkt zu den Tickets führt (schau dir mal das Beispiel von uns an). Was hast du für Ideen? Lass doch einfach einen Kommentar da oder schreib uns eine Mail – wir freuen uns auf deinen Input.