Onboarding mit AR – Integrieren Sie neue Mitarbeiter in Ihr Unternehmen

AR steht für Augumented Reality und beschreibt die Mischung aus physikalischer und virtueller Realität. Im Gegensatz zu Virtual Reality (VR) wird die Umgebung des Benutzers um virtuelle Informationen erweitert und nicht vollständig ersetzt.

Die untenstehenden Abbildungen der Smartphones zeigen jeweils einen Entwurf der fertigen Applikation. Der neue Mitarbeiter kann so, sowohl über die App als auch über eine AR-Brille, beispielweise Druckeranleitungen oder Informationen zu Personen im Sichtfeld erhalten. Jeder Mitarbeiter kann dabei natürlich selbst entscheiden, ob er erkannt werden möchte oder nicht. Eine Indoor-Navigation könnte wie auf dem rechten Smartphone abgebildet aussehen. Dazu findet ihr am Ende auch noch eine kurze Videosequenz, die eine derartige Anwendung im Bürogebäude durchspielt.

Die vorgestellte Lösung setzt sich also aus den in der folgenden Abbildung dargestellten Kernfunktionen zusammen. Ein Indoor-Navigationssystem, um die neuen Mitarbeiter zu Meetingräumen, Druckern oder anderen zentralen Bereichen zu navigieren, Augumented Reality Informationen wie zum Beispiel Druckeranleitungen, sowie die Gesichtserkennung, um sich zum Beispiel die Namen der Kollegen schneller merken zu können.

Technologien

Die Anwendung basiert auf unterschiedlichen Azure Diensten. Um einen groben Überblick hinsichtlich der Umsetzung zu verschaffen, werde ich im Folgenden kurz auf die wichtigsten Technologien eingehen.

Für die Lokalisierung und Navigation werden sogenannte Spatial Anchors verwendet. Dabei handelt es sich um feste Punkte, die in der realen Umgebung verankert sind und stellen damit den Kern der Applikation dar. So wird die Lokalisierung von Geräten, wie Druckern und weiteren Zielen ermöglicht. Eine ausführliche Beschreibung der Spatial Anchors findest du in dem Blogbeitrag Azure Spatial Anchors – Die digitale Welt wirft Anker.

Um die Ankerpunkte zu speichern wird die CosmosDB von Azure verwendet. Für die Objekt- und Gesichtserkennung wurde hier der Cognitive Service Custom Vision herangezogen. Cognitive Services ermöglichen es dem Entwickler KI-Funktionalitäten über die Cloud oder trainierte Modelle in einem gewünschten Format in die eigene Anwendung zu integrieren. Mit Custom Vision erfolgt das Trainieren der Modelle anhand von Bilddatensätzen in der Cloud. Für die Gesichtserkennung wurde zur Klassifikation, also Unterscheidung der einzelnen Personen, ein Convolutional Neuronal Network eingesetzt. Um die Kommunikation zwischen Datenbank und Cloud zu ermöglichen, wird zudem ein App Service benötigt. Für die Erstellung der Anwendung wurde die C#-basierte Entwicklungsumgebung Unity 3D herangezogen. Durch die AR-Foundation, welche ARCore (Android) und ARKit (iOS) vereint, ermöglicht Unity eine plattformunabhängige App-Entwicklung.

Grober Programmablauf

Der Administrator der Applikation ist dazu befugt Ankerpunkte zu setzen. Nach der Platzierung der 3D Objekte werden diese in die Cloud hochgeladen. Der Spatial Anchor Service gibt dabei eine ID zurück, die an den App Service weitergegeben und mit zusätzlichen Informationen, wie z.B. einen AnchorKey, in der CosmosDB abgespeichert wird. Will der User nun einen Anchor lokalisieren, verschafft sich der App Service über eine Anfrage die hierfür benötigten Informationen aus der Datenbank.

Demo der Indoor-Navigation

Um zu zeigen, dass das Ganze auch funktioniert, folgt nun ein kurzes Demovideo der Indoor-Navigation. Dabei handelt es sich um eine reine Augmented Reality Lösung, ohne Bluetooth-Beacons oder ähnliches. Über Merkmalspunkte, also markante Punkte im Raum, GPS und WLAN kann die aktuelle Position bestimmt und räumliche Ankerpunkte lokalisiert werden. Die Applikation ist zudem Multiplattformfähig, kann also sowohl auf dem Smartphone (Android/iOS), als auch mit der UWP (HoloLens) genutzt werden. Neben dem Bürogebäude sind natürlich auch weitere Einsatzorte wie Messehallen, Baustellen oder Lagerhallen denkbar.