Navigation und Interaktion mit der Microsoft HoloLens

Im Rahmen eines Studienprojekts mit der Hochschule Karlsruhe entwickelten die Studenten Andreas, David, Tobias, Thomas und Andreas eine Navigationsmöglichkeit mit Hilfe der HoloLens. Ziel des Projekts war eine Intragebäudenavigation, also die Navigation innerhalb von Räumen mit Hilfe der HoloLens und dabei eine Interaktion an bestimmten Points of Interest (POI) oder Point of Sale (POS) zu ermöglichen. Diese Möglichkeit zur Navigation kann künftig beispielsweise auf Messen, in Einkaufszentren, Parks, Museen, Flughäfen und vielen weiteren Locations eingesetzt werden und den Anwendern die Navigation sowie Informationsbeschaffung erleichtern. Im Folgenden wird gezeigt, wie der Aufbau der Anwendung gestaltet ist, welche Möglichkeiten es für Anwender und Administrator gibt und wie das ganze gesteuert werden kann.

Konzept

Die Navigation mit Hilfe der HoloLens ist über den Aufbau eines Netzwerks mit Ankerpunkten möglich. Grundlage dieses Netzwerk sind Verknüpfungen, die wiederum auf der Graph-Theorie basieren. Über diese wird mit Hilfe von Knoten und Kanten der kürzeste Weg ermittelt. Sogenannte Spatial Anchors schaffen Anker mit einer eindeutigen Position. Die Sensoren der HoloLens scannen die Oberflächen und setzen anhand dieser die benötigten Ankerpunkte, um die Navigation zu ermöglichen und später auch die POIs zu definieren.

Der reine Aufbau des Netzwerks ist recht einfach und lässt sich über Gestiken anhand der HoloLens steuern. Über bestimmte Gesten können Navigationspunkte gesetzt und verbunden werden. Anhand dieser Punkte kann ein POI definiert werden und Interaktionsmöglichkeiten an diesem erstellt werden. So können die Punkte beispielsweise für Gewinnspiele, dem Versenden von E-Mails, Einblenden von Informationen über das Unternehmen oder einem Link zur Unternehmenswebsite genutzt werden.

Für den Anwender ist die Nutzung der App mit der HoloLens einfach. Aus einer Auswahlliste kann er per Gesten die Navigation starten und hat ebenso die Möglichkeit, die Navigation per Sprachbefehl zu starten. Ist diese gestartet, wird der Weg zum POI aufgezeigt. Dies zeigt sich anhand vorher definierter Symbole. Diese Symbole werden dem Nutzer als Weg auf der HoloLens angezeigt. An den definierten POIs werden dem Nutzer dann die Möglichkeiten zur Interaktion aufgezeigt, die er wiederum durch Gesten oder Sprache anwählen kann.

Da bei der Microsoft HoloLens virtuelle und reale Welt verschmelzen, ist es wichtig, dass die Navigationsknoten beim Anlegen auf begehbaren Wegen liegen und keine Gefahr für den Anwender besteht. Außerdem sollte bei der Initialisierung darauf geachtet werden, dass der Abstand der Knoten ausreichend ist, um eine Verwechslung der Interaktionen am POI zu vermeiden.

Instruktionen für den Anwender

Die Anwendung der HoloLens App ist für den Nutzer sehr einfach gehalten. Nach dem Starten der Anwendung auf der Brille sieht der Anwender eine Liste mit allen ansteuerbaren POIs und kann aus diesen wählen. Die zu verwendenden Gesten entsprechen den üblichen Gesten bei der Steuerung der HoloLens. Das heißt, dass durch die „Halten“ bzw. „Klick“ Geste die Navigation gestartet werden kann. Durch diese Geste öffnet sich eine entsprechende eine Liste mit der Übersicht aller hinterlegten POIs. Aus dieser Liste kann der Nutzer einen POI auswählen und per Klick oder Sprachbefehl die Navigation zu diesem Punkt starten.

Am POI selbst angekommen, zeigt sich dem Anwender in der Brille nun, dass eine Interaktion möglich ist. Hierzu wird bei der Initialisierung ein bestimmtest Symbol hinterlegt. Dieses Symbol taucht auf, sobald der Nutzer sich dem POI nähert und kann von diesem nun angewählt werden. Die entsprechende Aktion am POI sollte für den Nutzer eindeutig sein und ihn beispielsweise zur Teilnahme am Gewinnspiel oder dem Hinterlegen seiner Mailadresse auffordern.

Anwendung im Administratormodus

Navigationspunkt erstellen
Navigationspunkte können schnell und einfach erstellt werden. Hierzu wird der entsprechende Button, in unserem Fall „Create Note“ angeklickt. Dadurch wird der Knotenpunkt sichtbar und kann per Klick an der gewünschten Stelle platziert werden. Nach dem Platzieren wird ein weiterer Knotenpunkt erzeugt, der wiederum frei platzierbar ist. Jedem neu erstellten Knotenpunkt wird eine eindeutige ID vergeben, die für die Zuweisung des POS/POI notwendig ist.
Die Knotenpunkte werden so lange hinzugefügt, bis der Administrator den Task beendet.

Entfernen von Navigationspunkten
Wie bei der Platzierung der Punkte wird die Anwendung angeklickt, in unserem Fall „Delete Note“. Anschließend können die zu entfernenden Punkte angeklickt und so entfernt werden. Dabei ist darauf zu achten, dass das Netz weiterhin konsistent ist und keine Lücken aufweist. Auch beim Entfernen der Knotenpunkte werden diese so lange entfernt, bis die Anwendung zum Löschen der Punkte beendet wird.

Automatisches Verbinden von Knotenpunkten
Die gesetzten Knotenpunkte können direkt beim Einfügen in das Netz miteinander verbunden werden. Dies muss über den Button „Toggle Autoconnect“ beim Setzen der Knotenpunkte aktiviert werden. Darüber werden neu hinzugefügte Buttons direkt miteinander verbunden. Auch diese Anwendung bleibt so lange aktiviert, bis sie vom Administrator wieder deaktiviert wird.

Individuelles Verbinden von Knotenpunkten
Ebenso ist es möglich, Knotenpunkte händisch zu verbinden. Um die Knotenpunkte individuell miteinander zu verbinden, muss dies vom Administrator über die Anwendung „Connect two Nodes“ angewählt werden. Anschließend können die beiden zu verbindenden Knotenpunkte angewählt werden. Die Reihenfolge der anzuwählenden Knotenpunkte spielt keine Rolle. Auch hier gilt, dass die Anwendung beendet werden muss, um das Verbinden der Knotenpunkte zu unterbrechen.

Verschieben von Knotenpunkten
Um bestimmte Knotenpunkte verschieben zu können, muss der entsprechende Knotenpunkt angewählt werden. Dieser ist dann einfach neu zu positionieren. Verbindungen die zu diesem Knotenpunkt bestehen, werden automatisch mit der neuen Position aktualisiert.

Löschen aller Knotenpunkten
Neben dem Löschen einzelner Knotenpunkte ist ebenso ein Löschen aller Knotenpunkte möglich. Mit der Anwendung „Clear Nodes“ werden alle gesetzten Knotenpunkte gelöscht.

Erstellen eines POS/POI

Der POS/POI wird über das Desktop-Tool hinzugefügt. Hierüber werden Features, Namen, Rufname für die Sprachsteuerung und gegebenenfalls ein Bild hinterlegt. Zu beachten ist, dass die ID des Punktes eingegeben werden muss. Über diese ID wird der POI eindeutig dem entsprechenden Knotenpunkt zugeordnet.

Sprachsteuerung

Die Sprachsteuerung wird ebenfalls über das Desktop-Tool gesetzt. Mit der Sprachsteuerung können alle Aktionen gesteuert werden, die auch über die Gesten der HoloLens gesteuert werden, das heißt: Platzieren, Löschen und Verbinden der Punkte. Ebenfalls ist das Starten und Beenden der Anwendungen möglich. Um die Sprachsteuerung nutzen zu können, müssen die entsprechenden Befehle über den Desktop gesetzt werden.

Fazit

Die Anwendung liefert eine Grundlage, die in der Weiterentwicklung einen deutlichen Mehrwert für den Nutzer liefert. Der Einsatz auf Messen/Veranstaltungen, in großen Gebäuden wie Flughäfen, Museen und Einkaufzentren zur Navigation und Interaktion kann die einen deutlichen Informationsvorsprung liefern. So ist in einem weiteren Schritt beispielsweise auch die Interaktion und Kommunikation mit einem virtuellen Assistenten denkbar.
Allerdings muss beachtet werden, dass an die Hardware hohe Anforderungen bestehen, die unter anderem durch den Emulator gegeben sind. Außerdem bestehen auch hohe Anforderungen an die Umgebung in welcher das Netzwerk aufgebaut wird. Hier müssen die Gegebenheiten wie z.B. Lichtverhältnisse gleich bleiben, damit die (Raum-)Erkennung der Umgebung funktionieren kann.
Insgesamt kann die Anwendung für den Einsatz weiter optimiert werden und auf den jeweiligen gewünschten Usecase angepasst werden. Der Einsatz bei verschiedensten Locations und Anwendungsfällen ist denkbar, da über die Brille wichtige Informationen an einem bestimmten, vorher festgelegten Standpunkt an den Nutzer ausgegeben werden können. Die einfache Handhabung für Nutzer und Programmierer macht den Einsatz weiterhin attraktiv.