Die ISO Norm 9241 ist eine internationale Norm, die Richtlinien zur Interaktion zwischen Mensch und Computer bereitstellt. Neben Vorgaben zur Ergonomie des Arbeitsplatzes und zur Gestaltung der Bildschirminteraktion beschreibt der Teil 9 mit dem Titel „Anforderungen an Eingabegeräte – außer Tastaturen“ neben einer Vielzahl von Begriffsbestimmungen auch Angaben für Maße der Gebrauchstauglichkeit eines Interaktionsmechanismus. So wird die Gebrauchstauglichkeit nach ISO 9241-9 durch die Effektivität, die Effizienz und die Zufriedenheit des Nutzers bei der Nutzung eines Gerätes in einem gewissen Anwendungskontext bestimmt. ¹ Außerdem enthält die Norm neben Hinweisen zur Ergonomie und Nutzungsanforderungen bei der Gestaltung von Eingabegeräten außer Tastaturen im Anhang B auch Informationen zur Bewertung der Effektivität und Effizienz der Interaktionsmechanismen. ² Zur Evaluation wird demnach ein Fitts’ Law Test verwendet. Diese Evaluationsmethode wird nachfolgend genauer erläutert, indem zunächst die ursprüngliche Evaluation eines Zeigegerätes nach Fitts vorgestellt wird und anschließend das daran angelehnte Verfahren nach ISO 9241-9 beschrieben wird.

Geschichte der Fitts‘ Law Evaluation

Der in der ISO 9241-9 beschriebene Testablauf zur Bewertung von Zeigegeräten basiert auf dem in der HCI auch vor der Normierung häufig zur Evaluation von Zeigegeräten genutzten Fitts’ Law Modell. Der ursprünglich von Paul M. Fitts durchgeführte Testablauf diente der Überprüfung, ob eine schnelle, gezielte Bewegung der Hand durch die physische Stärke des Muskelapparates oder die Geschwindigkeit der Informationsverarbeitung des menschlichen Nervensystems limitiert wird. ³ Dazu mussten die getesteten Personen mit unterschiedlich schweren Stiften abwechselnd zwei Aluminiumstreifen mit vorgegebener Breite und festem Abstand berühren.

Ursprunglicher Fitts' Law Test ⁴

Die Veränderung der Breite der Aluminiumstreifen und des Abstands der Streifen diente dann zur Veränderung des Schwierigkeitsgrades. Zur Bestimmung des Schwierigkeitsgrades nutzte Fitts ein Theorem von Shannon zur Bestimmung der Kapazität eines Kommunikationskanals in bit durch ID= log₂(2A/ W) mit dem Schwierigkeitsindex ID in bit, der Zielentfernung A und der Zielbreite W. ⁵ Daher wird auch nach der heutigen ISO Norm die Schwierigkeit eines Ziels in bit angegeben und die Leistung eines Zeigegerätes in bit/s gemessen. Das Ergebnis des Tests war eine geringe Abweichung der Bewegungszeiten bei unterschiedlichem Gewicht des Stifts, woraus Fitts folgerte, dass nicht die physische Muskelstärke die Bewegungszeit einschränkt. Fitts’ Law sagt außerdem aus, dass ein linearer Zusammenhang zwischen dem Schwierigkeitsindex eines Ziels und der Auswahlzeit besteht.

Fitts' Law ⁶

Evaluation nach ISO 9241-9

Die ISO Norm bietet zur Bewertung der Effizienz und Effektivität von Zeigegeräten verschiedene Verfahren, die je nach Interaktionsform ein unterschiedliches Vorgehen zur Datensammlung erfordern.

Dabei unterscheidet die Norm nach folgenden Interaktionsformen ⁷:

• Zeigen
• Auswählen
• Ziehen
• Nachziehen
• Freihandeingabe

Je nach vorwiegender Interaktionsform bei der Interaktion mit der Mensch-Computer Schnittstelle hat auch der Versuchsaufbau ein anderes Erscheinungsbild. Während Auswahltests verschiedene Objekte auf dem Display darstellen, die der Nutzer mit dem Zeiger erreichen und auswählen muss, sind Nachziehtest so aufgebaut, dass ein Cursor-Objekt auf einer vorgegebenen Bahn zwischen zwei Randbegrenzungen bewegt werden muss. Der Anordnung von Zeiger und Zielen kann dem folgenden Bild entnommen werden:

Anticktests ⁸

Durch die Testform wird auch die Messung der Daten zur Bewertung des Interaktionsmechanismus bestimmt. Die nachfolgenden Abschnitte beschäftigen sich mit der Bewertung von Zeigegeräten bei Zeige-, Auswahl- und Ziehaufgaben.

Wahl der Schwierigkeitsindizes

Der Schwierigkeitsgrad ID bei einem Auswahltest wird durch die Entfernung des Zeigers zur Zielmitte in der jeweiligen Bewegungsrichtung und der Größe des Ziels nach folgender Formel bestimmt ⁹:

ID = log₂ ((D/W)+1) = log₂ ((D+W)/W)

Dabei ist D die Zielentfernung (Distance) und W die Zielbreite (Width). Für die Wahl der Maßeinheit für Zielentfernung und Zielbreite macht die ISO Norm keine Vorgaben, jedoch wird darauf hingewiesen, dass eine konsistente Nutzung der gewählten Einheit erforderlich ist. Nach ISO Norm gilt folgende Einordnung der Schwierigkeitsindizes auf der logarithmischen Skala:

• 2 < ID <= 4 | leichtes Ziel
• 4 < ID <= 6 | mittleres Ziel
• ID > 6 | schweres Ziel

Die verwendeten Schwierigkeitsindizes sollten bei einer konkreten Evaluation in einem Bereich zwischen 2 und 8 liegen. Eine Kombination aus Zielentfernung und Zielbreite wird als Kondition bezeichnet. Je mehr Konditionen der Testperson präsentiert werden, desto aussagekräftiger ist das Bewertungsergebnis für das jeweilige Zeigegerät. Dabei ist jedoch zu beachten, dass eine Kondition dem Nutzer 15-25 mal angezeigt werden sollte. Welche Konditionen realisiert werden können, kann von dem verwendeten Display und der genutzten Testform abhängen.

Erhebung der Messwerte

Wurde die für das Einsatzszenario des Eingabegerätes geeigente Testform gewählt und eine Menge von Entfernungs-Zielbreite-Kombinationen festgelegt, wird eine korrekte Erfassung der Nutzerinteraktion während Durchführung des Tests vorgenommen. Dabei sind einige Maße zu erheben, die für die spätere Bewertung notwendig sind. Eines dieser Maße ist die Bewegungszeit MT (Movement Time), also die Zeit, die ab dem Moment vergeht, ab dem der Nutzer den Zeiger in Zielrichtung in Bewegung setzt bis das Ziel ausgewählt wurde.

Bewegungszeit und Auswahlzeit

Dabei dürfen die Reaktionszeit des Nutzers bis zum Inbewegungnetzen des Zeiger und die Verweilzeit über dem Ziel, die bei manchen Interaktionsmechanismen zum Auslösen des Auswahlevents nötig ist, nicht in der Bewegnungszeit enthalten sein. Außerdem sollten der Start- und der Endpunkt der Bewegung sowie die Zielmitte erfasst werden und eventuelle „Fehler“ (falsche Auswahlevents) wenn sich der Zeiger nicht innerhalb des Ziels befindet, dokumentiert werden. Im Rahmen der Evaluation wird der entwickelte Mechanismus zur Erfassung und Dokumentation der Messwerte für die gewählte Testform dann von einer möglichst breiten und repräsentativen ¹⁰ Grundgesamtheit an Testpersonen genutzt.

Anpassung der Daten

Wurden die beschriebenen Messwerte bei der Durchführung des gewählten Testdurchlaufs erhoben, kann eine Anpassung der Schwierigkeitsindizes erfolgen, um den tatsächlich erzielten Schwierigkeitsindex widerzuspiegeln. Dieser sog. „effektive Schwierigkeitsindex“ wird für jede Kondition (also Zielentfernungs-Zielbreite-Kombinationen) errechnet. Dazu ist zunächst die effektive Zielbreite W_e notwendig. Diese berechnet sich aus der Standardabweichnung der Entfernung zwischen Zielmitte und Auswahlposition multipliziert mit 4,133:

W_e = 4,133 * StA_{Distanz zur Zielmitte}

Die Berechnung des effektiven Schwierigkeitsindexes erfolgt dann auf Basis folgender Formel:

ID_e = log₂ ((D/W_e)+1) = log₂ ((D+W_e)/W_e)

Ist außerdem der Start- und Endpunkt der Zeigerbewegung bekannt, errechnet man zunächst die effektive Zielentfernung D_e aus dem Mittelwert der Distanz zwischen Start- und Endpunkt für alle ausgewählten Ziele der jeweiligen Kondition. Anschließend lässt sich der effektive Schwierigkeitsindex ID_e folgendermaßen berechnen:

ID_e = log₂ ((D_e/W_e)+1) = log₂ ((D_e+W_e)/W_e)

Durch die Anpassung des Schwierigkeitsindex an die tatsächlich vom Nutzer erzielten Ergebnisse wird der lineare Zusammenhang zwischen Schwierigkeitsindex eines Ziels und der zur Auswahl des Ziels benötigten Zeit verstärkt. ¹¹

Anpassung des Schwierigkeitsgrades ¹²

Bewertung anhand des Durchsatzes

Der Durchsatz ist ein Maß, das die Leistungfähigkeit des Zeigegerätes im Hinblick auf die ausgewählte Testaufgabe quantifiziert. Es kombiniert sowohl die Präzision als auch die Geschwindigkeit eines Interaktionsmechanismus zu einem vergleichbaren Wert. Das Maß für die Präzision ist dabei der zuvor beschrieben effektive Schwierigkeitsindex ID_e jederKondition. Das Maß für die Geschwindigkeit ist die durchschnittliche Auswahlzeit der Ziele einer Kondition t_m. Der Durchsatz T (Throughput) eines Zeigegerätes mit der Maßeinheit bit ergibt sich aus folgender Summe über alle x unterschiedlichen Konditionen:

T = ∑(ID_e/t_m)

Das Maß T erlaubt dann einen Vergleich der Leistungsfähigkeit eines Zeigegerätes bei verschiedenen Aufgaben oder verschiedener Zeigegeräte bei derselben Aufgabe. Zusätzlich kann mittels linearer Regression anhand der Wertepaare (ID_e,t_m) der einzelnen Konditionen überprüft werden, ob ein linearer Zusammenhang zwischen dem effektiven Schwierigkeitsindex und der dafür benötigten Auswahlzeit besteht und das Zeigegerät sich somit gegebenenfalls konform zu Fitts‘ Law verhält.

Praktische Anwendung

Geht man nach den beschrieben Schritten vor, wird mit dem Durchsatz ein Maß gewonnen, dass einen Vergleich verschiedener Eingabegeräte erlaubt. Daher ist die Evaluation nach ISO 9241-9 eine geeignete Methode, um beispielsweise verschiedene natürliche Interaktionsmechanismen zu vergleichen.
In Kürze folgt hierzu ein weiterer Bericht zu einer durchgeführten Evaluation über die Eignung verschiedener Eingabegeräte für die Steuerung eines großen Wandbildschirms unter Einhaltung der ISO-Vorgaben. Dabei wurden die Eigenschaften von fünf Interaktionsmechanismen aus unterschiedlichen Entferungen zu einem großen Wandbildschirm untersucht. Konkret handelte es sich dabei um die Nintendo Wii Remote, die Logitech MX Air Mouse, einen Friendlyway d-sign 52 Touchscreen, einen Microsoft Kinect Sensor und ein HTC Magic Smartphone.

Einsatzentfernungen der Interaktionsmechanismen

HTC Magic ¹³

Microsoft Kinect

Logitech MX Air ¹⁴

Friendlyway d-sign 52

Wii-Mote Plus ¹⁵

Mit dem Erscheinen von Microsoft Kinect als Zubehör für die Spielekonsole Xbox 360 im November 2010 wurde erstmal ein kostengünstiger Infrarot-Tiefensensor für eine breite Nutzerschaft verfügbar und schuf somit die Möglichkeit zur Entwicklung von Anwendungen, die durch eine gestenbasierte Nutzerinteraktion ohne zusätzliche Eingabegeräte das Potential zur Revolution der Gestaltung der Human-Computerrec Interaction versprechen. Daher entstand in kurzer Zeit eine Community, die die Anbindung an einen PC zunächst mit selbstentwickelten Treibern, einige Wochen später dann mit Treibern und Software Development Kit (SDK) von dem ebenfalls an der Entwicklung von Kinect beteiligten Unternehmen Primesense ermöglichte und erste Anwendungen mit vielfältigen Anwendungsgebieten veröffentlichte. Während Microsoft selbst diesen Trend zunächst nicht unterstützte, wurde dann im Mai 2011 ein offizielles „Kinect for Windows SDK“ veröffentlicht. Durch die unterschiedliche Dauer der Verfügbarkeit der verschiedenen Gerätetreiber und der darauf aufbauenden SDKs haben sich unterschiedliche Entwicklergemeinden gebildet. Daher gibt es derzeit mehrere verschiedene Anwendungen, die zur Steuerung eines Mauszeigers durch die Kinect-Hardware eingesetzt werden können. Jede dieser Anwendungen unterscheidet sich in der Art der Bedienung oder Funktionsumfang. In diesem Artikel werden einige der verfügbaren Anwendungen näher betrachtet und anhand der Kriterien Einsatzentfernungen, Genauigkeit der Zeigerpositionierung, Zuverlässigkeit der Auswahlgesten, Stabilität der Anwendung und Konfigurierbarkeit mit einander verglichen.

Kinect Maus-Emulatoren

Die Grundlage des Artikels bilden die Anwendungen FAAST, Kinemote und PCD auf der Basis des von Primesense veröffentlichten OpenNI SDK sowie Kinect Cursor Control auf Basis des Kinect for Windows SDK von Microsoft. Neben diesen frei verfügbaren Anwendungen zur Steuerung des Mauszeigers mit dem Kinect Tiefensensor wird nachfolgend auch eine kommerziell vertriebene Anwendung betrachtet. Dabei handelt es sich um um die Anwendung WIN&I, die von der Evoluce AG angeboten wird.

KinEmote

KinEmote ¹ ist ein Framework, das verschiedene Anwendungen zur Nutzung der Microsoft Kinect bündelt. Es greift dazu auf das OpenNI Framework ² zurück, welches die Verwendung der verschiedenen von der Kinect gelieferten Sensordaten ermöglicht. OpenNI wurde von einer  Non-Profit-Organisation veröffentlicht, an der unter anderem auch Primesense mitwirkt. Primesense entwickelte zusammen mit Microsoft den Kinect-Sensor.

Neben Anwendungen zur Steuerung des Xbox Media Centers und der Medienserveranwendung Boxee mit Handgesten sowie der Emulation von bis zu acht zuvor konfigurierten Tastatureingaben durch das Bewegen der Hand nach oben, unten, links und rechts bei gestrecktem oder gebeugtem Arm kann KinEmote auch zur Steuerung des Mauszeigers genutzt werden. Dazu kommt eine Kombination von relativer und absoluter Positionierung des Zeigers zum Einsatz. Während viele Anwendungen zur Maussteuerung mittels Kinect ein imaginäres Rechteck im Raum aufspannen und die Position der Hand in diesem Rechteck auf eine absolute Position auf dem genutzten Display abbilden, wird bei der virtuellen KinEmote Maus die relative Bewegung der Hand zwischen Start- und Endpunkt der Handbewegung auf eine Bewegung des Mauszeigers übertragen. So kann der Nutzer mit einer schnellen kurzen Bewegung der Hand einen rasche Verschiebung des Zeigers über eine große Strecke realisieren aber auch durch eine langsame Bewegung der Hand über eine große Strecke eine präzise Verschiebung des Zeigers in einem kleinen Radius auf dem Display erreichen.

KinEmote

Andere Anwendungen mit relativer Zeigerpositionierung nutzen häufig einen statischen Referenzpunkt mittig vor dem Körper und bilden z.B. eine Handbewegung nach rechts oben von der Körpermitte auf eine Zeigerbewegung nach rechts oben ab. Da KinEmote den Endpunkt der letzten Bewegung als neuen Referenzpunkt für die nächste Bewegung nutzt, lässt sich die Anwendung ähnlich bedienen, wie eine Anwendung mit absoluter Zeigerpositionierung, wodurch der Nutzer ein direkteres Feedback für die durchgeführte Handbewegung erhält, als bei einer relativen Positionierung mit statischem Referenzpunkt. Die Kombination von absoluter und relativer Positionierung erlaubt also eine schnelle aber dennoch präzise Verschiebung des Zeigers.

Der Benutzer beginnt die Interaktion durch eine Winkbewegung aus dem Handgelenk. Es können sowohl die linke als auch die rechte Hand zur Interaktion genutzt werden. Da die Anwendung in einem Abstand von einem bis vier Metern vor dem Sensor genutzt werden kann und sehr stabil läuft, ist KinEmote gut geeignet, um die Funktionen einer herkömlichen Computermaus zu emulieren. Ein Auswahl-Event wird durch das Vor- und Zurückführen der Hand ausgelöst, mit der auch der Zeiger positioniert wird. Da keine Parameter zur Konfiguration des Select-Events verfügbar sind, kommt es häufig vor, dass beim Versuch einen Klick auszuführen eine versehentliche Neupositionierung des Zeigers erfolgt. Außerdem wird gelegentlich kein Klick ausgelöst, obwohl der Nutzer dies beabsichtigt.

FAAST

Das Flexible Action and Articulated Skeleton Toolkit (FAAST) ³ ist eine am Institute for Creative Technologies der University of Southern California entwickelte, auf dem OpenNI SDK basierende Anwendung, die es erlaubt verschiedene Gesten zu erfassen und damit mittels einer einfachen Syntax definierbare Maus- oder Tastatur-Events zu emulieren. Auf diese Weise können dann andere Anwendungen mit den zuvor konfigurierten Gesten bedient werden. Die Anwendung kann dazu zwischen der Fokussierung bei der Gestenerkennung auf den gesamten Körper, den Oberkörper, den Unterkörper oder die Hand unterscheiden. Je größer der fokussierte Bereich ist, desto mehr Gesten können erkannt werde. Allerdings sinkt damit auch die Präzision der Erkennung der ausgeführten Gesten.

Eine präzise Steuerung des Mauszeigers ist leider aktuell nur bei der Fokussierung auf die Hand möglich. Durch die Fokussierung auf die Hand können jedoch keine Gesten mit anderen Körperteilen erfolgen, weshalb es mit FAAST nicht möglich ist, gleichzeitig eine genau Positionierung und eine zuverlässige Auswahlgeste zu erreichen. Bei einem Fokus auf den Oberkörper kann dann beispielweise konfiguriert werden, dass der linke Arm leicht nach vorne geführt werden muss, um einen Klick auszulösen, während der rechte Arm zum Positionieren des Zeigers genutzt wird. Die Syntax zum konfigurieren der Geste-Event Belegungen hat folgende Form:

<Gestenbezeichnung> <Positionsveränderungzum Auslösen der Geste in Inch/Zoll> <Auszulösendes Event> <Konkretisierung des Events>

Dabei müssen die einzelnen für die Platzhalter in der Syntax eingetragenen Spezifizierungen genau ein Leerzeichen Abstand haben und Leerzeichen in den Spezifizierungen durch einen Unterstrich ersetzt werden. Ein Beispiel für eine Gesten-Event Konfiguration könnte folgendermaßen aussehen:

left_arm_forwards 5 mouse_click left_mouse_button

Damit wird bei einer Bewegung des linken Arms um fünf Zoll (also 12,7cm) nach vorn ein einzelner Klick mit der linken Maustaste ausgelöst. Eine detaillierte Auflistung aller verfügbaren Gesten und auslösbaren Events mit der dafür zu verwendenden Spezifizierung ist auf der Website zur Anwendung erhältlich.

Fokusbereiche von FAAST

Neben den programmierbaren Geste-Event Kombinationen gibt es außerdem eine Reihe von Parametern, die zur Individualisierung des Interaktionsbereichs und zur Feinjustierung der Bewegungsglättung zur präziseren Zeigerpositionierung genutzt werden können. So können unter anderem der fokusierte Körperteil, die Stärke der Bewegungsglättung und die Art der Zeigerpositionierung gewählt werden. So erlaubt FAAST als einzige betrachtete Anwendung die individuelle Konfiguration des Bereichs, in dem die Bewegungen der Hand des Nutzers auf Bewegungen des Zeigers auf dem Bildschirm zur absoluten Positionierung übertragen werden. Insgesamt bietet FAAST die umfassendsten Konfigurations- und Individualisierungsoptionen.

Konfigurationsoptionen von FAAST

WIN & I

WIN&I ⁴ ist eine von der Evoluce AG kommerziell vertrieben Anwendung zur Emulation der Maussteuerung mit dem Microsoft Kinect Sensor auf Basis des OpenNI SDK. Die Anwendung nutzt dieselbe Form der relativen Positionierung wie die Virtual Mouse des KinEmote Anwendungspaketes und erlaubt eine ebenso präzise Zeigerpositionierung. Jedoch wird bei WIN&I bei einer schnellen Handbewegung eine weitere Verschiebung des Zeigers vorgenommen als bei KinEmote, sodass die Steuerung des Zeigers insgesamt einen agileren Eindruck vermittelt und so ein direkteres Feedback liefert.

Außerdem erlaubt die Anwendung die Nutzung aller Mausfunktionen über die Implementierung eines Gestenmodus. Hält der Benutzer die Hand für eine gewisse Zeitspanne, die über einen Parameter grob anhand der Nutzererfahrung konfiguriert werden kann, still, so erscheint statt des Mauszeigers ein Und-Symbol. Ist der Gestenmodus auf diese Weise aktiviert worden, kann der Nutzer nun durch die Bewegung der Hand in eine Richtung einen Mouse-Event auslösen, ohne dabei den Zeiger zu verschieben. Nach der Aktivierung des Gestenmodus löst beispielsweise eine Bewegung
der Hand nach links einen Linksklick aus. Eine Bewegung der Hand nach rechts bewirkt
einen Rechtsklick. Eine Auswahl der Ziele durch Ausstrecken und Zurückziehen des Arms
ist dennoch möglich. Somit ist WIN&I die einzige getestete Anwendung, die ein präzises Positionieren des Zeigers und ein zuverlässiges Auswählen der Ziele zulässt. Zudem läuft die Anwendung sehr stabil und kann in einer Entfernung von einem bis vier genutzt werden.

WIN&I in Nutzung ⁵

PCD

Palm Click and Drag (PCD) ⁶ ist eine auf OpenNI aufbauende Anwendung der Entwickler des KinEmote-Anwendungspakets. Anders als die virtuelle Maus des KinEmote-Paketes kann mit PCD eine präzise Platzierung des Zeigers über eine absolute Positionierung erfolgen. Startet der Benutzer die Interaktion durch eine Winkgeste, so wird ein im Vergleich zu anderen Anwendungen mit absoluter Zeigerpositionierung kleines imaginäres Rechteck um die Position der Hand gebildet. Da bei der absoluten Positionierung die Position der Hand im imaginären Rechteck auf die Position des Zeigers auf dem Display abgebildet wird, kann der Nutzer schnell die äußeren Positionen des Displays erreichen und dabei stets eine angenehme Körperhaltung beibehalten. Die gute aber nur teilweise konfigurierbare Bewegungsglättung erlaubt zudem eine präzise Positionierung im zentralen Displaybereich, die stets ohne ein Springen des Zeigers erfolgen kann.

Den Namen „Palm Click and Drag“ trägt die Anwendung wegen ihrer verschiedenen Interaktionsmodi. Zur Unterscheidung der Modi bildet das Framework eine Umrandung der Hand. Im Modus „Palm“ kann der Zeiger bei geöffneter Hand und gespreizten Fingern positioniert werden. Dabei ist sowohl die horizontale, als auch die vertikale Ausdehnung der Umrandung der Hand maximal. Führt der Nutzer die Finger zusammen, gelangt er in den Modus „Click“, der eine Betätigung der linken Maustaste emuliert. Dazu erfasst die Anwendung die verringert horizontale Ausdehnung der Handumrandung bei weiterhin maximaler vertikaler Ausdehnung. Schließt der Nutzer nun zusätzlich die Hand und ballt sie somit zu einer Faust, gelangt er in den Modus „Drag“ und emuliert so ein Drag-Event (Halten der linken Maustaste), das beim Öffnen der Hand mit einem Drop-Event (Loslassen der linken Maustaste) beendet wird. Die horizontale und vertikale Ausdehnung der Handumrandung haben sich gegenüber dem „Palm“ Modus verringert. Auf diese Weise können alle Mausevents, die mit der linken Maustaste einer Rechtshändermaus ausgelöst werden, stattfinden. Ein Doppelklick erfolgt z.B. durch zweifaches schnelles Zusammenführen und Spreizen der Finger.

Die Anwendung bietet einige Konfigurationsmöglichkeiten, welche die Präzision der Interaktion mit der Anwendung sowie die emulierbaren Events beeinflussen. Mit dem Schieberegler „History amount for averaging (0-10)“ kann beispielsweise die Anzahl der für die Errechung der Handumrandung genutzten Positionsdaten der Hand zwischen null und zehn Frames variiert werden. Mit einem hohen Wert lässt sich zwar die Präzision der Zeigerpositionierung und dieZuverlässigkeit der Klickerkennung steigern, jedoch steigt dabei auch die benötigte Rechenleistung an. Mit dem Schieberegler „Averaging“ kann der Detailgrad der für die Errechnung der Handumrandung genutzten Positionsdaten variiert werden, um die benötigte Rechenleistung zu reduzieren, da Anfangs der Maximalwert eingestellt ist. Mit dem Regler „Open/Close Delta“ kann die nötige Verringerung der maximalen Ausdehnung der Handumrandung bis zum Auslösen der Click- und Drag-Events beeinflusst werden. Jedoch führt auch eine starke Verringerung dieses Wertes nicht zu einer zuverlässigeren Auslösung der Auswahlevents bei einer Entfernung von mehr als 2,50m. Zusätzlich kann die Positionierung des Zeigers und das Auslösen der Klick-Events aktiviert bzw. deaktiviert werden und eine emulierte Tastatureingabe beim Start der Interaktion durch die Winkgeste oder beim Beenden der Interaktion durch Entfernen der Hand aus dem imaginären Rechteck zur Positionierung eingestellt werden.

Palm Click and Drop

Kinect Cursor Control

Kinect Cursor Control ⁷ ist eine Anwendung zur Steuerung des Zeigers mittels Kinect und basiert auf dem „Kinect for Windows SDK“ ⁸ von Microsoft. Die Anwendung ermöglicht eine absolute Positionierung des Zeigers durch die Bewegung der rechten Hand im von der Anwendung angezeigten Bildausschnitt und eine entsprechende Abbildung der Position der Hand im Bildausschnitt auf die Position des Zeigers auf dem Display.

Da jedoch das imaginäre Rechteck zur Positionierung zu groß gewählt ist, können nicht alle Stellen des Displays mit dem Cursor erreicht werden, sodass bei der Nutzung mit der rechten Hand ein Bereich auf der linken Seite des Displays nicht erreicht wird und bei der Nutzung mit der linken Hand ein Teil am rechten Rand des Displays. Außerdem muss der Arm häufig weit angehoben und weit über die Körpermitte bewegt werden, sodass die Schulter bei der Interaktion schnell ermüdet. Zusätzlich kann es bei der Positionierung der Hand direkt vor dem Körper zu einem starken Springen des Zeigers kommen, da dort die Position der Hand nicht klar erkannt werden kann. Andererseits beinhaltet die Anwendung einen zuverlässigen Mechanismus zum Auslösen eines Select-Events. Um einen Klick auszuführen, muss der Arm, der nicht zur Positionierung genutzt wird, gestreckt angehoben und kurz dort gehalten werden. So kann ein Klick ausgelöst werden, ohne versehentlich den Zeiger neu zu positionieren. Die zu starke Bewegungsglättung der Anwendung führt jedoch dazu, dass die Steuerung des Zeigers träge und indirekt wirkt, sodass eine Nutzung der Anwendung zur Steuerung eines Rechners nicht dauerhaft und ohne Einschränkungen möglich ist.

Kinect Cursor Control

Vergleichskriterien

Nachdem die einzelnen Anwendungen vorgestellt und beschrieben wurden, folgt an dieser Stelle eine Übersicht über  im Hinblick auf die für den Einsatz zur PC-Interaktion relevanten Kriterien. Dafür werden zunächst die verwendeten Vergleichskriterien Art der Zeigerpositionierung, Präzision der Zeigerpositionierung, Zuverlässigkeit der Auswahlgeste, maximale und minimale Einsatzentfernung sowie Stabilität der Anwendung erklärt, bevor anschließend eine tabellarische Einordnung der einzelnen Anwendungen anhand der genannten Kriterien erfolgt.

Art der Zeigerpositionierung

Zur Positionierung des Mauszeigers werden bei den betrachteten Anwendungen drei verschiedene Methoden genutzt. Die erste Methode, die absolute Positionierung, spannt ein imaginäres Rechteck im Raum auf und bildet die Position der Hand des Nutzers innerhalb des Rechtecks auf die entsprechende Position des Mauszeigers auf dem genutzten Display ab. Damit diese Methode auch bei unterschiedlichen Entfernungen des Nutzers zum Display funktioniert, muss das imaginäre Rechteck indirekt proportional zur Entfernung des Nutzers skaliert werden. Die zweite und dritte Methode zur Positionierung des Zeigers basieren auf einer relativen Handbewegung, also einer Bewegung der Hand relativ zu einem Bezugspunkt im Raum. Während eine Form der relativen Positionierung einen statischen Bezugspunkt wählt und somit beispielsweise ein Bezugspunkt in der Körpermitte und eine Bewegung der Hand auf die linke Körperseite immer eine Zeigerverschiebung nach links bewirkt, wird bei der anderen Form der relativen Positionierung der Bezugspunkt für die Bewegung ständig an der Stelle, an der die Handbewegung endet, neu gesetzt. Durch die gerade beschriebene adaptive relative Positionierung kann ein ähnliches Nutzungsgefühl wie bei der absoluten Positionierung erreicht werden und dennoch eine genauere Platzierung erfolgen.

Präzision der Zeigerpositionierung

Die Präzision, mit welcher der Zeiger über einem Objekt positioniert werden kann, ist abhängig von der Bewegungsglättung, die die zu Grunde liegende Anwendung nutzt, um die Sensordaten in eine Zeigerbewegung umzusetzen. Je nachdem, wie die dafür relevanten, häufig nicht beeinflussbaren Parameter in der jeweiligen Anwendung gesetzt wurden, kann der Zeiger ein sehr unruhiges Verhalten mit einem starken „Jitter“ (Flattern) zeigen. Außerdem kann es vorkommen, dass die Zeigerposition zu selten aktualisiert wird, sodass der Zeiger wie auf einem groben Raster entweder stillsteht oder einen Sprung von einem Rasterpunkt zum nächsten vollzieht ohne eine gleichmäßige, gut kontrollierbare Bewegung zu ermöglichen.

Zuverlässigkeit der Auswahl

Die Zuverlässigkeit mit der die Auswahl eines Ziels nach der Zeigerpositionierung ausgelöst werden kann, hängt wesentlich von der Geste ab, die von der Anwendung zum Auslösen des Mouseclick-Events genutzt wird. Während einige Anwendungen die Manipulation zur Positionierung völlig von der Geste zum Auswählen trennen, gehen bei anderen Anwendungen beide Interaktionen fließend ineinander über. Liegen die Gesten zum Positionieren und Auswählen nah beieinander ⁹, so wird die Auswahlgeste insbesondere bei einer kurzen Entfernung des Nutzers zum Kinect Sensor häufig als Neupositionierung erkannt, weshalb der Zeiger bei kleinen Zielen versehentlich aus dem Zielbereich bewegt wird. Daher kann eine zuverlässigere Auswahl erfolgen, wenn die Positionierung z.B. mit der rechten Hand und die Auswahl durch Anheben der linken Hand oder eine anderen Geste, welche die Position der rechten Hand nicht beeinflusst, erfolgen. Müssen Positionierung und Auswahl zwingend mit ein und derselben Hand erfolgen, hat sich das Halten der Hand an der zur Auswahl gewünschten Position für eine gewisse Zeitspanne zum „Einrasten“ des Zeigers an dieser Stelle statt einer zusätzlichen Auswahlgeste als zuverlässig erwiesen, da sich hierbei die Auswahlposition nicht versehentlich verändert. Ein weiterer Einflussfaktor für die Zuverlässigkeit der Auswahl ist die Sensibilität der Auswahlgeste. So kann je nach Anwendung bereits bei einer Andeutung der Auswahlgeste versehentlich ein Klick ausgelöst werden, wohingegen eine zu wenig sensible Auswahlgeste dazu führt, dass zu wenige oder gar keine Klicks ausgelöst werden. Beides führt beim Nutzer dazu, dass er die ausgelösten Interaktionen nicht nachvollziehen kann, da sie von ihm nicht beabsichtigt sind.

Maximale und minimale Einsatzentfernung

Der Abstand, mit dem ein Nutzer eine Anwendung zur Emulation der Maussteuerung verwenden kann, wird nicht durch die Sichtweite des Kinect Sensors, sondern durch die minimale und maximale Distanz der zuverlässigen Erkennung der Auswahlgeste bestimmt, die wiederum von dem Sichtfeld und der Auflösung des Infrarotkamerabildes abhängt. Zwar kann die Infrarotkamera des Kinect Sensors Tiefenwerte in einer Entfernungsspanne von einem halben bis sieben Metern liefern, jedoch muss der fokussierte Körperteil vollständig im Sichtfeld liegen, weshalb die Minimalentfernung bei Fokussierung auf die Hand zwischen einem halben und einem Meter, bei Fokussierung des gesamten Körpers jedoch bei mindestens eineinhalb Metern liegt. Da der Nutzer bei zunehmender Entfernung vom Sensor einen kleiner werdenden Teil des Sensorsichtfeldes einnimmt, kann es wegen der geringen Auflösung der Infrarotkamera von 640 x 480 Pixel dazu kommen, dass kleine Bewegungen nicht mehr erkannt und somit manche Auswahlgesten nicht wahrgenommen werden. Daher schwankt die maximale Nutzungsentfernung mit der genutzten Auswahlgeste z.T. sehr stark. ¹⁰

Stabilität der Anwendung

Eine Anwendung ist für die „stabil“, wenn sie während eines Evaluationsdurchlaufs mit einer Dauer zwischen 30 und 90 Minuten nicht unplanmäßig beendet wird. Einige Anwendungen stürzten während der Tests nach einer kurzen Zeitspanne ab, schlossen sich gelegentlich unvorhergesehen, wenn der Fokus des zur Steuerung genutzten Körperteils verloren wurde oder konnten nicht mehr genutzt werden, wenn eine Konfiguration der  bereitgestellten Optionen / Parameter vorgenommen wurde.

Zusammenfassung

Abschließend werden die oben vorgestellten Merkmale der betrachteten Maus-Emulatoren anhand eigener Beobachtungen im Hinblick auf die zuvor beschriebenen Eigenschaften in tabellarischer Form zusammengefasst. Die Beurteilung der Anwendungen erfolgte dazu durch eine einfachen Auswahlaufgabe, bei der der Nutzer den Cursor über einem Ziel platzieren und dieses anschließend auswählen musste. Diese Aufgabe wurde mit jeder Anwendung aus verschiedenen Entfernungen zum Kinect Sensor wiederholt, wobei die verschiedenen Frameworks wie folgt abschnitten:

Bewertungskriterium	KinEmote	FAAST	WIN&I	PCD	Kinect Cursor Control
Art der Zeigerpositionierung	adaptiv relativ	absolut oder statisch relativ	adaptiv relativ	absolut	absolut
Präzision der Zeigerpositionierung		11
Zuverlässigkeit der Auswahl	12	13	14	15	16
Min. / max. Einsatzentfernung	1m – 4m	1m – 4m	0,75m – 4m	1m – 2,5m	1m – 3m
Stabilität der Anwendung

Ein Großteil der Entwicklungen im Bereich der Natural User Interfaces basiert auf (Multi-)Touch Interfaces und der Steuerung durch Touchgesten. Da diese Form der natürlichen Benutzerschnittstellen beispielsweise bei sehr großen vertikalen Displays oder an für den Benuter nicht erreichbaren Displays nicht verwendet werden kann, besteht die Notwendigkeit, alternative natürliche Interaktionsmechanismen einzusetzen, die eine berührungslose Interaktion mit vertikalen Displays aus einer gewissen Entfernung ermöglichen. Um einen Überblick über bereits existierende Prototypen solcher über die Touchinteraktion hinausgehenden (Beyond Touch) Interaktionsmechnismen zu geben, werden nun einige dieser Prototypen vorgestellt.

Aus der Vielzahl der Prototypen von natürlichen Interaktionsmechanismen lassen sich einige gehäuft auftretende, grundlegende Bedienkonzepte identifizieren. So werden vermehrt Ansätze gewählt, bei denen es beispielsweise möglich ist auch aus einiger Entfernung durch Touchgesten in unteschiedlichen Ausprägungen zu interagieren. Andere Prototypen basieren auf mouseähnlichen tragbaren Eingabegeräten, die eine Bedienung auf intuitive und natürliche Weise anstreben. Andere Interaktionsmechanismen beruhen auf der Gestensteuerung und verzichten auf zusätzliche Eingabegeräte auf Nutzerseite. Des Weiteren wird hier auch ein sogenanntes Brain-Computer Interface vorgestellt, das eine Anwendungsnutzung allein durch Gehirnstrommessung ermöglicht. Zunächst werden nun einige Mechanismen beschrieben, die durch die Körperbewegungen des Nutzers gesteuert werden. Nach diesen gestenbasierten Interaktionsmechanismen werden die Remote-Touch Interaktionsmechanismen, die gerätevermittelten Interaktionsmechanismen und das Brain-Computer Interface vorgestellt.

Gestenbasierte Interaktionsmechanismen

Die natürlichste Form der HCI ist die Bedienung einer Nutzerschnittstelle ohne die bewusste Nutzung eines Interaktionsmechanismus zur Erreichung der Zielsetzung. Dies bedingt einen vollständigen Verzicht auf Eingabegeräte auf Nutzerseite und die Interaktion zwischen System und Nutzer auf Basis der dem Nutzer zur Verfügung stehenden Kommunikationsmittel. Ebenso wie die Interaktion zwischen Menschen kann der Nutzer dem System seine Absichten über die Bemühung von Mimik, Gestik und Sprache mitteilen. ¹ Die Gesture Based Interfaces nutzen zur Interaktion zwischen Mensch und Computer nur die Gestik zur Eingabe auf Nutzerseite und visuelles oder akustisches Feedback durch den Computer.

Magic Window

Magic Window ² ist ein Interaktionsmechanismus, der es dem Nutzer erlaubt ohne die Zuhilfenahme von Eingabegeräten mit Bildmaterial zu interagieren. Dazu wird die Position des Kopfes des Nutzers verfolgt (Headtracking) indem die Position der an der Brille des Nutzers befestigten Infrarot-LED von der Infrarotkamera einer Wii-Remote erfasst wird. Da die Darstellung auf dem Display stets zum Nutzer ausgerichtet wird, entsteht für diesen ein der Effekt, dass er den dargestellten Inhalt wie durch ein Fenster betrachtet. Bewegt sich der Nutzer also nach links, kann er mehr von der rechten Seite des Bildes sehen. Bewegt er seinen Kopf nach unten, kann er mehr von der oberen Seite des Bildes sehen. Nähert er sich dem Display, kann er mehr vom gesamten Bild sehen usw. Diese Form der Interaktion ist sehr natürlich, da der Nutzer das Prinzip der Paralaxe, also der scheinbaren Änderung der Position eines Objektes, wenn der Beobachter seine eigene Position verschiebt, bereits aus der im Alltag gesammelten Erfahrung kennt. Um der Interaktion weitere Freiheitsgrade hinzuzufügen kann z.B. ein weiterer Wii-Remote Controller in die Interaktion eingebunden werden.

MagicWindow benötigte Hardware ³

Interaktion mit MagicWindow ³

SixthSense

SixthSense ⁴ ist ein Interaktionsmechanismus der in die Rubrik des Wearable Computing eingeordnet werden kann, da die Hardware wie Kleidung am Körper getragen wird. Diese Hardware besteht aus einem Projektor und einer Kamera, die vor der Brust getragen werden sowie farbigen Markern an Daumen und Zeigefinger beider Hände. Somit können Inhalte durch den Projektor auf jeder beliebigen Fläche dargestellt werden und durch Handgesten manipuliert werden, die von der Kamera aufgenommen werden. So kann der Nutzer beispielsweise jederzeit und nahezu überall seinen Kalender anzeigen lassen, um seine Termine zu verwalten, Skizzen oder Notizen machen, Kartenmaterial der Umgebung betrachten oder gestengesteuert Fotos machen.

Hardwarekomponenten von SixthSense ⁵

Gestensteuerung mit SixthSense ⁵

Imaginary Interface

Imaginary Interface ⁶ ist ebenfalls eine Wearable Computing Benutzerschnittstelle und nutzt eine Kamera zur Erfassung von Handgesten, verzichtete aber anders als SixthSense vollständig auf eine Darstellung von Inhalten und erlaubt daher eine sehr kompakte Bauweise, da kein Anzeigegerät erforderlich ist. Durch eine L-Geste mit der nichtdominanten Hand wird eine imaginäre Eingabefläche aufgespannt, auf der dann durch das Zusammenführen von Daumen und Zeigefinger gezeichnet oder geschrieben werden kann. So kann der Nutzer jederzeit  Dokumente zu in seinem aktuellen Umfeld relevanten Themen erstellen. Diese auf einfachen Gesten basierende Form der Interaktion ist leicht erlernbar, jedoch sind komplexe Zeichnungen wegen des fehlenden visuellen Feedbacks schwierig zu realisieren.

Imaginary Interface Hardware ⁷

Skizze mit Imaginary Interface ⁷

Multitoe

Mit Multi Toe ⁸ kann der Benutzer eine Anwendung mit den Füßen steuern. Dazu erfolgt die Interaktion auf einem touchsensitiven Untergrund, der sich wiederum über einem Display befindet. Bei dieser Form der Touchinteraktion treten einige Besonderheiten auf. So hat der Nutzer nahezu dauerhaften Kontakt zur Interaktionsoberfläche. Außerdem ist die Kontakfläche um einiges größer als bei der Touchinteraktion mit Fingern, sodass ein Interaktionspunkt an der Sohle des Benutzers identifiziert werden muss, um eine präzise Bedienung zu gewährleisten. Allerdings bietet Multi Toe auch einige Vorteile gegenüber einer herkömlichen Touchinteraktion mit Fingern. So kann der Nutzer anhand des individuellen Profils seiner Schuhsohle identifiziert werden. Außerdem kann eine Gewichtsverlagerung des Nutzers erkannt werden, wodurch eine differenzierte Touchinterakion mit zusätzlichen Freiheitsgraden erfolgen kann.

Setting für großlächige MultiToe-Interaktion ⁹

Interaktion mit MultiToe ⁹

Wii Gesture Interface

Wii Gesture Interface ¹⁰ ist ein Interaktionsmechanismus zur Steuerung vertikaler Displays durch natürliche Handgesten. Eine Platine mit einer Vielzahl von Infrarot-LED leuchtet dazu den Raum vor dem Display aus. Die reflektierte Infrarotstrahlung wird dann von der Infrarotkamera eines Wii-Remote Controllers  in ein Bild umgewandelt, dass es ermöglicht die Hand des Benutzers und ihre Bewegungen zu identifizieren. Somit können einfache Gesten, wie eine Bewegung der Hand von links nach rechts genutzt werden, um beispielsweise den nächsten Inhalt auszuwählen oder eine Berührungsgeste, um einen Inhalt auszuwählen. Um dann weitere Interaktionsmöglichkeiten zu schaffen und die Präzision der Interaktion zu steigern, kann zusätzlich noch ein weiterer Wii-Remote Controller eingebunden werden, dessen Tasten z.B. mit schwer durch Gesten darstellbaren Aktionen belegt werden können.

WiiMote Test Application

WiiMote in Aktion

Nintendo WiiMote ¹¹

Wii Remote in Nutzung ¹²

Wii-Logo

Wii-Mote Plus ¹³

Nintendo Wii Controller

WiiMote in der Medizin ¹⁴

Remote-Touch Interaktionsmechanismen

Diese Form der alternativen natürlichen Interaktionsmechanismen erfordert keine Präsenz des Nutzers an einem vertikalen oder horizontalen Touchscreen sondern verlagert die direkte Interaktion mit dem System auf das vom Benutzer verwendete Gerät. Zwar erfolgt die Interaktion mit dem verwendeten Interaktionsmechanismus wiederum durch intuitive Touchgesten, jedoch ist der Nutzer nun nicht mehr dazu gezwungen sich zur Interaktion in unmittelbarer Nähe des großen vertikalen Displays aufzuhalten. Auf diese Weise können mehr Nutzer und auch entfernt stehende Nutzer in die Interaktion einbezogen werden. Je nach visuellem Feedback des genutzten Interaktionsmechanismus kann auch eine uneingeschränkte Interaktion wie am großen vertikalen Touchscreen selbst erfolgen. Außerdem ist es mit Remote Touch Interfaces möglich auch Displays, die keine Touchscreen sind mittel touchbasierter Nutzerinteraktion zu steuern.

SecondLight

SecondLight ¹⁵ ist ein von Microsoft auf Basis der Technologie des MS Surface entwickelter Ansatz, der die gleichzeitige Projektion zweier unterschiedlicher Bilder auf die Oberfläche eines horizontalen Displays ermöglicht. Während das eine Bild wie gewohnt auf der Darstellungsfläche des Gerätes angezeigt wird, wird das zweite Bild durch diese Darstellungsfläche hindurch projiziert und kann durch weniger lichtdurchlässige Materialien sichtbar gemacht werden. Dies ermöglicht auch eine Projektion auf in einer geringen Entfernung über dem Gerät befindliche Oberflächen. Zusätzlich können auf diesen entfernten Oberflächen auch Touchinteraktion erfolgen.

SecondLight Hardware ¹⁶

Zweier Bilder gleichzeitig mit SecondLight ¹⁶

Touch Projector

Touch Projector ¹⁷ ist ein Interaktionsmechanismus, der es erlaubt Inhalte auf gewöhnlichen Displays mittels Touchgesten zu manipulieren. Zu diesem Zweck wird das Echtzeitbild der Kamera eines Smartphones genutzt. Die darauf sichtbaren Inhalte, die auf dem herkömmlichen Display dargestellt werden, können nun durch Touchgesten auf dem Display des Smartphones manipuliert werden. Anschließend wird die Veränderung auch auf die Darstellung auf dem herkömmlichen Display übertragen. Dabei werden alle Displays in der Umgebung und das Smartphone über eine Server synchronisiert, was auch das verschieben eines Inhalts von einem Display auf ein anderes ermöglicht. Durch diesen Mechanismus können auch für den Benutzer unzugängliche nicht touchfähige Displays via Touchgesten genutzt werden.

TouchProjector ¹⁸

Displayübergreifende Interaktion ¹⁸

Light Space

Auf den ertsen Blick unterscheidet sich Light Space ¹⁹ nicht wesentlich von andern natürlichen Benutzerschnittstellen. Es bietet sowohl eine horizontale als auch eine vertikale projizierte Darstellungsfläche, auf denen die gewohnten Touchgesten zur Manipulation von Bildinhalten ausgeführt werden können. Die Innovation liegt bei Light Space zwischen den Darstellungsflächen, denn ein dritter Projektor sowie drei  Kameras zur Entfernungsmessung erlauben eine Touchinteraktion auf gewöhnlichen Gegenständen aber auch eine Darstellungsübergreifende Interaktion mit den Inhalten. So kann ein Nutzer einen Inhalt auf der einen Darstelungsfläche berühren, danach die andere Darstellungsfläche berühren und so den Inhalt dorthin zu verschieben. Außerdem kann er einen Inhalt vom Rand der Darstellungsfläche auf seine Hand verschieben, wodurch der Inhalt im Sinne der Augmented Reality zu einem projizierten Ball wird, den der Nutzer auf seinem Arm umherrollen kann oder in die andere Hand bzw. auf einen Gegenstand legen kann. Berührt der Nutzer wiederum mit der Hand ohne Ball eine Darstellungsfläche, wird der durch den Ball repräsentierte Inhalt dorthin verschoben. Des Weiteren können durch die präzise Tiefenwahrnehmung der Anwendung Menüs im Raum platziert werden. Hält der Benutzer seine Hand über einen auf den Boden projizierten Menü Schriftzug, ändert sich die nun auf der Hand befindliche Darstellung je nach Höhe über dem Boden zu einem Menüpunkt, der dann durch das Entfernen der Hand ausgewählt werden kann.

Displayübergreifende Mehrbenutzerinteraktion ²⁰

LightSpace Hardwaresetting ²⁰

Gerätevermittelte Interaktionsmechanismen

Zur Interaktion mit den Device Mediated Interfaces benötigt der Nutzer ein zusätzliches Eingabegerät, das er bei der Interaktion bei sich trägt oder in der Hand hält. Entgegen der indirekten Manipulation mit einer gewöhnlichen Maus, die nur über Sensoren zur Erfassung einer Positionsveränderung in einer zweidimensionalen Ebene verfügt und diese auf den Zeiger überträgt, können die für Device Mediated Interfaces genutzten Interaktionsmechanismen ihre Position im Raum oder relative Lageveränderungen durch zusätzliche optische, gyroskopische oder Beschleunigungssensoren ermitteln. So kann der Nutzer direkt mit Inhalten interagieren, denn wenn er mit dem Gerät auf einen Inhalt zeigt, zeigt auch der Cursor auf dieses Ziel. So wird die natürliche Interaktion des Nutzers über die Sensorik der genutzten Interaktionsmechanismen an den Computer übertragen und dort in entsprechende Manipulationen umgesetzt. Der Interaktionsmechanismus übernimmt sozusagen eine Mediatorrolle zwischen dem Nutzer und dem genutzten System, da er die natürlichen Interaktionen des Nutzers in vom System interpretierbare Manipulationen umwandelt. Außerdem bieten die Zusatztasten des jeweiligen Interaktionsmechanismus die Option Shortcuts für bestimmte Funktionen zu nutzen. Auf diese Weise muss der Nutzer keine komplexen Muster von Manipulationen nachbilden, um das System zu Steuern. Zur weiteren Steigerung der Effizienz der Interaktion sind Device Mediated Interfaces ergonomisch gestaltet, sodass der Nutzer gewissermaßen mit dem Gerät verschmilzt und das Gerät die natürliche Interaktion des Nutzers nicht beeinträchtigt.

Soap

Soap ²¹ ist ein Interaktionsmechanismus, der die Steuerung eines Zeigers zur Nutzung einer Anwendung auf großen vertikalen Wanddisplays ermöglicht. In einer flexiblen Kunststoffhülle befindet sich der optische Sensor einer Mouse sowie eine Taste auf der Rückseite der Platine, die durch die Kunsstoffhülle hindurch betätigt werden kann. Die Kunststoffhülle ist wiederum mit einem dehnbaren Stoffüberzug bespannt. Auf diese Weise kann eine Verschiebung der Stoffhülle durch den optischen Sensor registriert werden und so die Bewegung des Cursors gesteuert werden. Eine schnelle Verschiebung des Cursors hingegen ist in vertikale Richtung durch dauerhaftes fixieren des Gerätes durch Zusammendrücken von Daumen und Zeigefinger oder in horizontale Richtung durch Drehen des Gerätes um die Längsachse ähnlich einem nassen Stück Seife in der Handfläche möglich. Aufgrund dieser Seifenmetapher trägt der Mechanismus auch seinen Namen.

Soap Hardware ²²

Soap zur Steuerung großer Wanddisplays ²²

Brain-Computer Interface

Das Brain-Computer Interface ²³ ist eine Form der Mensch-Computer Interaktion, die auf der Messung von Gehirnströmen basiert. Da dies über an der Kopfhaut platzierte Elektroden geschieht, ist dieser Interaktionsmechanismus im Gegensatz zu den bisher vorgestellten Mechanismen auch für Menschen mit eingeschränkter Bewegungsfähigkeit geeignet. Die Anwendung von McFarland und Wolpaw erlaubt z.B. eine Texteingabe ohne die Nutzung zusätzlicher Eingabegeräte. Auf einem Display wird dazu eine Matrix von Buchstaben angezeigt, von denen jeweils abwechselnde Gruppen aufleuchten. Der Nutzer muss während der Blinksequenz eine Buchstaben mit den Augen fixieren. Da jeder Buchstabe eine individuelle Blinksequenz hat und das Aufleuchten des fixierten Buchstaben mittels EEG gemessen werden kann, ist der vom Nutzer ausgewählte Buchstabe eindeutig bestimmbar. So wird eine Texteingabe allein durch das Anschauen der Buchstabenmatrix möglich. Allerdings ist durch die Dauer der Blinksequenz keine schnelle Eingabe möglich und die für diesen Interaktionsmechanismus benötigte Hardware ist im Vergleich zu den meisten zuvor beschriebenen Prototypen sehr teuer.

Brain-Computer Interface in Nutzung ²⁴

Brain-Computer Interface Hardware ²⁴

Fazit

Fallende Preise durch die kommerzielle Massenfertigung von Sensortechnik wie der Wii-Remote oder der Microsoft Kinect aber auch sinkende Preise bei großen vertikalen Displays oder Projektoren haben dazu beigetragen, dass die Zahl neu entwickelter Interaktionsmechanismen zur Gestaltung der Schnittstelle zwischen Mensch und Computer zunimmt. Da gerade im Bereich der NUI bisher nur wenig Forschungsarbeit im Bezug auf die Standardisierung solcher Nutzerschnittstellen und die Eignung eines Interaktionsmechanismus für die Nutzung in einem bestimmten Anwendungsumfeld oder für eine bestimmt Aufgabe erfolgt ist, müssen zukünftige Arbeiten weitere Erkenntnisse über die Leistungsfähigkeit und Nutzerakzeptanz natürlicher Interaktionsmechnismen liefern. Außerdem haben alle der in diesem Artikel vorgeschlagenen Kategorien von natürlichen Interaktionsmechnismen ihre Vor- und Nachteile, sodass eventuell eine Kombination der Merkmale existierender natürlicher Benutzerschnittstellen oder die Entwicklung neuer Ansätze zur Gestaltung dieser Schnittstellen einen Interaktionsmechnismus hervorbringen, der das Potential hat, eine ähnlich hohe Verbreitung und Nutzerakzeptanz zu erreichen, wie es heute bei Maus und Tastatur für die GUI der Fall ist.

Natürliche Benutzerschnittstellen (engl. „Natural User Interfaces“, kurz NUI) stellen nach der Ära der Kommandozeilenbedienung und der grafischen Benutzeroberflächen eine neue Generation der Mensch-Computer Interaktion (engl. „Human-Computer Interaction“, kurz HCI) dar

Die erste Generation der HCI waren Command-Line Interfaces (CLI). Auf einer monochromen Darstellungsfläche konnte der Benutzer durch eine vorgegebene Menge von Befehlen Manipulationen am System oder den Dateien, die das System enthält, vornehmen. Dabei erforderte diese Form der Interaktion eine strikte Einhaltung der Syntax eines Befehls, sodass der Nutzer nur mit dem Wissen über die verfügbaren Befehle und unter erhöhter Konzentration zur Einhaltung der syntaktischen Vorgaben Manipulationen vornehmen konnte. Die Eingabe erfolgte ausschließlich über eine Tastatur.

Erscheinungsbild eines CLI

Die zweite Generation der Benutzerschnittstellen sind die heute weit verbreiteten grafischen Benutzerschnittstellen (GUI). Neben einer größeren Farbvielfalt sorgten besonders einge Metaphern in der Gestaltung der Darstellung dafür, dass die Bedienung eines Computers deutlich vereinfacht und somit für eine breitere Nutzergruppe zugänglich wurde. So haben die Desktopmetapher, welche die Oberfläche, auf der der Nutzer interagiert einem Schreibtisch nachempfindet und das WIMP-Prinzip, dass die Zusammensetzung der grafischen Komponenten in Fenster (engl. Windows), Symbole (engl. Icons), Menüs (engl. Menus)  und Zeiger bzw. Zeigegeräte (engl. Pointer bzw. Pointing Device) einführte bis heute Bestand. Häufig werden Maus und Tastatur zur Interaktion genutzt.

Erscheinungsbild eines GUI

Die dritte Generation der Benutzerschnittstelle, die erst seit wenigen Jahren unter diesem Begriff eine eigene Entwicklungsrichtung der Gestaltung der HCI darstellt, sind Natural User Interfaces (NUI). Die Gestaltung der Darstellung und der Interaktion solerfolgt hier auf natürliche und intuitive Weise, indem auf Fähigkeiten zurückgreifen wird, die ein Nutzer im Laufe seines Lebens erworben hat. Die Interaktionsmechnismen sind vielfältig und verfolgen unterschiedliche Ansätze, die von Touchscreens über eine Steuerung durch spezielle Zeigegeräte wie der WiiRemote bis hin zu einer Gestensteuerung mit dem gesamten Körper reichen.

Horizontal Experience ¹

Anders als bei den beiden schon seit mehreren Jahrzehnten etablierten Formen der HCI gibt es jedoch wegen der dynamischen Entwicklung im Forschungsfeld NUI innerhalb der vergangenen beiden Jahre noch keine einheitliche, allgemein anerkannte Definition. Nachfolgend werden einige Definitionen vorgestellt, deren enthaltene Ansichten beschrieben und miteineander verglichen werden, um das derzeitige vorherrschende Verständnis von NUI in Wissenschaft und Praxis aufzuzeigen.

Überblick über existierende Definition

Einige der bereits existirenden Definition beziehen sich auf unteschiedliche Konzepte und Theorien und gewichten gemeinsame Aspekte verschieden. Folgende Beispiele verdeutlichen diesen Sachverhalt:

Blake 2010:

A natural user interface is a user interface designed to reuse existing skills for interacting directly with content. [Blake 2010, S. 2] ²

Diese Definition von Joshua Blake enthält folgende Aspekte:

1. Ein NUI ist „designed“. Es bedarf also einer gezielten Gestaltung eines Interaktionmechnismus durch den Entwickler, sodass die Form der Interaktion sowohl für den Nutzer, als auch für den Inhalt und den Kontext geeignet ist.
2. Ein NUI baut auf dem „reuse of existing skills“ auf. Es ermöglicht also die Wiederverwendung von Fähigkeiten, die der Nutzer im Laufe seines Lebens (z.B. bei der zwischenmenschlichen Kommunikation) erworben hat und die es ihm erlauben ein NUI ohne vorherige Anleitung zu nutzen.
3. Ein NUI erlaubt „interacting directly with the content“. Der Nutzer muss also die Möglichkeit haben, Inhalte direkt durch sein Handeln zu manipulieren.

Bollhoefer et al. 2009:

Ein Natural User Interface (NUI) beschreibt ein Interface, welches unmittelbar durch einen oder mehrere Sinne des Benutzers bedient wird. [Bollhoefer et al. 2009, S.6] ³

Bei dieser Definition eines NUI stellen Bollhoefer et al. folgende Aspekte heraus:

1. Die unmittelbare, direkte Interaktion und damit auch eine direkte Manipulation.
2. Die Nutzung eines oder mehrerer Sinne des Benutzers.

Monson-Haefel 2010:

A Natural User Interface is a human-computer interface that models interactions between people and the natural environment. [Monson-Haefel 2010] ⁴

Richard Monson-Haefel stellt also folgende Aspekte heraus:

1. Ein NUI ist eine besondere Ausprägung von HCI.
2. Ein NUI bildet die Interaktion eines Nutzers mit seiner natürlichen Umgebung (Wasser, Bäume, etc.), nicht jedoch mit seiner künstlichen Umgebung (Autos, Computer) ab.

Vergleich der Definitionen

Aus der Tabelle geht hervor, dass lediglich die direkte Manipulation von Inhalten durch die Benutzerinteraktion als gemeinsames Merkmal aller drei Definitionen auftritt. Außerdem beantworten alle Definitionen die Frage, womit aus Sicht des Nutzers interagiert wird (Fähigkeiten, Sinne, natürliches Verhalten), gehen jedoch auf keine konkrete Ausprägung von dieser Interaktion, wie beispielsweise Multi-Touch Interfaces (z.B. MS Surface ⁵, Apple iPhone ⁶, etc.), Gestensteuerung (MS Kinect ⁷, etc.), gerätevermittelte Interaktion (Nintendo WiiRemote ⁸, Air Mouse Konzepte ⁹, etc.) ein.

Fazit

Es existieren bereits einige Definitionen von „Natural User Interface“, die zum Teil Überschneidungen zeigen, zum Teil jedoch auch sehr unterschiedlich Ansätze verfolgen. Daher besteht im Rahmen des wissenschaftlichen Diskurses mit der Materie die Notwendigkeit, eine Definition abzuleiten, die sowohl die Aspekte bereits existierender Definitionen aufgreift, als auch für zukünftige Entwicklungen im Umfeld der NUI ihre Gültigkeit behält.