Auf der MIX11 kündigte Microsoft das Surface 2.0 Software Development Kit für Sommer 2011 an. In der Session A Whole NUI World: Microsoft Surface 2 and Windows Touch stellte Luis Cabrera die neue PixelSense™-Oberfläche und  360° Multiuser Applications anhand eines Prototypen vor. Die neue Technologie lässt auch einen vertikalen Einsatz zu.

Applikationen die mit dem neuen Surface SDK erstellt wurden, lassen sich gleichzeitig mit Surface 2.0 und Windows 7 betreiben: „Write Once Touch Anywhere“. Neben einer Core API mit Zugriff auf die Raw IR Images und Touch Events des Vision Systems, wird es wieder eine WPF API mit neuen Anwendungs-spezifischen Touch Controls geben. Die Hardware umfasst einen AMD Athlon II X2 2.9 GHz Dual-Core mit 4-8 GB RAM, 320 GB HDD, sowie einer AMD Radeon HD 6570M 1 GB GDDR 5 DirectX 11-kompatiblen Grafikkarte mit HMDI-Ein/Ausgang. (Quellen:  ZDNet, Luis Cabrera)

Weitere Highlights von der MIX11:

• Das Kinect for Windows SDK Beta wird noch diesen Frühling erwartet und richtet sich primär an Forschungseinrichtungen. Eine spannende Einsatzmöglichkeit demonstrieren Studenten der Universität Konstanz mit dem NAVI-Projekt, einer Navigationshilfe für Sehbehinderte. (Quelle: Golem.de, DotnetPro).
• Microsoft Expression Sketchflow wurde für Windows Phone 7 angekündigt (Quelle: Clemens Lutsch).
• Scott Guthrie kündigt die Verfügbarkeit von Silverlight 5 Beta an.
  Tim Heuer demonstriert die neuen Features in einem ersten Tutorial.
  Augmented Reality in Silverlight 5 mit dem SLARToolkit (Quelle: René Schulte)
• Der OR-Mapper ADO.NET Entity Framework 4.1 mit Code-First-Unterstützung ist final und kann dank Go-Live-Lizenz produktiv eingesetzt werden.
  (Quelle: ADO.NET team blog)

Multiuser Interaction ¹

Vertical Experience ¹

Horizontal Experience ¹

Surface Anwendung Grandpiano ²

Surface Grandpiano zur Therapie ³

Samsung SUR40 for Microsoft Surface ¹

Surface 1.0 Frontseite

Surface 1.0 Kabelverbindungsplan 1

Surface 1.0 Kabelverbindungsplan 2

Surface 1.0 interne Anschlüsse

Surface 1.0 linke Seite ohne Abdeckung

Surface 1.0 rechte Seite ohne Abdeckung

Surface 1.0 Rückseite

Surface und PixelSense

Application Launcher ¹

Microsoft Surface 1.0 ⁴

PixelSense Anschlüsse 1 ⁵

PixelSense Anschlüsse 2 ⁶

PixelSense Lautsprecher ⁷

PixelSense Ventilationsöffnungen ⁸

123►

Hier Teil 1 unserer Vorstellungsreihe „Microsoft Surface Anwendungen“, in der wir  mehrere Surface Anwendungen kurz vorstellen und ihre Bezugsquellen nennen.
Heute steht die Anwendung GrandPiano aus dem Microsoft Surface SDK im Mittelpunkt.

Diese Anwendung zeigt ein 2 Oktaven umfassendes Klavier, beziehungsweise dessen Tasten. Eine Berührung der Tasten erzeugt den dazugehörigen Ton, so, dass der Anwender kleine Musikstücke auf einem Surface spielen kann.

Basierend auf eigener Erfahrung lässt sich festhalten, dass es sich eher um eine Spaß-Anwendung als um einen Klavierersatz handelt. Trotzdem ist der Spaßfaktor vor allem für Kinder nicht zu unterschätzen.

Die Installation dieser Anwendung erfolgt zusammen mit der Installation des Microsoft Surface SDK, das hier erhältlich ist.

Weite Informationen finden sich u.a. auf der MSDN-Seite zur GrandPiano-Anwendung oder dem MSDN-Bogeintrag zum GrandPiano.

Surface Anwendung Grandpiano ¹

Surface Grandpiano zur Therapie ²

Microsoft Surface Grandpiano

Der Bluetooth Mobile Manager ist eine Anwendung für das Microsoft Surface, die im Sommer 2010 an der Universität der Bundeswehr München in einem Programmierprojekt der Professur für Programmierung kooperativer Systeme an der Fakultät für Informatik entstand. Die Anwendung dient dazu, mobile Endgeräte via Bluetooth in die intuitive Mehrbenutzerinteraktion des Surface einzubinden. Auf diese Weise werden die Vorteile der Steuerung durch Touch-Gesten auf die Interaktion mit den Inhalten auf einem Mobiltelefon übertragen und somit einerseits Medienbrüche umgangen und andereseits die Möglichkeit geschaffen, die Inhalte gemeinsam zu erleben und zu explorieren.

Anbindung von mobilen Endgeräten

Der Bluetooth Mobile Manager stützt sich auf eine von Microsoft herausgegebene Beispielanwendung, das MS Bluetooth Connect Sample ¹

Erscheinungsbild der Microsoft Anwendung ²

Basierend auf der bereits implementierten Bluetoothanbindung für das Surface wurde bei der Weiterentwicklung besonders die Einbeziehung der mobilen Endgeräte in die Nutzerinteraktion als sog. „Tangibles“ und die Visualisierung der Geräte auf dem Surface gegenüber der Microsoft Anwendung verbessert. So verfügt ein mit dem Surface via Bluetooth gepairtes Endgerät beispielsweise über eine eigene, mit dem Gerät verschiebbare visuelle Repräsentation als virtuelle Bedienfläche, die nur angezeigt wird, wenn das mit einem Tag versehene Gerät auf der Oberfläche des Surface platziert wird.

Gepairtes Gerät

Untermenüs für Kontakte und Bilder

09-library-bar-fur-die-kontakte

Verschieben eines Bildes

Kopieren erfolgreich

Interaktion mit den Inhalten auf den mobilen Endgeräten

Die Bedienfläche ermöglicht das Betrachten der Inhalte auf dem mobilen Endgerät und darüber hinaus das intuitive Verschieben und Austauschen dieser Inhalte zwischen verschiedenen Endgeräten oder zwischen einem Endgerät und dem Surface.

Verschieben eines Bildes

Auf diese Weise wird der virtuelle Inhalt für den Benutzer greifbar und die natürliche Interaktion steigert das Interesse, weitere Inhalte zu entdecken oder Inhalte gemeinsam mit anderen Nutzern zu betrachten. Hierdurch verschwimmen die Grenzen zwischen den virtuellen Inhalten auf dem Surface und dem realen Gegenstand, der darauf platziert ist, was letztlich zu einer Verbesserung der soziotechnischen Integration beiträgt.

Kopieren erfolgreich

Die intuitive und natürliche Interaktion wird v.a. dadurch verbessert, dass das Verschieben des physischen mobilen Endgerätes auf der Darstellungsfläche des Surface im Gegensatz zur ursprünglichen Microsoft Version ebenfalls eine Verschiebung der virtuellen Bedienfläche nach sich zieht.

Anwendung nach dem Start

Mobiles Endgerat gefunden

Untermenüs für Kontakte und Bilder

Verschieben eines Bildes

Kopieren erfolgreich

Pairingdialog zur Einbindung neuer Geräte

Um Inhalte von bisher nicht mit dem Surface verbundenen mobilen Endgeräten anzeigen und nutzen zu können, müssen das Gerät und das Surface miteinander gepairt werden. Anschließend ist, wie bei den meisten Bluetooth-Anwendungen für die folgende Benutzerinteraktionen wie beispielsweise das  Verschieben von Inhalten, kein erneuter Verbindungsaufbau notwendig. Der Pairingvorgang selbst, der durch eine automatische Anzeige verfügbarer Geräte in Reichweite des Surface initiiert wird, wird durch eine visuelle Schritt für Schritt Anleitung auf dem Surface zusätzlich unterstützt.

Pairingdialog zu Beginn

Aufforderung zur Eingabe des Pairingcodes

Aufforderung zum Auflegen eines Endgerates

Gepairtes Gerät

Pairinganfrage auf dem Endgerat

Abgrenzung  des Bluetooth Mobile Manager vom MS Mobile Connect Sample

In der nachfolgenden Tabelle werden einige der wesentlichen Unterschiede zwischen der entstandenen Anwendung und der Beispielanwendung von Microsoft gegenübergestellt.

Insbesondere die fixe und in eine Richtung orientierte Darstellung der nur als Icon vorhandenen mobilen Geräte muss als großer Nachteil der Originalanwendung von Microsoft gesehen werden, da er in jeglicher Hinsicht der Forderung direkter Manipulierbarkeit bei einem Natural User Interface widerspricht. In der Aufhebung dieser Interaktionsbarriere ist demnach ein Hauptmehrwert der Weiterentwicklung zu sehen.

Das Projektsetting

Der Bluetooth Mobile Manager auf dem Surface ist das Ergebnis eines Master-Projektes der beiden Wirtschaftsinformatiker Tim Saldik und David Weidt in Kombination mit einem Praktikum der Informatik-Studenten Florian Geißler, Alexander Reeb und Steffen Schurig. Im Rahmen des Masterprojekts wurde die Anwendung zunächst konzipiert und anschließend während des Praktikums umgesetzt. Die Anwendung wurde auf Basis von Scrum entwickelt, wobei ein Sprint eine Dauer von dreieinhalb Tagen hatte und insgesamt sieben Sprints vorgesehen waren. Den Wirtschaftsinformatikern kam dabei die Rolle der “Product Owner” zu, während die Informatiker das Scrum-Team bildeten. Als Scrum Master fungierte zusätzlich der Projektbetreuer Florian Ott.

Die „Militärische Lagekarte“ ist eine Anwendung für das Microsoft Surface, die im Sommer 2010 an der Universität der Bundeswehr München in einem Programmierprojekt der Professur für Programmierung kooperativer Systeme an der Fakultät für Informatik entstand. Sie dient in erster Linie dazu, die herkömmlich genutzten Lagekarten in Papierform zu ersetzen und die Vorteile einer mehrbenutzerfähigen digitalen Karte, wie das schnelle Wechseln des dargestellten Kartenausschnitts oder das Zoomen, zu nutzen und gleichzeitig zu einer besseren soziotechnischen Integration beizutragen.

Ein wesentlicher Vorteil liegt in der digitalen Unterstützung der Auswahl zu setzender taktischer Zeichen.

Flexibel nutzbares Kartenmaterial

Im Gegensatz zu papiergebundenen Karten bietet das Surface die Möglichkeit, verschiedene Kartendienste und Detaillierungsgrade je nach angestrebem Einsatzszweck zu nutzen und ggf. zu kombinieren. Auf der Karte eingetragene Zusatzinformationen bleiben beim Wechseln der Karte entsprechend erhalten.

Papiergebundene Lagekarte ¹

Die Interaktionsmöglichkeiten reichen dabei von einfachen Zoom- und Drehaktionen bis hin zum Setzen und Verschieben komplexer taktischer Zeichen.

Satellitenbild mit Beschriftung

Straßenkarte

Satellitenbild ohne Beschriftung

Buttons zum Wechseln des Kartenmodus

Vergrößern der Karte

Herauszoomen der Karte

Drehen der Karte

Karte bei minimaler Zoomstufe

Taktische Zeichen zur Darstellung der Lage

Das Surface ermöglicht durch die große Zahl an zur Verfügung stehenden, intuitiven Touchgesten eine natürliche, leicht zu erlernende und freudvolle Art der Bedienung der digitalen Karte sowie der darauf platzierten taktischen Zeichen. Die taktischen Zeichen repräsentieren jeweils einen Truppenverband, einzelne Fahrzeuge oder Soldaten.

Einen Eindruck davon, wie taktische Zeichen aufgebaut sind und v.a. wie sie zu konkreten Zeicheninstanzen kombiniert werden können, vermittelt nachfolgende Darstellung:

Bezeichnung	Taktisches Zeichen
Grundzeichen
Panzer
Grenadier
Aufklärer
Panzeraufklärer
Panzergrenadier

Eine mit taktischen Zeichen versehene Lagekarte könnte beispielsweise folgendermaßen aussehen. Dabei steht die Färbung des Zeichens für den Status des repräsentierten Truppenteils mit den Unterscheidungen, freundlich (blau), feindlich (rot), neutral (gelb) und unbekannt (grau).

Verschiedene taktische Zeichen

Setzen taktischer Zeichen

Um schnell durch die Vielzahl von verschiedenen, nach dem oben dargestellten Kombinationsschema modular aufgebauten taktischen Zeichen navigieren zu können, wurde ein kaskadierendes Menü entwickelt. Da es weit über 1.000 verschiedene konkrete taktische Zeichen gibt, zeigt die erste Menüebene jeweils nur die grundlegenden Gattungen an und kaskadiert dann in den folgenden sich automatisch öffnenden Ebenen immer wieder zu konkreteren Instanzen. Hierdurch wird es mit intuitiv verständlichen Mitteln möglich, die ohne ausreichende Übung unüberschaubar große Zahl verfügbarer taktischer Zeichen auf eine kognitiv leicht erfassbare Größenordnung herunterzubrechen.

Auswahl des Zeichentyps

Nichts ist so beständig, wie die Lageänderung – Modifikation von taktischen Zeichen

Durch die Interaktivität des Surface können externe Lageinformationen schnell in die Darstellung auf dem Surface eingebunden werden und von den Nutzern, z.B. den Soldaten in den Führungsstäben der Bundeswehr, zur weiteren Einsatzplanung herangezogen oder zur Planung verschiedener Szenarien modifiziert werden. Auch das Verschieben eines Zeichens auf der Karte kann mit der militärischen Lagekarte auf dem Surface leicht durchgeführt werden, wohingegen ein einmal auf einer Papierkarte eingezeichnetes Zeichen statisch ist und entsprechend nicht mehr modifiziert werden kann.

Verschieben eines taktischen Zeichens

Weitere Interaktionsmöglichkeiten zu taktischen Zeichen

Die folgende Galerie zeigt noch einige weitere Interaktionsmöglichkeiten rund um die Einbindung taktischer Zeichen in die militärische Lagekarte:

Platzieren eines taktischen Zeichens

Platzhalterzeichen eines taktischen Zeichens

Menü zur Auswahl eines taktischen Zeichens

Neutrales taktisches Zeichen

Auswahl des Zeichentyps

Feinselektion des taktischen Zeichens

Zeichen eines neutralen Minenlegers

Verschiedene taktische Zeichen

Miniaturdarstellung der Zeichen

Verschieben eines taktischen Zeichens

Hintergrundinformationen zum Projektsetting

Der Prototyp der militärischen Lagekarte auf dem Surface ist das Ergebnis eines Master-Projektes der beiden Wirtschaftsinformatiker Tim Saldik und David Weidt in Kombination mit einem Praktikum der Informatik-Studenten Ronny Vogel, Steffen Schurig und Richard Krug. Im Rahmen des Masterprojekts wurde die Anwendung zunächst konzipiert und anschließend während des Praktikums auf der Basis InfoStrat.VE ² umgesetzt, das das Kartenmaterial bereitstellte und die Nutzung des Materials auf dem multitouchfähigen Microsoft Surface durch Gestensteuerung ermöglichte. Die Anwendung wurde mittels der agilen Scrum Methode entwickelt, wobei ein Sprint eine Dauer von dreieinhalb Tagen hatte und insgesamt sieben Sprints vorgesehen waren. Den Wirtschaftsinformatikern kam dabei die Rolle der „Product Owner“ zu, während die Informatiker das Scrum-Team bildeten. Als Scrum Master fungierte zusätzlich der Projektbetreuer Florian Ott.

Fraunhofer FIT stellt mit NETme eine Anwendung für Microsoft Surface vor, mit der auf Präsenzveranstaltungen „(soziale) Netwerke interaktiv entdeckt und genutzt werden können“.

Im Vorfeld einer Veranstaltung können sich Personen über ein Web-Formular anmelden und neben den üblichen Angaben zur Person ihre Benutzernamen in Xing, Twitter, Facebook etc. eintragen, ein Foto einstellen sowie weitere Informationen angeben.

Auf der Veranstaltung erhält jeder Teilnehmer ein Namensschild mit einem 2D-Barcode. Legt der Teilnehmer sein Namensschild auf den Tisch, dann sieht er sofort seine Gemeinsamkeiten mit anderen Besuchern der Veranstaltung und kann die gefundenen Kontakte weiter explorieren.

Details siehe unter: http://www.fit.fraunhofer.de/projects/kooperationssysteme/netme.html

NETme Twitter 1 ¹

NETme Twitter 2 ¹

NETme Twitter 3 ¹

NETme Twitter 4 ¹

NETme Namensschild ¹

NETme Beziehungen ¹