Tag Archive

Nicht nur bei solchen serverbasierten Systemen, wie gestern vorgestellt, auch bei den Echtzeitsystemen hat sich in den letzten Zeit viel getan. So hat beispielsweise Entwickler Matt Herzog eine Gesichtserkennung für die Webcam in Flash implementiert:

Die Hintergründe und den SourceCode dazu kann man hier finden:
www.squidder.com/2009/02/26/realtime-face-detection-in-flash/

Einen ersten Test á la Johnny Lee hat damit schon Mrdoob programmiert, der hier zu sehen

und hier selbst zu testen ist:
http://mrdoob.com/lab/webcam/face_driven_3d/

Wie man sieht, noch ziemlich unzuverlässig, aber der Grundstein ist gelegt. Ich denke, nun ist es an uns Interaktionsdesignern das Potential der Technik zu erkennen und gekonnt anzuwenden.

Übrigens, seit kurzem gibt es von der schwedischen Softwarefirma TAT auch einen ähnlichen Prototyp für Mobiltelefone.

Eine schöne Unterstützung von GUI Metaphern, aber die „Killer-App“ lässt bei diesen ersten zarten Schritten natürlich noch auf sich warten.

Tags: applikation, augmented reality, echtzeit, eingabesystem, Handy, interaction design, interaktion, interface, Live, mobiltelefon, Usability, visualisierung

Meiner Meinung nach wird einer der großen Trends in den nächsten Jahren: Objekte vor die Webcam halten, diese werden dann erkannt und in eine virtuelle Umgebung integriert.
Wie das aussehen kann, war schon einmal gut hier in diesem Beitrag zu sehen – nämlich bei Sonys angekündigtem Spiel “EyePet”.

Wer den Erscheinungstermin nicht mehr abwarten kann, dem sei das Spiel Mightier empfohlen, das diese Technologie schon heute zeigt – und vor allem kostenfrei als Freeware. Einen kleinen Eindruck davon im folgenden Video:

Herunterladen kann man das Spiel unter folgender Adresse:

www.ratloop.com/?games/mightier

Auf den ersten Blick etwas einfacher, aber trotzdem nicht minder effektvoll ist die Technologie der japanischen Firma MotionProtrait. Diese haben sich darauf spezialisiert Fotos Leben einzuhauchen. Um mal einen Eindruck davon zu bekommen, habe ich für euch mal bei einer Webseite, die diese Technik einsetzt mitgefilmt. Und was bietet sich bei mir Glatzkopf nicht besser an, als die japanische Webseite von Schwarzkopf, auf der man Frisuren testen kann:

An der Bewegung sieht man toll, wie die Kopfform, Augen etc. erkannt werden und so animiert werden können. Wer das mal selber testen möchte, hier die URL: https://virtual-preview.com/LE/

Wer’s lieber in deutsch mag, dem sei die Seite von AXE Instinct empfohlen, wo euer Foto in ein Live Rock-Video integriert wird – inklusive Mimik-Änderung! Sehr beeindruckend:

Selber testen unter:

www.kissmyaxe.de

Tags: 3D, applikation, augmented reality, bedienung, echtzeit, eingabesystem, interaction design, interaktion, interface, Live, software, sony, UID, virtuell, visualisierung

Auch auf die Gefahr hin, das ihr es nicht mehr hören könnt, aber es gibt mal wieder interessantes aus dem Augmented Reality Bereich. Gut, ich bräuchte ja nicht darüber berichten, aber ich bin nach wie vor der Meinung dass dies zukünftig mit einer der spannendsten Bereiche bei den Web- und Mobile-Interfaces sein wird.

Jedenfalls bin ich gerade frisch zurück aus München, wo ich einmal in die Heiligen Hallen von metaio, einen der führenden deutschen Anbieter, blicken durfte. Einigen dürften diese schon durch das AR-Buch und diverse andere AR-Projekte bekannt sein. Auch ein aktuelles Produkt der Firma ist nicht minder interessant. Denn für Lego haben diese ein Terminal realisert, bei dem man einfach die Packung vor die Kamera hält und schon erscheint in dem virtuellen Spiegelbild ein 3D-Model, das man mittels der Packung frei bewegen kann.

Denkt man an der Stelle mal ein wenig weiter, so freue ich mich doch schon auf den Lego-Katalog den ich einfach vor meine Webcam lege und mit dem ich dann ganz einfach durch die 3D-Modelle blättern und interagieren kann.

Aber nicht nur ein Pappkarton kann bei AR zur Interaktion genutzt werden, auch komplexere Formen – wie zum Beispiel ein Gesicht. So gibt es aktuell auf der amerikanischen Ray-Ban Webseite ein Programm namens “Virutal Mirror”. Mit diesem ist es möglich, in Echtzeit verschiedene Modelle des Brillenherstellers auf sein Gesicht zu projizieren.

Dieses und das Lego-Terminal sind zwei schöne Beispiele dafür, das zukünftig nicht zwingender Weise immer ein AR-Marker benötigt werden. Die Mustererkennung bei Gegenständen oder eben Gesichtern wird immer besser, auch wenn Sie heute noch nicht an die Präzision eines hochkontrastigen, schwarz-weißen Quadrates mit scharfen Ecken herankommt.

Dafür steht zwischen diesen vielen Möglichkeiten allerdings oftmals noch eine ganz andere “nutzerunfreundliche Kette von Schritten”, wie zum Beispiel das Herunterladen und die Installation einer speziellen Software. Das auch dies in Zukunft immer einfacher wird, zeigen erste Ansätze mit Plugins direkt im Webbrowser. Hier auch noch einmal ein Beispiel aus dem Hause metaio, bei dem man lediglich eine Printanzeige vor eine entsprechende Webseite halten braucht:

Eine ganze Reihe von ähnlichen Beispielen auf Flash-Basis, wurden vor kurzem zu Weihnachten von verschiedenen Agenturen präsentiert, hier mal drei Beispiele, die erste interessante Interaktionsmöglichkeiten zeigen:

Spannend sind auch erste Experimente mit physischen Verhaltensweisen, wie zum Beispiel diese Stoffsimulation:

Wenn diese Entwicklung in dem Tempo so weiter geht (und die Nutzer immer fleißig ihre Rechner upgraden ) dann können wir bald mit der Konzeption völlig neuer, webcambasierter Webseitenkonzepte beginnen … aber dazu ein ander Mal mehr.

Abschließend noch ein paar Literaturtips. Leider gibt es bisher nicht so viel deutschsprachige Literatur, aber der auf Uni-Ablussarbeiten spezialisierte VDM Verlag hat schon einige Titel in seinem Portofolio siehe hier. Allerdings ist das englischsprachige Angebot bedeutend größer siehe hier

PS. Und damit ich nicht morgen schon wieder was zum Thema AR poste, hier noch ein Hinweis auf einen sehr interessanten Prototypen. Dieser ist ein wenig eine Kreuzung aus einem System von der Uni Toronto, das wir 2007 mal vorgestellt haben (siehe hier) und Wikitude (welches wir ja vor kurzem vorgestellt hatten).

Das besondere an dieser Lösung ist, dass ich meine Daten direkt auf Objekte projizieren kann. Der im letzten Jahr von Johannes Schöning an der Universität Münster entwickelte Prototyp aus einem Nokia N95, in Verbindung mit einem Aiptek mobile Projektor, hat eine Mustererkennungssoftware, so dass eine hinterlegte Landkarte “wiedererkannt” werden kann und somit zusätzliche bzw. die gesuchten Informationen auf die Karte eingeblendet werden können. Aber mehr dazu im Video:

Mehr Infos unter: www.johannesschoening.de

Tags: applikation, Assistenzsystem, augmented reality, echtzeit, einfach, eingabesystem, Handy, interaction design, interaktion, interface, lesen, Live, mobiltelefon, touchscreen, Usability, visualisierung

Ok, einen hab’ ich noch, aber dann war’s das erstmal zum Thema AR

Im Juli hatten wir noch darüber berichtet, wie es wäre einen portablen „Dr. Know“ zu haben, der uns automatisch Informationen zu unserer Umgebung bietet (siehe hier). Also eine Augmented Reality ganz ohne Marker, Brille usw. – nur draufhalten und Zusatzinfos bekommen.

Als ersten, allerdings sehr zeitverzögerten, Schritt in diese Richtung hatten wir ja schon mal die ViPR-Technologie vorgestellt (siehe hier). Nun gibt es allerdings seit kurzem ein Projekt, das dies in Echtzeit schafft, zumindest für Sehenswürdigkeiten: Wikitude.

Bei diesem Konzept, von den österreichischen Entwicklern von Mobilizy, handelt es sich um eine Verknüpfung von Wikipedia, Panoramio Fotos und GPS-Daten. Das bisher nur für Mobiltelefone mit Android OS verfügbare Programm, überprüft den aktuellen Standort per GPS und analysiert die von der integrierten Kamera aufgenommen Bilder nach bekannten Formen (Skylines, Muster etc.). Sobald etwas erkannt wurde, werden für den Bereich die zusätzlichen Informationen angezeigt. Genaueres im Video:

Einfach nur beeindruckend.

Mehr Infos unter: www.mobilizy.com/wikitude.php

Tags: android, applikation, Assistenzsystem, augmented reality, echtzeit, einfach, eingabesystem, Handy, interaction design, interaktion, interface, lesen, Live, mobiltelefon, touchscreen, Usability, visualisierung

Vielen Dank an Jan vom Augmented Reality Blog für den Hinweis, auf ein brandaktuelles Video zu der im letzten Beitrag erwähnten Premiere auf der Buchmesse.

In diesem ist das von metaio für den Verlag Wissen Media / arsEdition entwickelte AR-Buch „Aliens & UFOs“ zu sehen:

Mehr Infos dazu bei
metaio
wissenmedia

oder direkt zum Buch bei amazon.de

Tags: 3D, applikation, Assistenzsystem, augmented reality, bedienung, bedienungsanleitung, desktop, echtzeit, eingabesystem, eLearning, interaction design, interaktion, interface, lesen, Live, software, UID, virtuell, visualisierung

… also, genau wörtlich genommen ist es ab dem 19. Oktober bei Amazon (Japan), für rund 73 Euro „im Lager“. Die Rede ist von dem ersten Augmented Reality Spiel für den Massenmarkt/normalen PC: 
ARis (Alice)

Das aus „westlicher Sicht“ eher sehr befremdliche Spiel, benötigt dafür nur einen normalen PC mit Webcam, der Rest geschieht über den mitgelieferten Würfel plus eine Art Zeigestock und noch drei Aktionskarten.
Das Konzept basiert auf einer virtuellen Spielfigur, die durch die Webcam auf bzw. um den Würfel erscheint und mit der man interagieren kann. Also eine Art „Sims“ auf dem eigenen Schreibtisch:

Zwar nicht für den Massenmarkt, aber dafür schon bedeutend früher, hatte Sony ein Spiel für Playstation-Besitzer veröffentlicht: Eye Of Judgement. Hier gibt es keinen Würfel, sondern „nur“ Karten auf einen Spielbrett, die „zum Leben erweckt“ werden können:

Ab 2009 legt dann Sony mit EyePet in punkto AR richtig los, hier schon mal ein kleiner Vorgeschmack darauf:

Also, wie man sieht, zieht die „Erweiterte Realität“ langsam ins Wohnzimmer ein.

Wer so etwas mal selber erfahren möchte, dem sei ein Besuch auf der morgen beginnenden Frankfurter Buchmesse empfohlen. Auf dieser wird Metaio, ein auf Augmented-Reality-Lösungen spezialisiertes Unternehmen, zusammen mit dem Bertelsmann-Verlag/Wissen Media Verlag den„Großen Weltatlas“ mit AR-Möglichkeiten vorstellen. Das sieht dann ungefähr so aus:

Den nächsten Schritt hat Metaio auch schon präsentiert: Die Steuerung von Grafiken:

… und in Verbindung mit Abenteuer-Büchern, mal in die Rolle des Helden zu schlüpfen:

Ich denke, das ist wirklich eine Nische in die gedruckte Lexika gut gehen können. Diese schlagen somit eine Brücke zwischen On- und Offline-Welt und werden zum „Interaktionsbuch“. Somit kann ich mit physisch vorhandenen Gegenständen, die auf meinem Schreibtisch zu virtuellen Welten werden, interagieren. So ein „Erlebnis“ zur Wissensvermittlung kann eine Webseite nur schwer bieten.
… und an der Stelle sind dann wir Interaction Designer wieder gefragt, denn bisher ist es ja oft nur Effekthascherei. Wenn dieser erste WOW-Effekt vorbei ist, wird die didaktische Aufbereitung und Wissenvermittlung über die kleinen Pappkarten gefragt sein.
… ich könnte mir da zum Beispiel sehr gut einen virtuellen Chemiebaukasten vorstellen, in dem dann auch mal die Sachen drin sind, die man sonst nicht frei vertreiben darf

PS. … und was gibt es bei der mobilen AR neues?. Aktuell plant das französische Unternehmen „int13 production“ auch gerade ein AR-Spiel, welches allerdings auf einem Mobiltelefon laufen soll:

Wer den WOW-Effekt übrigens mal selber auf seinem Handy haben möchte, dem sei das „Virtual Sculpture Project“ empfohlen. Nähreres dazu auf dieser (leider nur englischen) Seite ganz unten.
Dort ist dann auch der Link zu der Seite http://virtual.extra.hu/ zu finden, auf der ihr die Applikation und den Marker runterladen könnt.

Tags: 3D, applikation, Assistenzsystem, augmented reality, bedienung, bedienungsanleitung, desktop, echtzeit, eingabesystem, eLearning, Handy, interaction design, interaktion, interface, lesen, Live, mobiltelefon, software, sony, UID, virtuell, visualisierung

Die aktuelle Ausgabe des Wii Magazin 06/2008 berichtet über den 28-jährigen Johnny Chung Lee, Doktorand am Human-Computer Interaction Institute an der Carnegie Mellon University in Pittsburgh. Er stellte Anfang 2008 eine eigens entwickelte Wii-Steuerung vor, indem er die Wii-Steuerung einfach umkehrte! (wir berichteten)

Die Idee die ihn berühmt machte: Johnny Lee nutze die integrierte Infrarotkamera in der Wiimote einfach andersrum:
Anstatt die Wiimote in die Hand zu nehmen, platzierte er diese vor den Fernseher und bewegte stattdessen die Sensorleiste, die widerrum mit 2 Infrarotlichtern ausgerüstet ist. Wenn man nun die Sensorleiste bewegt, registriert die Wiimote die Position der Leiste relativ zum Bildschirm. Den entstehenden Effekt demonstrierte Lee mit einer eigens entwickelten Software mit 2D-Objekten. Durch die Umkehr der Eingabegeräte entstand der Eindruck, eines Pseudo-3Ds. (Das Video dazu gibts in dem schon besagten Eintrag)

Das ganze wurde dann von vielen als Inspirationsquelle genutzt und ein Head-Tracking ohne Wii und nur mittels einer Webcam entwickelt. Hier mal ein Beispiel, das dieses System auf einem kleinen MacBook demonstiert:

In einem weiteren Experiment versorgte Johnny Lee die WiiMote mit einem stärkeren Sensor und klebte sich Reflektoren an die Finger: herausgekommen war dann das hier:



Das wirklich tolle an der Sache sind die Selbstbauanleitungen dazu, die man auf Lee´s Website findet…Hier schonmal DIE IDEE für die nächste Generation der Spielkonsolen: Man stattet einen Raum mit mehreren Sendern aus, sodass die Spielkonsole die eigene Postion im Raum registrieren kann. Da sag ich doch einfach: Wozu WiiMotionPlus, wenn man seinen Gegner im Streetfighter direkt mit einem gezielten Tritt in die Knie zwingen kann!

Kritisch betrachtet wäre selbst bei einer 360° Lösung das wirkliche Feedback ein Problem, denn wenn unsere Faust im Spiel auf den gegnerischen Kopf prallt, dann sollte nicht nur die Spielfaust aufprallen, sondern auch unsere eigene, da sonst weiterhin Synchronisationsprobleme entstehen.

Es gibt zwar schon ein paar Ansätze, ein haptisches Feeback zu bieten (also nicht direkt für die Wii, sondern allgemein), allerdings beruhen die immer darauf, dass die Finger immer irgendwo eingespannt sind. Wie zum Beispiel bei dieser Lösung

Wir berichteten auch schon einmal ausführlicher darüber hier.

Aber wie man schon sieht, nichts für den “Hausgebrauch” und wirklich mehr was für den wissenschaftlichen, industriellen Einsatz. Beispielsweise zu Steuerung eines Robotors in lebensfeindlichen Umgebungen.

Ein Lösung, die wir da eher für denkbar halten ist eine “losgelöste” Erweiterung der Controller. Ein ersten Schritt in diese Richtung hat dazu Wissenschaftler des Japan’s National Institute of Advanced Industrial Science and Technology (AIST) unternommen. Der von ihnen entwickelte “GyroCubeSensuous” enthält Motoren und Gewichte, die entsprechen der virtuellen Umgebung verlagert werden. So das, bezogen auf ein Wii-Box-Spiel, gegen meine zuschlagende Faust eine Kraft dagegen hält. Hier mal eine völlig gewaltlose Präsentation des Systems:

Weitere Infos dazu auf der (leider nur englischen) Seite: http://techon.nikkeibp.co.jp/english/NEWS_EN/20050413/103707/?ST=english

… und wenn wir uns trauen noch einen Schritt weiter zu denken, dann wäre auch ein direktes physisches Feedback auf die Muskeln möglich. Basis dafür könnte die Electrostimulation sein, die die meisten wohl aus dem Nachtprogramm kennen:

Diese Technologie könnte es schaffen, das ich (um beim Beispiel Boxspiel zu bleiben) wenn ich auf etwas draufhaue auch gestoppt werde und den Wiederstand spüre. … Allerdings würden wir dieses Konzept gerne noch mal von einen Physiotherapeuten beurteilen lassen

Alles was danach kommt, um mich die Virtualität wirklich spüren zu lassen, würde dann wohl in die Richtung direkt Gehirnstimulation gehen, über die wir ja auch schon berichtet haben.

Es bleibt also spannend bei diesem Thema / Fragestellung, die nicht nur die Spieleindustrie in den nächsten Jahren maßgeblich beschäftigen wird …

Tags: 3D, animation, augmented reality, bedienung, design, desktop, display, E3, echtzeit, einfach, eingabesystem, eye-tracking, fernbedienung, head-tracking, interaktion, interface, Live, Nintendo, software, TV, virtuell, wii

… dann könnte da vielleicht ein “All-In-One-Device” rauskommen, welches kürzlich der japanische Designer Mac Funamizu in seinem Blog “petitinvention” vorgestellt hat. Das dargestellte Zukunftsszenario beschreibt ein Gerät, welches mittels Touchscreen, Built-In Camera, Scanner und Zugriff auf diverse Datenbank der perfekte Dr. Know für unterwegs sein könnte.

Wie auf seiner Seite zu sehen ist …

… wird die Umgebung analysiert und “augmented”. So zum Beispiel als “Innen-Geo-Informationssystem”, welches Möglichkeiten bietet, sich z.B.: in öffentlichen Gebäuden wie Flughafen, Bahnhof oder Krankenhaus durch Echtzeit-Anzeige zurechtzufinden. Sehr sinnvoll beispielsweise bei Notfallsituationen, um den kürzesten Weg hinaus zu finden.

Auch auf der Seite …

… die Möglichkeiten die sich für den Einsatz eines solchen Interfaces bieten, wie hier z.B.: das simultanes Übersetzen von fremdsprachigen Texten. Mit einem eingebauten Scanner können ebenso einzelne Wörter in ihrer Bedeutung nachgeschlagen werden.

Sehr naheliegend ist natürlich auch der Einsatz als Realbild-Navigationssystem, wie in einem unserer früheren Beiträge oder hier schön zu sehen ist.

Ich könnte jetzt noch unzählige Möglichkeiten aufzählen, um nur ein paar davon zu nennen: das Nachschlagen von Automarken, Tierarten- und gattungen, exotischen Früchten, Kalorienangaben, Sternenkonstellationen; das Vorhersagen des Wetters an einem spezifischen Ort und und und … (das die Forschung bei derartigen System schon ziemlich weit ist, haben wir ja vor kurzem auch hier gezeigt)

Die Realisierbarkeit einer solchen Mensch-Maschine-Daten-Schnittstelle wäre natürlich phantastisch. Machbar wäre heute auch schon vieles. Die Knackpunkte liegen aber eindeutig in den Standards. Wie könnte ein universelle Schnittstelle zum Datenaustausch eines jeden Hauses aussehen (für die Anzeige von Rauminformationen etc.)?
Weiterer “Stolperstein”: für eine derartige Darstellung müsste fortwährend exakt die Postion der Augen gemessen werden und darauf hin die Anzeige angepasst werden.

Insofern müssen wir wohl noch “ein wenig” Geduld haben …

Weitere Infos und noch viel mehr Bildmaterial findet ihr unter:
flickr.com/photos/mac_fun/

Tags: applikation, Assistenzsystem, augmented reality, bedienung, bedienungsanleitung, desktop, display, echtzeit, einfach, eingabesystem, Handy, interaction design, interaktion, interface, lesen, Live, mobiltelefon, touchscreen, Usability, visualisierung

Was zunächst aussieht wie ein weiterer “augmentierter” Funktionsprototyp mit 3D-Interface unter vielen anderen, ist in Wirklichkeit das Ergebnis eines einzelnen Hobbybastlers (Kyle McDonald). Die Materialliste für sein 3D-Tic Tac Toe ist erstaunlich kurz: Aluminiumfolie, sechs Widerstände, Kabel, ein Pappkarton und ein Arduino Prozessor. Umgesetzt wurde das Konzept mit Processing, einer Open-Source Umgebung zum programmieren von Bildern, Animation und Interaktion. Besonders Studenten, Künstler, Designer und natürlich Hobbybastler nutzen diese Programmiersprache um ihren Prototypen “Leben einzuhauchen”, siehe:www.processing.org

DIY 3D Interface: Tic Tac Toe from Kyle McDonald on Vimeo.

Der Arduino spuckt dabei Roh-Koordinaten aus, die alle 10 mal pro Sekunden aktualisiert werden. In dem Videobeitrag hat man teilweise das Gefühl, dass das Video die Hand führt anstatt andersherum. Die Ursache dafür ist wahrscheinlich, dass die 2 Videoquellen ( Webcam / Processing-Umgebung ) nicht optimal miteinander synchronisiert sind.
Abschließend denke ich, (abgesehen davon, dass dreidimensionales Tic Tac Toe ein wirklich unfaires Spiel ist), dass Arduino; eine kompatible Programmierumgebung; und ein paar “Haushaltsartikel” doch gute (und günstige) Möglichkeit bieten, um die eigene Kreativität in funktionierende 3D-Interfaces umzusetzen.

Mehr (englische) Informationen dazu bekommt ihr unter: www.gizmodo.com

Tags: 3D, analyse, arduino, augmented reality, bedienung, design, display, echtzeit, eingabesystem, interface, Live, software, touchscreen, virtuell, visualisierung