Tag Archive

Die aktuelle Ausgabe des Wii Magazin 06/2008 berichtet über den 28-jährigen Johnny Chung Lee, Doktorand am Human-Computer Interaction Institute an der Carnegie Mellon University in Pittsburgh. Er stellte Anfang 2008 eine eigens entwickelte Wii-Steuerung vor, indem er die Wii-Steuerung einfach umkehrte! (wir berichteten)

Die Idee die ihn berühmt machte: Johnny Lee nutze die integrierte Infrarotkamera in der Wiimote einfach andersrum:
Anstatt die Wiimote in die Hand zu nehmen, platzierte er diese vor den Fernseher und bewegte stattdessen die Sensorleiste, die widerrum mit 2 Infrarotlichtern ausgerüstet ist. Wenn man nun die Sensorleiste bewegt, registriert die Wiimote die Position der Leiste relativ zum Bildschirm. Den entstehenden Effekt demonstrierte Lee mit einer eigens entwickelten Software mit 2D-Objekten. Durch die Umkehr der Eingabegeräte entstand der Eindruck, eines Pseudo-3Ds. (Das Video dazu gibts in dem schon besagten Eintrag)

Das ganze wurde dann von vielen als Inspirationsquelle genutzt und ein Head-Tracking ohne Wii und nur mittels einer Webcam entwickelt. Hier mal ein Beispiel, das dieses System auf einem kleinen MacBook demonstiert:

In einem weiteren Experiment versorgte Johnny Lee die WiiMote mit einem stärkeren Sensor und klebte sich Reflektoren an die Finger: herausgekommen war dann das hier:



Das wirklich tolle an der Sache sind die Selbstbauanleitungen dazu, die man auf Lee´s Website findet…Hier schonmal DIE IDEE für die nächste Generation der Spielkonsolen: Man stattet einen Raum mit mehreren Sendern aus, sodass die Spielkonsole die eigene Postion im Raum registrieren kann. Da sag ich doch einfach: Wozu WiiMotionPlus, wenn man seinen Gegner im Streetfighter direkt mit einem gezielten Tritt in die Knie zwingen kann!

Kritisch betrachtet wäre selbst bei einer 360° Lösung das wirkliche Feedback ein Problem, denn wenn unsere Faust im Spiel auf den gegnerischen Kopf prallt, dann sollte nicht nur die Spielfaust aufprallen, sondern auch unsere eigene, da sonst weiterhin Synchronisationsprobleme entstehen.

Es gibt zwar schon ein paar Ansätze, ein haptisches Feeback zu bieten (also nicht direkt für die Wii, sondern allgemein), allerdings beruhen die immer darauf, dass die Finger immer irgendwo eingespannt sind. Wie zum Beispiel bei dieser Lösung

Wir berichteten auch schon einmal ausführlicher darüber hier.

Aber wie man schon sieht, nichts für den “Hausgebrauch” und wirklich mehr was für den wissenschaftlichen, industriellen Einsatz. Beispielsweise zu Steuerung eines Robotors in lebensfeindlichen Umgebungen.

Ein Lösung, die wir da eher für denkbar halten ist eine “losgelöste” Erweiterung der Controller. Ein ersten Schritt in diese Richtung hat dazu Wissenschaftler des Japan’s National Institute of Advanced Industrial Science and Technology (AIST) unternommen. Der von ihnen entwickelte “GyroCubeSensuous” enthält Motoren und Gewichte, die entsprechen der virtuellen Umgebung verlagert werden. So das, bezogen auf ein Wii-Box-Spiel, gegen meine zuschlagende Faust eine Kraft dagegen hält. Hier mal eine völlig gewaltlose Präsentation des Systems:

Weitere Infos dazu auf der (leider nur englischen) Seite: http://techon.nikkeibp.co.jp/english/NEWS_EN/20050413/103707/?ST=english

… und wenn wir uns trauen noch einen Schritt weiter zu denken, dann wäre auch ein direktes physisches Feedback auf die Muskeln möglich. Basis dafür könnte die Electrostimulation sein, die die meisten wohl aus dem Nachtprogramm kennen:

Diese Technologie könnte es schaffen, das ich (um beim Beispiel Boxspiel zu bleiben) wenn ich auf etwas draufhaue auch gestoppt werde und den Wiederstand spüre. … Allerdings würden wir dieses Konzept gerne noch mal von einen Physiotherapeuten beurteilen lassen

Alles was danach kommt, um mich die Virtualität wirklich spüren zu lassen, würde dann wohl in die Richtung direkt Gehirnstimulation gehen, über die wir ja auch schon berichtet haben.

Es bleibt also spannend bei diesem Thema / Fragestellung, die nicht nur die Spieleindustrie in den nächsten Jahren maßgeblich beschäftigen wird …

Tags: 3D, animation, augmented reality, bedienung, design, desktop, display, E3, echtzeit, einfach, eingabesystem, eye-tracking, fernbedienung, head-tracking, interaktion, interface, Live, Nintendo, software, TV, virtuell, wii

Über mobile Augmented Reality haben wir ja schon mehrfach berichtet (siehe z.B. hier und hier). Jetzt ist diese Technologie auch auf dem iPhone angekommen – was in Verbindung mit dem großem und vor allem multitouchfähig Display interessante neue Interaktionsformen ermöglichen könnte. Insbesondere im Bereich “dreidimensionale Location Based Services Anwendungen”.

Bisher hat das ganze nur noch einen entscheidenden Haken – es ist mit sehr wenigen Bilder pro Sekunde (fast schon pro Minute) noch enorm langsam, wie man in dieser allerersten Version sehen kann:

Aktuell warten die Entwickler noch auf die Freigabe der Videoschnittstelle seitens Apple, dann sollen auch Bildraten von bis zu 20-30 Bilder pro Sekunde erreicht werden.

Insbesondere für Service-Techniker könnte dies dann ein vergleichsweise kostengünstiges Werkzeug werden. Wenn dann zum Beispiel dem T-Com-Mitarbeiter über sein „Betriebshandy“, per Online-Verbindung die aktuellen Schaltpläne, für den Verteiler vor dem er gerade steht, bekommt …

Nur mal zur Erinnerung, BMW hat ja seine Version dazu schon vor ein paar Jahren vorgestellt:

Mehr (leider nur englische) Infos zur Augmented Reality Technologie auf dem iPhone unter: www.artoolworks.com/ARToolKit_iPhone.html

Tags: 3D, apple, augmented_reality, bwm, display, echtzeit, eingabesystem, forschung, HCI, head-tracking, interface, MMI, software, UID, virtuell

Das Gesichtserkennungsprogramme nicht nur für biometrische Analysen und Sicherheitsanwendungen genutzt werden können, sondern zudem schon länger in der Lage sind, auch die Emotionen eines Nutzers zu erkennen, ist bekannt.

Nun macht die University of California, San Diego, mit einem besonders genauen System und einer sehr interessanten Anwendung auf sich aufmerksam. Die Wissenschaftler um Jacob Whitehill haben die Emotionserkennung für ein eLearning-System verwendet, um so festzustellen, ob der Student mit der gestellten Aufgabe bzw. Lerninhalt überfordert ist oder nicht. Damit soll autonomes Lernen mit einer Software weiter verbessert werden, damit nicht immer neues Material präsentiert wird, obwohl der Nutzer „noch nicht mal“ den vorhergehenden Stoff kapiert hat.

Die gesamte (leider nur englische) Studie zum Projekt kann unter folgender Adresse heruntergeladen werden: http://mplab.ucsd.edu/~jake/its08.pdf

Eine weitere Möglichkeit festzustellen, wie gestresst der Nutzer gerade von den Aufgaben ist, wäre noch die Auswertung von Biofeedbackdaten. Dies ist jedoch bedeutend komplexer, da externe Sensoren benötigt werden, die dann über einen Controller per USB an den Rechner angeschlossen werden. Mal abgesehen von BCI-Anwendungen (die auch in die Kategorie gehören), ist mir bisher auch nur eine amerikanische Software bekannt, die dies aktiv nutzt. Bei dem Computerspiel „Wild Devine“ wird dies mit Atmungs-, Meditations- und Relaxübungen zum Stressmanagement genutzt:

Mehr Infos unter: www.wilddivine.com

Tags: , analyse, einfach, eingabesystem, eLearning, forschung, gesichtserkennung, HCI, head-tracking, interface, MMI, software, UID, Usability

Erstmal nichts spektakuläres, wenn man dann aber die Kamera in ein Fahrzeug montiert und den Fahrer über eine Fernsteuerung das Vehikel bedienen lässt, dann hat man laut den Angaben des Herstellers nur noch eine 5- bis 10-prozentige Verschlechterung, als wenn man selber im Fahrzeug sitzen würde.

Im Vergleich dazu ist eine Bedienung über eine „feste Kamera + nur Joystick – Steuerung“ etwa um 70 Prozent schlechter.

Tja, und was kann man mit so einer tollen Erkenntnis als erstes bauen?
Natürlich ein perfektes Kampffahrzeug!

Für mich als Pazifisten ist das Video eine absolute Zumutung!

Einzig tröstend ist, dass diese militärische Entwicklung, mal wieder den Weg bereitet für daraus abgeleitet zivile/kommerzielle Produkte, wie beispielsweise ferngesteuerte Roboter für Feuerwehr, Abwasseranlagen, Kampfmittelbeseitigung, Unterwassereinsätze und wo sonst noch kein Mensch reinpasst oder sein Leben riskieren möchte …

In diesem Sinne,

Der Friede ist das Meisterstück der Vernunft. (Immanuel Kant)

Tags: , Assistenzsystem, auto, echtzeit, eingabesystem, fernbedienung, forschung, HCI, head-tracking, interface, MMI

… um genau zu sein: nicht Kunst, sondern eine Art “Werbeform”. Aber laut KSK ist das ja sowieso alles eins.
Denn um ganz genau zu sein: hinter dem Projekt steckt die “kreativste Werbeagentur Deutschlands” Jung von Matt.

Mit ihrem Projekt “nextwall” wollen diese “street art” mit “digital media” kombinieren. Dafür haben sie sich jede Menge bekannter Graffiti-Künstler eingeladen und experimentieren mit diesen gerade fleißig herum.

Ein Ergebnis dieser Forschungen ist zum Beispiel “Tagged in Motion”. Bei diesem wurde “Star-Sprayer” DAIM mit Markern versehen, um seine Position mittels mehrerer Kameras dreidimensional bestimmen zu können. Ebenso bekam er eine virutelle Sprühdose in die Hand gedrückt, die ebenfalls erfasst wurde. Aber alles weitere erklärt auch wunderbar folgendes Video:

Mehr zum Projekt unter: www.nextwall.de

Tags: 3D, augmented_reality, design, eingabesystem, forschung, head-tracking, interface, schreiben, virtuell, visualisierung

Und schon wieder muss ich auf einen kurzen veröffentlichten Eintrag verweisen. Vielleicht erinnert ihr euch noch an das 3D-Eingabesystem von 3dvsystems.com? (Wenn nicht, einfach noch mal hier klicken). Bei diesem System wurde ja über Infrarotimpulse der Raum aufgenommen, so das Bewegungen dreidimensional “getrackt” werden können.

Das es noch etwas einfacher geht, zeigt das Projekt “HIJT”. Das für “Haptic Interface And Joints Tracking” stehende System, basiert auf einer einfachen Webcam und einer Software die beliebige Objekte nachverfolgen kann. Somit kann auch deren Veränderung im Raum erkannt werden und das wiederum im Umkehrschluss für eine Navigation genutzt werden, wie im folgenden Video gut zu sehen ist:

Ursprünglich wurde das System zur Überwachung von Brücken entwickelt, welches Alarm schlägt, wenn die Bewegung der Brücke über einen bestimmten Parameter hinaus geht. Ein anderes Anwendungsfeld ist das Motion Capturing von Personen, um so Avatare in Videospielen oder anderen virtuellen Umgebungen zu steuern.

Der Link zu den Leuten hinter der Idee: www.thinkthing.net

Tags: , 3D, augmented_reality, bluebox, display, echtzeit, eingabesystem, forschung, HCI, head-tracking, interface, MMI, software, UID, virtuell

Anfang des letzten Jahres hatte ich ja schon einmal für ergonomischere Küchen plädiert. Wenn man sich noch mal das Bild von dem damaligen Eintrag anschaut, weiß man auch gleich wieder warum.

Das es “mit Hilfe der modernen Technik” auch völlig anders und vor allem automatisch an den Nutzer anpassend geht, zeigt die Studie “SmartSink”. Also die richtig “pfiffige Spüle”
Das von den MIT-Studenten Leonardo Bonanni, Chia-Hsun Lee, Sam Sarcia und Jon Wetzel entwickelte Spülbecken verwendet dafür eine ganz normale Webcam, die über eine grobe Gesichtserkennung die Augenhöhe und somit Körpergröße ermitteln kann. Aus diesem Wert wird dann die optimale Arbeitshöhe berechnet und das Spülbecken justiert sich dann genau auf diese. (siehe Video) An dieser Stelle verweise ich auch gerne mal wieder auf einen “literarischen Klassiker”, der mir schon oft treue Dienste erwiesen hat: die “Kleine Ergonomische Datensammlung” – sollte in keinem Regal eines Gestalters fehlen.

Zurück zur Spüle: Diese besitzt nämlich neben der automatischen Körpergrößenanpassung noch weitere “Schmankeln”. So wird beispielsweise über eine weitere Kamera erkannt, ob es sich um Gemüse oder einen Topf in der Spüle handelt und somit auch automatisch gleich die richtige Wassertemperatur gewählt. Alles weitere dazu im Video …

Mehr Infos im (leider nur englischen) Abstract unter:
web.media.mit.edu/~jackylee/publication/lbr-477-bonanni.pdf

Tags: , barrierefreiheit, design, einfach, head-tracking, interface, MMI, UID, Usability

Gestern hatte ich ja schon vom Hauptgrund meiner Singapur-Reise berichtet, heute nun der Hinweis auf zwei Ausstellungen, die man sich als Interaction Designer nicht entgehen lassen sollte – einziger Harken: beide in Singapur. Aber zumindest bezüglich der “DAT – Digital Art & Technology” gibt es noch eine Alternative, aber dazu gleich mehr.

Beginnen wir zunächst mit dem Tipp Nr. 1 – Das Singapore Science Centre
Wer in Deutschland das SPECTRUM – also, das Science Center im Deutschen Technikmuseum Berlin oder das Universum Science Center in Bremen oder phaeno, das Science Center in Wolfsburg kennt, der wird vieles altbekanntes wieder entdecken, aber auch einiges neues. Abgesehen von der bunteren Aufmachung …

… sind hier insbesondere die digitalen Arbeiten hervorzuheben. Bei denen merkt man sehr deutlich den Einfluss vom Mixed Reality Lab Singapur (siehe dazu auch hier), die dort regelmäßig mit Ausstellungen vertreten sind. Womit wir auch schon beim Thema sind.

 

Ein schönes “Mixed Reality”-Exponat ist dort ein Lernsystem für chinesische Wörter. Diese hält man einfach vor den Monitor und schon wird einem das entsprechende Schriftzeichen in 3D auf der Karte angezeigt und vorgelesen.

Derartige Sachen gibt es noch unzählige mehr. Unter anderem kann man auch einen eigenes personalisierten RFID-Chip erstellen und dann mit den Exponaten interagieren.

 

Ganz auf Spaßfaktor war dafür diese Wand ausgelegt, die die eigenen Bewegung erkannt hat und dann mit unterschiedlichen Effekten in Lebensgröße und Echtzeit wiedergegeben hat.

 

Auch ein großer Spaß, insbesondere für die “Kiddis”, digitale Klötze “wegkicken” …

 

… oder (mit typisch asiatisch verspielten Grafiken) á la EyeToys digitalen Kopfball spielen.

 

Eine sehr effektive Art, um durch GoogeEarth/Maps zu navigieren war noch dieser Tisch, der mich etwas an den Globe 4D erinnert hat. Durch kippen des Tisches konnte man die Karte bewegen und wenn man den ganzen Tisch drehte: rein- und rauszoomen.

 
So, kommen wir aber nun zum Highlight:
die DAT – Digital Art & Technology Ausstellung
Womit ich auch schon bei der versprochenen Alternative bin. Denn man muss nicht unbedingt den weiten Weg nach Singapur antreten, um zwar nicht die selben, aber zumindest genau so spannende Exponate mit allen Sinnen zu erfahren. Denn die DAT ist genau genommen eine bunt zusammengestellte Ausstellung von Installationen der Ars Eletronica. Insofern kann man auch in das “Museum der Zukunft” nach Linz reisen und wird dort eine bestimmt ähnlich tolle “Erfahrung” machen.
Trotzdem kurz drei exemplarische Höhepunkte aus den etwa dreißig Ausstellungsstücken.

 

So zum Beispiel diese Uhr. Im Außenring die Sekunden, dann Minuten und Stunden. In der Mitte ist eine kleine Kamera, die alles aufzeichnet was sich vor Ihrer Linse bewegt. Wenn man genau hinschaut, sieht man mich auch noch dort im äußeren Ring stehen und bei den Minuten -gerade schon so- als schwarzen Balken.

 

Für jeden der schon einmal seine Identität ändern wollte, gab es dieses Projekt. Wie man im Vordergrund sieht, braucht man sich nur einen Marker auf den Kopf setzen und schon wurden die Kopfbewegungen erkannt. Verbunden mit einem Videosignal wurde dann einfach der eigene Kopf gegen einen fremden Kopf ausgetauscht. Also, für alle die das Gefühl nicht kennen, nach einer durchzechten Nacht in ein völlig fremdes Spiegelbild zu schauen, ist das ein wirklich Alternative

 

Abschließend noch eine einfache, aber ebenso geniale Idee. Da ich als Strohwitwer praktisch immer allein schlafe, würde ich mir gerne “Telematic Dreaming” für zu Hause wünschen. Bei diesem sind zwei Doppelbetten per Videoübertragung verbunden und der jeweils auf der anderen Seite liegende wird entsprechenden projiziert. Das schaft eine spannende Nähe und ein komisches Gefühl. Denn man kann direkt miteinander interagieren, aber das haptische Gefühl ist völlig widersprüchlich zum Gesehenen.

Die gesamte (leider nur englische) Übersicht aller Exponate und Infos zu Ausstellung findet man hier:
www.aec.at/singapore_dat07/en/projects01.asp

Tags: , 3D, augmented_reality, bluebox, design, display, echtzeit, eingabesystem, forschung, google, GUI, HCI, head-tracking, interface, MMI, RFID, schroeder-wendt, software, touchscreen, UID, virtuell, visualisierung

Es ist noch gar nicht so lange her, da hatten wir über ein Projekt von NTT DoCoMo berichtet, das einen “virtuelles Händeschütteln” mit einem entfernten Gesprächspartner erlaubt. Nun setzten unsere japanischen Forscher noch eins drauf und präsentieren einen ganzen Roboter mit dem interagieren kann.

Den auf U-Tsu-Shi-O-Mi getauften ?interaktiven ?Mixed Reality? humanoiden Roboter?, wird dazu mittels eines Head-Mounted-Display, ein dreidimensionaler Avatar ?draufgemapt?. Die virtuelle Figur bewegt sich dabei natürlich synchron mit dem physischen Roboter, so dass tatsächlich ein Händeschütteln möglich ist.

Wenn die Forscher dieses Entwicklungstempo beibehalten, freue ich mich schon auf die nächste Meldung von NTT in ein paar Monaten. Wahrscheinlich besteht dann die grüne “Froschhaut? des Roboters aus einem flexiblen OLED-Display, so das die Textur direkt ?draufgemapt? werden kann.

Mehr (leider nur englisch/japanische) Infos unter: http://wingover.jp/

Tags: , 3D, augmented_reality, echtzeit, eingabesystem, head-tracking, interface, MMI, NTT-DoCoMo, UID, virtuell