Donderdag 26 mei was MCW aanwezig bij een, door Immovator georganiseerde, Masterclass van man-machine interface (MMI) designer John Underkoffler. In een kleinschalige setting in de kelder van het Media Park in Hilversum presenteerde John zijn visie op de toekomst van Media Interfaces. Wij vonden dat interessant, en delen dat graag met jullie!

Bij de naam John Underkoffler gaat misschien niet bij iedereen direct een belletje rinkelen, maar zijn werk ken je vast wel! John is bekend van zijn werk voor de film Minority Report met Tom Cruise in de hoofdrol. Voor deze film was hij verantwoordelijk voor de wijze waarop Tom Cruise informatie vergaard met zijn datagloves en zijn gebaren: het zogeheten G-speak spatial operating environment. Daarnaast was hij wetenschappelijk adviseur voor films als The Hulk en Iron Man.

Designer, entrepeneur en onderzoeker John Underkoffler is, naast de bedenker van de G-speak spatial operating environment, tevens oprichter en CEO van Oblong Industries en ontwikkelaar van het Mezzanine systeem voor meeslepende visuele samenwerking. Hierover later meer.

Video: G-speak spatial operating environment

Volgens John heeft de ontwikkeling van de User Interface (UI) van computers stilgestaan sinds de introductie van de eerste computers. De achterkant van computers heeft grote stappen gemaakt. De UI niet en dat is vreemd. De huidige UI voor iPhones en iPads wordt beperkt door de toegankelijkheid van browsers en andere programma’s. Het brengt ons terug bij af, je kunt maar in 1 programma tegelijk werken. Voor John is het een uitdaging om de manier van interactie met data te veranderen.

Deze uitdaging presenteerde hij aan de hand van 8 gedachten:

1. G-Speak

De uitvinding waar John en zijn bedrijf groot mee zijn geworden is het eerdergenoemde G-Speak waarbij de besturing van computers door middel van gebaren met handschoenen plaatsvindt.

2. Let human hands be human hands!

Onze huidige maatschappij verlangt van ons dat we met computerprogramma’s met behulp van bijvoorbeeld een muis werken, terwijl het voor een mens natuurlijker is om met de handen te werken. Op basis hiervan zijn diverse projecten uitgewerkt waar fysiek en pixels samenkomen.

Video: Fysiek en pixels komen samen

3. Greenhouse

John vroeg de zaal: Waarom stopt UI bij de rand van een beeldscherm? Beeldschermen zijn te klein! Voor het combineren van schermen is Greenhouse ontwikkeld. Greenhouse is een toolkit voor programmeurs om meerdere schermen, meerdere gebruikers en interfaces van meerdere apparaten te besturen met gebaren en ruimtelijke interactie.

4. Communicatie met computers

De gehele menselijke wil wordt door die ene kleine cursor op je beeldscherm weergegeven. Waarom is dit zo beperkt? Waarom zien we niet meer gebaren op het beeldscherm zodat we de computer beter begrijpen? John’s idee is dat de gebruiker te zien krijgt wat de computer begrijpt van de input, zodat de gebruiker de computer beter leert kennen.

5. Film als input en output

We kunnen een hoop leren van de gaming industrie. Waar film normaal gesproken slechts uit passieve output bestaat, kan de gamingwereld ons veel leren over de toegankelijkheid van digitale omgevingen. Spelers kunnen hier ontdekken, bouwen, aanvullen etc.

6. Iphones zijn klein, te klein!

We bouwen architectuur voor de menselijke gebruiken van die ruimte. Waarom doen we dat ook niet met de computeromgeving? Ons menselijk brein begrijpt omgevingen beter dan de weergave hiervan op een klein scherm. We moeten mensen daarom fysiek in de dataomgeving brengen. Wanneer mensen zich in de dataomgeving bevinden worden patronen beter, sneller en natuurlijker waargenomen. Wanneer artsen zich fysiek in het brein van een patiënt bevinden, door de hersenscans weer te geven over meerdere grote monitoren en hierin te ‘wandelen’ door middel van gebaren, kan onderzoek beter en effectiever plaatsvinden.

7. Een nieuwe taal

Voor de film Minority Report werd John gevraagd om een futuristische wereld te bedenken. Niet slechts de locaties waar gefilmd zou worden, maar alles er omheen. Een totale omgeving dus. De enige echte Steven Spielberg vroeg dit om de toekomstige wereld in te kunnen stappen. Hierbij wilde hij de computers van de toekomst zien, hij hoopte dat al die kleine schermen dan nergens meer te vinden zijn. Elke acteur onderging hiervoor een training in de fictieve wereld om de G-Speak besturing onder de knie te krijgen. UI moet gaan bestaan uit een taal van gebaren die berekeningen aansturen, zoals in de film.

Video: Minority Report

8. Delen van pixels

Mezzanine is het nieuwste concept van Oblong Industries en draait om de samenwerking met computers. Bekijk in de film hieronder hoe dat eruit kan zien.

Video: Mezzanine