Augmented reality - bättre än på riktigt

Mannen på bilden har en parabolantenn på huvudet. På ryggen hänger omkring 30 kilo elektronik, bland annat datorer, kompasser och gps-mottagare.

- Den sociala och mentala kostnaden för att köra augmented reality var väldigt hög för tio år sedan, konstaterar Alex Olwal och bläddrar vidare i bildspelet på datorn.

Idag är det billigare, både mentalt och räknat i kronor. Jag träffar Alex Olwal på hans kontor på Kungliga Tekniska Högskolan i Stockholm. Han är forskaren som fyllt sitt rum med mobiltelefoner och kopplat dem på alla tänkbara sätt till alla möjliga prylar.

I somras disputerade han inom området augmented reality, och han menar att 2009 är året då augmented reality fick sitt genombrott. För dig som, likt de flesta andra, inte har en aning om vad augmented reality är kan vi börja redan på 80-talet.

Mobilen kompletterar den upplysta skärmen med högre upplösning och bättre ljusstyrka. Dessutom kan mobilen användas för inmatning på skärmen. LightSense kallas projektet, ett av många av Alex Olwal. www.olwal.com/?lightsense

Virtual reality

Med en hjälm på huvudet och uppkopplade handskar på händerna skulle vi möta framtiden. De flesta känner nog igen bilder av människor som står och vevar i luften utan att egentligen verka uträtta något eller ha någon aning om vad som händer omkring dem.

Men i både filmer och nyhetsinslag matades vi med denna framtidsvision, datorgrafik över ett rum där man kunde röra sig genom att vrida på huvudet och med specialhandskarna även röra vid saker som inte fanns. Den otroliga utvecklingen av datorkraft skulle bara öka och användningsmöjligheterna var obegränsade.

Och visst har datorkraften ökat, och samtidigt har komponenterna blivit mindre. De travar av telefoner som ligger i lådor, hyllor och på bord på Alex Olwals bord är tydliga bevis på det.

Men den virtuella verkligheten flyttade aldrig in i stugorna. Det var väl inte så lockande att umgås med en Stormtrooper-hjälm på knoppen helt enkelt. Och det tar ju en hel del kraft att rita upp hela världen runt dig med en dator. Det är här det svåruttalade fenomenet augmented reality kliver in i bilden.

LUMAR är utvecklat av Alex Olwal (KTH) och Anders Henrysson (Linköpings universitet).

www.olwal.com/?lumar

Använd verkligheten

Varför sitta och bygga upp en hel värld i grafik när den redan finns där? Nej, en av huvudpoängerna med augmented reality är att man använder verkligheten.

- Den finns ju redan där i hög upplösning, med detaljrikedom och flera dimensioner. Använder vi den som grund är en stor del av jobbet redan gjort, säger Alex.

Augmented betyder förstärkt, och det är just vad man gör. Du tar verkligheten och lägger på ytterligare lager med information på den. Förstärker verkligheten.

- Om vi hade haft möjlighet till ett oändligt intag av sinnesintryck hade det här inte behövts, säger Alex.

Men nu är vi inte obegränsade. Därför finns det en poäng med att koppla ihop den verkliga världen med den digitala. Och gör man det kallas det alltså för augmented reality.

- Det handlar om att se bortom sina mänskliga begränsningar, säger Alex poetiskt.

Sedan visar han ett konkret exempel i ena hörnet av sitt rum. En upplyst röntgenbild visar benstommen hos ett djur på en skärm. Men bilden är inte särkilt skarp och tydlig. Men när Alex lägger en telefon över bilden får han upp en mer ljusstark och skarp bild på telefonens skärm.

- Man använder telefonens ljusstyrka och höga upplösning för att lägga till mer information till bilden, säger Alex.

Samtidigt ritar han något på mobilens skärm och när han flyttar den finns en cirkel på skärmen där röntgenbilden visas. Man kan alltså även använda telefonen för att mata in text eller anteckningar på den andra skärmen.

Hybrid Surface (www.olwal.com/?hybridsurface) är ett interaktivt ljusbord där du kan mata in text eller rita med hjälp av mobilens pekskärm.

Lägg till det du behöver

Med augmented reality tar man alltså den verkliga världen som grundplåt. Sedan lägger man till lager med digital information. Det kan låta flummigt, men är i själva verket konkret. Det kan handla om att få information om en vara, vägvisning eller förlägga handlingen i ett spel till rummet omkring dig. Och idag är mobiltelefonen det perfekta verktyget för att göra detta.

Alex sitter i sitt arbetsrum bland genomskinliga skärmar, projektorer, kameror och givetvis telefoner. Han är avspänd med tekniken och medan han pratar petar han på en mobilskärm här och knappar in något på en av otaliga datorer där. Först lite snack, sedan en hel del verkstad har vi sagt. Och medan han berättar om sin forskning drar han igång allt fler grejer runt oss i rummet.

På ett bord ligger ett papper med en skiss på en lägenhet. När Alex håller upp en Nokiatelefon med en viss programvara i får han skissen i 3d i telefonens skärm. När man rör sig runt skärmen följer också perspektivet med och vi tittar in i lägenheten snett ovanifrån från olika håll.

För att något ska kallas för augmented reality ska tre krav uppfyllas, berättar Alex med en Sony Ericsson P1 i handen. Det första är att man ska få sinnesintryck från verkligheten och det digitala på samma gång. Det andra är att de båda världarna ska matcha rent geometriskt, och det tredje är att det ska ske i realtid.

Vi tar en bit i taget. Börjar vi med sinnesintrycken så handlar det till största delen om synen. För att se både verkligheten och det digitala på samma gång måste de läggas på varandra, och då behöver vi någon form av skärm. Där ska världen omkring oss, exempelvis en gata, kombineras med digital information, till exempel information om vilka butiker och restauranger som finns och var de ligger. Vi ska alltså titta framför oss och se både verkligt och digitalt på samma gång.

Det andra kravet är att de båda världarna ska matcha varandra, du ska alltså ha samma perspektiv på de båda lagren. Går du runt ett bord ser du det från olika håll, står det en digital modell av något på bordet ska du även röra dig runt denna. Det ska alltså inte handla om en endimensionell bild som hoppar runt i den tredimensionella verkligheten.

Slutligen ska det ske i realtid. Det ska alltså inte handla om inspelningar som visas i efterhand. Då kan du inte interagera med det som sker på skärmen och påverka det som händer. Nej, allt ska ske just i detta nu och det ställer förstås vissa krav på utrustningen som man använder för att förstärka verkligheten.

HybridSurface. Utvecklat av Alex Olwal med studenterna Fernando Diaz, Dimitrios Lachanas, Fotios Stergiou och Ermioni Zacharouli. www.olwal.com/?hybridsurface

Mobilen som glasögon

Ska du lägga på ett digitalt lager som stämmer perfekt med verkligheten omkring dig ställs det höga krav på positioneringen. Det fina med moderna mobiltelefoner har all den teknik som behövs inbyggd i ett format bra mycket mindre än den tio år gamla gigantiska utrustning som fanns på bilderna Alex visade mig.

Om du till exempel vill kunna lägga ett lager med information om gatan du rör dig på genom att hålla upp telefonen framför dig måste telefonen veta var du är och i vilken riktning du tittar. Det första steget är att positioneras genom gps eller genom triangulering via mobilmaster. När du har en noggrann position krävs en kompass för att avgöra åt vilket håll du riktar telefonen så att rätt information hamnar på rätt adress. Till sist används telefonens rörelsesensor för att avgöra i vilken riktning du tittar vertikalt. Fågel, fisk eller mitt emellan?

Den här tekniken handlar alltså inte om att telefonen ska känna igen omgivningen, utan om att den vet var du är och vart du vänder dig och sedan presenterar relevant information.

Detta kan du testa genom att köra programmet Wikitude i Iphone eller en Androidtelefon. Då håller du upp telefonen framför dig och får sökresultat på skärmen. Begränsningen idag är att det är för få sökresultat inlagda, i Stockholms innerstad får jag både upp ett par hotell i närheten samt skidanläggningar i Jämtland. Lite trubbigt verktyg, med andra ord.

Ett annat sätt är att låta telefonen analysera bilder av omgivningen för att sedan kunna känna igen sig. Alex ger som ett tänkbart exempel att man avgränsar sökområdet med gps och sedan jämför med till exempel Google Streetview med bilder från gatuvyer. Det skulle gå att göra, problemet blir förstås att överföra de stora mängder data som skulle behövas och få det att fungera utan stora fördröjningar. Ska du positionerna, filma, skicka data att jämföra, analysera och skicka tillbaks och rita upp grafik 30 gånger i sekunden som är det vanliga antalet bildrutor per sekund i film blir det snabbt övermäktigt.

Det finns sätt att kompelettera det hela, genom exempelvis markörer på byggnader eller butiker som telefonen känner igen, antingen med hjälp av kameran eller genom att det upprättas kontakt genom någon form av nätverk.

- Sen måste man ju fundera på vad som händer om det till exempel är mörkt, om man har byggt om ett kvarter eller om något skymmer sikten för kameran, säger Alex.

Det finns med andra ord mycket som kan störa positioneringen.

Alex roterar bilden genom pekskärmen, via mobilen eller fritt i luften tack vare 3d-kameran under skärmen. Från projektet ASTOR av Alex Olwal, Jonny Gustafsson och Lars Mattson. (KTH). www.olwal.com/?astor

Vilken skärm?

Men det finns ytterligare ett område där man ställs inför olika problem beroende på vad man väljer, och det är skärmtekniken. Antingen väljer du att använda mobilens kamera och presentera omgivningen via video på skärmen. Eller så väljer du att använda en genomskinlig skärm där du ser omgivningen på riktigt och lägger på det digitala på en yta som påminner om glas eller klar plast.

Använder du videofunktionen ärver du de nackdelar som kameran dras med. Det är bland annat fördröjning i bilden och att det drar en hel del processorkraft. En genomskinlig skärm har nackdelen att även grafiken blir lite genomskinlig och det blir svårare få det verkliga och digitala att smälta samman.

Men teknikerna har förstås sina fördelar också. En genomskinlig skärm sänker inte upplösningen på omgivningen, och kostnaden för optiken blir minimal. Video å sin sida ger dig möjlighet att manipulera pixlarna som du vill. Du får också fördelen att om positioneringen är lite fördröjd kan du även fördröja bilden med motsvarande millisekunder så att det hela är synkroniserat.

En kändis från rymden som 3d-skulptur projicerad på en genomskinlig pekskärm. Från projektet ASTOR av Alex Olwal, Jonny Gustafsson och Lars Mattson. (KTH). www.olwal.com/?astor

Förstärkt verklighet i verkligheten

Hitills har vi bara snackat. Men Alex har, tillsammans med andra, utvecklat en hel del tillämpningar för förstärkt verklighet, både i och med hjälp av mobilen. I en del av lokalen står en märkligt riggad skärm som består av dubbla glasytor och en projektorer som lyser på dem. Det är ett samarbete med Institutionen för Industriell produktion på KTH. På skärmen visas en tredimensionell bild som du kan rotera genom att peka på skärmen. Som om det inte vore nog kan du även röra bilden genom att koppla din mobil trådlöst till systemet och snurra bilden via pekskärmen eller ett skrollhjul. Känns inte detta tillräckligt futuristiskt har Alex även en 3d-kamera kopplad till det hela som gör att du kan röra objektet på skärmen bara genom att vifta med handen i luften framför kameran.

En av bilderna föreställer en skulptur från Vasaskeppet, i 3d-versionen kan man komplettera trasiga delar och låta besökaren vrida och vända på den digitala träbiten bäst man vill med hjälp av mobilen. Man kan också tänka sig att man kompletterar delar som saknas på exempelvis en skulptur och bygger upp dem digitalt.

Ett tidigt projekt för Alex är en karta över tunnelbanenätet som ser ut som de vanliga stiliserade kartorna med röd, grön och blå linje. Men när du för din telefon över kartan får du upp detaljerad informatioen i telefonens skärm. Man skulle även kunna lägga in information om när nästa tåg går från en viss station eller störningar i trafiken.

I ett annat hörn står ett bord med en stor skärm inbyggd. Alex tar en bild på mig, sedan pekar han på skärmen i bordet och lutar telefonen som att han ska hälla ned något i bordet. Och vips så ligger bilden han just tog på mig i skärmen på bordet. Sedan växlar han till en karta på skärmen och visar hur flera telefoner kan vara kopplade till kartan. På mobilerna visas satellitbilder som är synkade med kartan på skärmen. Du kan mata in text på skärmkartan från din mobil och även peka dig runt med mobilens hjälp, praktiskt om man är flera som ska diskutera exempelvis en karta.

Många användningsområden

Navigering är ett tydlig exempel där augmented reality är användbart, exempelvis att visa kartan på rutan i en bil istället för på en liten skärm som du måste titta ned på. Det kan också vara lättare få vägvisning med en karta i mobilen där du inte tittar på kartan ovanifrån utan håller luren framför dig och får anvisningar fram mellan husen i det perspektiv du har framför nosen.

Det ställer alltså höga krav på positionering, men tekniken som behövs finns redan i flera telefoner. Alex tror att ju fler enheter som dyker upp bland befolkningen desto snabbare kommer utvecklingen att gå. En sak som skulle underlätta är förstås bättre priser på datatrafik och högre hastigheter till mobilen eftersom det kostar en hel del att överföra mycket information. Sedan behövs också mer innehåll, du vill ju hellre ha information om hotell i närheten när du står i centrala Stockholm, hellre än rum i en skidort 350 kilometer bort. Och även om mobilen är bäst just nu kanske vi i framtiden inte vill gå och hålla en skärm framför ansiktet och få en moderna form av musarm. Uppkopplade glasögon eller kontaktlinser kanske är smidigare som skärmar.

Nästa stora tekniksteg är enligt Alex att koppla upp sig mot alla teknikprylar du har omkring dig. Då får mobilerna ännu större möjlighet att kommunicera och ge oss information om verkligheten omkring oss.

- Jag tror att mobilen kommer att gå från att vara en enkel processor till att vara ett gränssnitt, ett operativsystem, mellan dig, verkligheten och den digitala världen, säger Alex.