Tekniken bakom bästa bilden

– Skillnaden mellan mobilkameror och små kompaktkameror har nästan suddats ut, menar Fredrik Kahl, professor och ledare för forskargruppen Bildanalys och datorseende på Chalmers Tekniska Högskola. För 10 år sedan var både kameraupplösningen och hastigheten – antalet bilder per sekund från kameran – hinder för att utveckla intressanta appar, men idag är det utvecklarnas fantasi och skicklighet som sätter gränserna. 

Så har det inte alltid sett ut. De första kameramobilerna som gjorde ordentliga avtryck i försäljningssiffrorna dök upp omkring 2002–2003. Modeller som Nokia 7650 och Sony Ericsson T610 levererade bilder på mellan 0,1 och 0,3 megapixel. Bilderna såg bra ut på dåtidens mobilskärmar med upplösningar som 128 x 128 eller 176 x 208 pixel, men för den som lyckades tanka över bilderna till datorn levererade den första generationens kameramobiler sällan några filer som platsade i andra mappar än papperskorgen.

Sensorn – digitalkamerans filmrulle

De första kameramobilerna – precis som andra typer av digitalkameror i början av 2000-talet – använde antingen CCD- (charged couple device) eller CMOS-teknik (complementary metal–oxide–semiconductor). CCD-sensorerna fanns i de flesta kompakta digitalkameror och användes också i kameramobiler som Sony Ericsson S700 och LG KG920. CMOS-tekniken har alltid varit den vanligaste tekniken i mobilen och dominerar helt idag, men i mobilkamerornas barndom gick diskussionerna höga mellan CCD- och CMOS-anhängare. Nästan som mellan Android- och Ios-lägren idag. Så vad skiljer teknikerna åt? 

CCD-tekniken har sitt ursprung i ett experiment i slutet av 1960-talet där forskarna Willard Boyle och George E. Smith upptäckte att den logikkrets de arbetade med – en typ av så kallat shiftregister – påverkades av ljus. Shiftregister är en sorts minneskrets där man lagrar eller läser en bit i taget, men Boyle och Smith upptäckte att minnet samlade på sig information helt på egen hand beroende på belysningen.

Ytan på CCD-kretsen består av små kondensatorer som var och en kan innehålla en viss laddning. Laddningen påverkas av den fotoelektriska effekten – ljusets fotoner kan alltså förändra energin hos elektronerna i materialet så att det uppstår en elektrisk ström. Det unika med CCD-kretsen var att varje ljuskänslig punkt inte behövde ha egna elektriska anslutningar, utan laddningen hoppar från kondensator till kondensator och gör det möjligt att ”tanka ur” informationen från ett hörn på sensorn. För att läsa av bilden hämtas laddningen i varje punkt från sensorn till en analog-digital-omvandlare som omvandlar laddningens storlek – alltså styrkan på ljuset som nått just den punkten – till ett digitalt värde. När en rad lästs av töms kondensatorerna vilket får resten av laddningen på sensorn att hoppa ett steg närmare kanten och digitaliseringen kan fortsätta. 

CCD-sensorer tillverkas i en speciell process för att skapa ytan som gör det möjligt för laddningen i varje pixel att flytta sig vid avläsningen. Kretsarna som förstärker och digitaliserar signalen måste tillverkas i en annan process och byggs samman med sensorn senare i produktionen. Det är en avgörande skillnad mot CMOS-sensorerna som istället tillverkas på exakt samma sätt som exempelvis processorer, minnen och många andra typer av integrerade kretsar. Det gör att hela CMOS-sensorn – inklusive förstärkare, AD-omvandlare och andra kretsar – går att tillverka på ett enda stycke kisel. Tillverkningen av CMOS-sensorerna blir därmed väldigt mycket enklare och billigare jämfört med CCD. CMOS-tekniken ger snabbare överföring av bildinformationen – ett måste för högupplöst video – och är dessutom väldigt strömsnål. En CCD-sensor kan behöva upp till 100 gånger mer energi för att leverera en bild med samma pixelantal. 

Den faktor som gjort att många mobiltillverkare ändå använt CCD-sensorer i sina lurar och som gjort det möjligt för tekniken att leva kvar betydligt längre i vanliga digitalkameror är prestandan. På en CCD-sensor består nästan hela ytan av den aktiva komponenten som omvandlar ljus till elektricitet. Alla andra delar sitter utanför själva sensorytan. På de flesta CMOS-sensorer finns andra funktioner insprängda på ytan – förstärkare, AD-omvandlare och de elektriska ledningar som bygger upp sensorns rader och kolumner av bildpunkter. Förhållandet mellan den ljuskänsliga ytan och andra komponenter kallas ”fill factor” och CCD-sensorer har alltså generellt betydligt högre fill factor än CMOS-sensorer vilket innebär att en större del av ljuset fångas upp och används för att skapa bilden. För att kompensera för ljuset som hamnar utanför de känsliga ytorna på CMOS-sensorn måste man skruva upp förstärkningen – vilket i sin tur leder till mer brus. Det är det som gett CCD-sensorerna ett historiskt övertag när det gäller prestandan.

Tillverkningsprocesserna för CMOS-kretsar går snabbt framåt och en funktion som för 15 år sedan behövde 250 nanometer på sensorns yta behöver idag knappt en tiondel så stor plats. Det gör att CMOS-sensorernas fill factor har kunnat förbättras samtidigt som andra tekniker för att reducera bruset har blivit mer effektiva. Numera kan man välja en CMOS-sensor utan att behöva kompromissa med bildkvaliteten.

I senare generationer av CMOS-sensorerna har tillverkarna nästan helt lyckats komma tillrätta med problemen med fill factor. Ett första steg var BSI-sensorer (backside illumination). Det kan låta konstigt att sensorn vänder baksidan mot ljuset, men lösningen går ut på att man under tillverkningen lägger alla elektriska anslutningar rakt ovanpå sensorns ljuskänsliga delar och därefter tunnar ut undersidan så att den blir nästan helt genomskinlig. Sensorns baksida vid tillverkningen blir alltså den sida som vänds mot linsen i den färdiga kameran. Iphone 4 och Sony Ericsson Xperia Arc – båda med Sony Exmor R-sensorer – var tidigt ute med BSI-tekniken.

Nästa steg är att ta bort hjälpkretsarna helt från sensorytan. Lösningen är att tillverka sensorn i flera lager – en så kallad stacked CMOS. Sensorn får mycket hög fill factor tack vare att förstärkare, AD-omvandlare och anslutningar flyttas ur ljusets väg. Hela kameradelen får dessutom mindre yttermått tack vare att man kan lägga logik och eventuell processor för bildbehandling under, istället för vid sidan av, sensorytan. Sonys Exmor RS-sensor, som finns ibland annat i Xperia Z och Xperia SP, är byggd med stacked CMOS.

Linser fångar in ljuset

Bildkvaliteten är inte bara beroende av sensorn – mobilen behöver också ett objektiv. Objektivets uppgift är att fokusera ljuset från motivet på sensorns yta. Om objektivets linser sitter helt fast i förhållande till sensorn har kameran så kallad fixfokus. En fixfokuskamera behöver mycket ljus och ger bäst bilder på lite längre avstånd. Föra att ge skärpa både i närbilder och för landskap eller gruppfoton krävs ett objektiv med linser som går att justera. Några mobiler har haft manuell fokus – till exempel Nokia N80 där man kunde välja mellan närbilds- och avståndsläge. Idag är det vanligast med autofokus – små motorer som justerar linsen tills bilden blir skarp. Svårigheten med autofokus är att mobilen först måste förstå var du vill att skärpan i bilden ska ligga och sedan göra inställningen tillräckligt snabbt – innan ögonblicket hunnit passera. De flesta mobiler letar efter kontraster i bilden för att ställa in skärpan. Kameran provar sig igenom linsens olika lägen och väljer sedan den inställning som ger hårdast kontraster i bilden. Tack vare snabb mekanik och kraftfulla processorer klarar de flesta mobiler att fokusera på några tiondelar av en sekund. Ett sätt att göra autofokusen ännu snabbare och mer exakt är att lägga till en separat avståndssensor. Det kallas fasdetekterande autofokus och finns i de flesta systemkameror – och i Samsung Galaxy S5. Avståndsmätningen gör att mobilen slipper testa alla olika inställningar. Sensorn talar om både i vilken riktning och hur mycket linsen behöver justeras för att ge skarp bild.

När skärpan är på plats behöver mobilen välja rätt exponering – en uppsättning inställningar som ger en lagom ljus bild. Det finns flera faktorer som påverkar hur ljus bilden blir – och beroende på vilken mix av dessa man väljer får resultatet olika karaktär. Först och främst gäller det att släppa in lagom mycket ljus till bildsensorn. Två olika parametrar går att spela med – slutartid och bländare. Digitalkameror – oavsett om det handlar om avancerade systemkameror eller kompaktkameror för någon tusenlapp – har nästan alltid mekaniska lösningar för både slutare och bländare. Med hjälp av små motorer och elektromagneter kan kameran styra storleken på ljusinsläppet genom objektivet och bestämma hur länge bildsensorn ska ta emot ljus – ofta ned till 1/4000 sekund. 

I mobilkameran vill man minimera antalet rörliga delar och därför är både bländar- och slutarmekanik ovanliga finesser. Undantaget är mobiler med xenonblixt – de har mekanisk slutare – och riktigt avancerade kameramobiler som dessutom har variabel bländare. Liten bländaröppning och kort slutartid minskar ljuset som når sensorn – längre tider och större öppning ökar ljusmängden. Ofta uppstår läget att ljuset är för svagt och slutartiden blir så lång att bilden blir suddig eftersom antingen handen som håller mobilen – eller motivet – hinner röra sig. Då återstår möjligheten att öka förstärkningen i bildsensorn – att höja ISO-talet. Högre ISO-tal ger en ljusare bild, men innebär samtidigt mer brus.

Anledningen till att vi hittar mekanisk slutare på mobiler med xenonblixt är att ljuspulsen från en sådan blixt varar så kort tid att sensorn måste läsas av på ett speciellt sätt. En CMOS-sensor levererar data hela tiden och även om avläsningen går väldigt snabbt så hämtar mobilen data från en pixel i taget och det passerar några tusendelar av en sekund från första till sista hörnet av sensorn. Ljuset från en xenonblixt varar bara ungefär 1/1000 sekund, så resultatet skulle lätt bli en bild där blixtljuset bara syns på en del av ytan. Den mekaniska slutaren gör det möjligt att ”frysa” sensorn så att alla pixlar läses av exakt samtidigt. Det sker genom att slutaren öppnas, blixten avfyras och slutaren stängs igen innan några data lämnar sensorn. Eftersom slutaren är stängd och inget mer ljus kommer in kan laddningen från blixtbelysningen ligga kvar i sensorn tills mobilen hunnit hämta all bildinformation. 

Kristina Björknäs, Senior Experience Marketing Manager på Microsoft, tidigare på Nokia, berättar att mjukvaran blir en allt viktigare del av mobilkameran.

– Nokia har traditionellt legat i framkant när det gäller hårdvaran, t.ex. vår 41-megapixelsensor, optisk bildstabilisering och de största sensorerna. Vi kommer att behålla den höga bildkvaliteten, men också fokusera på mjukvaran.

Företaget Scalado i Lund köptes upp av Nokia 2012 och där sker en stor del av utvecklingen av kameragränssnitt och effekter för foto och video i Nokias Pureview-mobiler.

– Vi har en vision att människor ska kunna ta bilder som fångar stunden. Ett exempel är ”Living images” som fångar ögonblicket som leder fram till varje bild i form av en kort animation, säger hon.

Kristina Björknäs har varit involverad i stora delar av mobilkamerans utveckling och kan se både tillbaka och framåt. Hon menar att bildkvaliteten från en mobilkamera idag kan vara bättre än i en vanlig kompaktkamera och att mobilen samtidigt gör det enklare för fotografen att ta bra bilder.

– Mobilens skärm är större och mer högupplöst och fungerar bättre i direkt solljus jämfört med både kompaktkameror och systemkameror. Du ser om bilden blir bra och kan göra justeringar och lägga till effekter tack vare mjukvarans funktioner, påpekar hon.

När det gäller hårdvara så kan mobilen i sig och dess komponenter alltså bidra till att krama ur fler funktioner och högre kvalitet ur kameran – från att skapa 3D-bilder från kameror med bara en lins till att bygga upp sömlösa panoramabilder. Forskningen inom bildtolkning går snabbt att omsätta till nya funktioner i mobilkameran eftersom kvaliteten på kamerahårdvaran har utvecklats väldigt långt samtidigt som mobilerna har snabba processorer som kan köra avancerade program.

– Lyckas man göra något på en standard-PC så går det ganska enkelt att porta till mobilen, säger Fredrik Kahl på Chalmers. Utmaningen är att få det att fungera i så många miljöer som möjligt – till exempel på stan där folk rör sig och blänkande material och speglar och sådant ställer till det. Det slipper man inte undan även om man har en avancerad kamera.

En utveckling vi redan kan se är att framtidens mobilkameror inte bara registrerar styrkan och färgen på ljuset i varje pixel – utan också riktningen. HTC One M8 med dubbla linser ger en fingervisning om möjligheterna, men företag som Lytro och Pelican Imaging ligger i startgroparna med mer avancerad teknik och så kallade plenoptiska kameror. Pelican Imagings kameramodul för mobiler består av 16 individuella objektiv och kan ge en riktig 3D-bild av omgivningen. 3D gör det betydligt enklare för apparna att avgöra vad kameran egentligen ser – användbart i tillämpningar från ansiktsigenkänning och positionering till foto och spel.

Kamerans termer och delar

Objektiv

En eller flera linser – i glas eller plast – utgör objektivet. Mobilkamerans synliga del. Objektivet fokuserar ljuset från motivet mot bildsensorn. Varje glas- eller plastlins kallas element och flera element som rör sig tillsammans när kameran fokuserar eller zoomar kallas grupp. De flesta mobilkameror har bara en grupp medan kameror med optisk zoom har två eller flera grupper.

Brännvidd

Brännvidden är ett mått på objektivets förstoring. Med en teoretisk enkel lins skulle brännvidden motsvara avståndet mellan linsen och bildsensorn, men eftersom objektiven ofta har flera element eller element med avancerad form så kan två objektiv vara olika långa trots att de har samma brännvidd. Däremot blir motivet lika stort på bildsensorn så länge objektiven har samma brännvidd. Om det är möjligt att ändra avståndet mellan linselementen så att objektivets brännvidd förändras säger man att objektivet har optisk zoom.

Bländare

Bländaren är ”hålet” genom objektivet. En lins med stor diameter släpper in mer ljus till sensorn än en liten lins. I kamerans specifikationer har bländaren ett värde – ofta strax över 2 – som man får fram genom att dividera objektivets brännvidd med hålets diameter. Som exempel har kameran i Iphone 5S en brännvidd på 4,12 mm och bländartalet 2,2. Det innebär att linsens diameter är 1,87 mm. De flesta digitalkameror, men tyvärr väldigt få mobiler, har variabel bländare. Det innebär att man kan minska ljusinsläppet – på samma sätt som ögats pupill reagerar på starkt ljus. Variabel bländare ger större möjligheter att påverka bilden – till exempel välja om bara vissa delar ska vara i fokus eller om allt ska vara skarpt.

Slutare

Slutaren bestämmer hur länge bildsensorn ska ta emot ljus. Det går att göra antingen mekaniskt eller elektroniskt. En mekanisk slutare består av persienner eller en ridå som kan öppnas och stängas i ljusets väg mellan objektivet och bildsensorn. Med en elektronisk slutare väljer man istället hur länge varje pixel i bildsensorn ska ”mäta” innan man läser av och summerar värdet på ljusstyrkan. Elektroniska slutare är enklare och billigare att konstruera och gör det enklare att variera slutartiden, men de ger sämre resultat i kombination med fotoblixtar och motiv som rör sig snabbt.

Bildsensor

Sensorn omvandlar ljus till elektricitet som kan mätas, digitaliseras och sammanfogas till en bild. Större sensorer ger i regel bättre bilder, men ställer samtidigt högre krav på objektivets kvalitet och ger en högre totalkostnad för kameran.

Tillverkarnas kamera-märken

I specifikationerna dyker det upp många spännande namn och beteckningar på mobilernas kameror – ofta unika för ett visst mobilmärke. Vi reder ut begreppen.

Isight (Apple)

Den första Apple-produkten med namnet Isight lanserades 2003 och var en extern webbkamera med VGA-upplösning och firewire-anslutning. Senare har Apple även använt märket för inbyggda kameror i datorer, surfplattor, skärmar – och mobiler. Isight betyder inte att kameran har några specifika tekniska lösningar, utan ska ses mer som en intern kvalitetsstämpel som enligt Apple betyder att kameran levererar bra bilder utan att användaren behöver göra några särskilda inställningar. Alla Iphone från modell 4 och framåt har Isight-kamera.

Ultrapixel (HTC)

Ultrapixel innebär att HTC kliver av megapixel-racet och satsar på sensorer med större istället för fler bildpunkter. Bildsensorn är ungefär lika stor som i konkurrenternas mobiler, men HTC nöjer sig med 4 megapixel istället för 8, 13 eller ännu fler. Det innebär att varje pixel i sensorn får mer ljus vilket – åtminstone i teorin – innebär mindre brus och bättre färgåtergivning.

Pureview (Nokia)

Pureview dök först upp i namnet på en mobil – Nokia Pureview 808 från 2012. Mobilen hade en sensor på hela 41 megapixel vilket öppnade både för skarpa bilder och unika möjligheter till digital zoom. Senare har namnet dykt upp som beteckning för kameran i mobiler med mer konventionella sensorer – från 8 megapixel och uppåt. Nokia använder idag Pureview-märket ungefär som Apple använder Isight – det handlar om mobiler där kamerafunktionen inte lämnats åt slumpen. I praktiken innebär det att Nokia bockar av en eller flera punkter från ett smörgåsbord bestående av exempelvis högupplöst sensor, bra optik, bildstabilisering och videoinspelning i 1080p.

Photo Sphere (Google)

Googles egen kameraapp innehåller funktionen Photo Sphere. Det innebär att mobilen kan kombinera kamerabilder och data från rörelsesensorerna för att enkelt sätta ihop 360-graders panoramavyer utan speciella linser eller stativ. Photo Sphere säger inget om kamerans prestanda, men för att stödja funktionen behöver mobilen kompass, gyroskop och accelerometer. 

Exmor RS (Sony)

Exmor RS är Sonys varumärke för bildsensorer med en tillverkningsprocess som kallas ”stacked CMOS”. Fördelen med tekniken är att en större del av sensorns yta används till att registrera ljuset från linsen. Hjälpkretsarna placeras i ett lager under de ljuskänsliga komponenterna istället för att ta upp utrymme i samma plan. Enligt Sony ger Exmor RS bättre ljuskänslighet och lägre brus jämfört med andra sensorer i samma storlek.

Super Resolution (LG)

Mjukvara för att skala upp bilder och åstadkomma digital zoom med så hög kvalitet som möjligt. LG har länge använt tekniken för att förbättra skärpan för lågupplöst material på teveapparater, och samma principer fungerar i mobilen. Smart Resolution-funktionen lägger till extra skärpa och reducerar bruset i beskurna och förstorade bilder.

Isocell (Samsung)

En CMOS-sensor med små väggar mellan bildpunkterna. När kameraupplösningen ökar och varje pixel får mindre och mindre yta på sensorn kan väggarna minska problemet med ljusläckage och leda mer ljus till den aktiva sensorytan. Samsung menar att Isocell-tekniken förbättrar både skärpa och färgåtergivning.