Virtual & Augmented Reality, del 2

Finns Den Perfekta Illusionen?

Den Perfekta Illusionen… Visionen för det ultimata VR- systemet är att ge användaren en total illusion av att befinna sig i en alternativ värld. The Matrix, Star Trek, Sword Art Online etc.

…kanske aldrig går att uppnå

Komplexiteten i människans perception Det är extremt svårt att ”ersätta” naturliga stimuli med artificiella

Att fundera på till VR & AR, del 2 Vad saknas idag för att vi ska kunna åstadkomma Den Perfekta Illusionen?

Scenario Combat Search And Rescue (CSAR) En av de militära uppgifter som är svårast att simulera med VR

Den visuella modaliteten

Field of view (FOV) Dagens VR-system FOVDet mänskliga ögat HTC ViveStarVR Horisontellt210°110°210° Vertikalt125°110°130°

Upplösning: The screen door effect

Upplösning 1.8 cm 2.5 x 2.5 cm Normal visual acuity HTC ViveStarVR ~24 miljoner pixlar/öga ~1.3 miljoner pixlar/öga ~3.7 miljoner pixlar/öga

Utmaningen Användaren ska samtidigt kunna se prickskytten i fönstret på 50 m avstånd undersöka sin sårade kamrat på 0.5 m avstånd ===> Stora konflikter mellan konvergens och ackommodation!

Vergence accomodation conflict

Frame rate Bilduppdateringsfrekvens för att snabba rörelser ska upplevas som mjuka och naturliga: >20 Hz Vertical refresh rate för att undvika flimmer: ≥60 Hz Högre vertical refresh rate ===> högre immersion, mindre cyber sickness Samsung Gear VRHTC VivePlaystation VR 60 Hz90 Hz90/120 Hz

Visuell realism

Vi börjar närma oss fotorealism även för realtidsgrafik Realistiska belysningsmodeller är den stora utmaningen Speciellt svårt i dynamiska miljöer (tänk på vårt scenario t ex)

Den auditiva modaliteten

3D-ljud Långsam utveckling jämfört med 3D-grafik Krävs mycket stor datorkraft för realistisk rendering av 3D-ljud Spelindustrin har helt enkelt inte ansett det vara värt mödan

Ljudperception

3D-ljud för högtalare Ett antal högtalare placerade runt användaren Oftast begränsat till horisontalplanet

3D-ljud för hörlurar Interaural Intensity Difference (IID) Interaural Time Difference (ITD) Doppler-effekt Rumsliga effekter (reverberation, occlusion etc.)

Problem med hörlurar Cone of confusion

Head-related transfer functions (HRTF) Förändringen som ett ljud genomgår från en viss punkt i rummet tills dess att det når trumhinnan. Spelas in med mikrofoner placerade i öronen Fouriertransformen H(f) av impulssvaret h(t) Bra HRTF-inspelningar är i princip omöjliga att skilja från verkliga ljud

Problem med HRTF Individuella skillnader (överkropp, huvud, ytteröra) försvårar ljudlokalisering Viss förbättring med HRTF- databaser men individuella inspelningar är fortfarande överlägsna Är det verkligen rimligt att spela in HRTF för varje specifik användare?

Avståndsbedömning En svårighet med hörlurar är användaren upplever att vissa ljud spelas upp inne i huvudet Ljud upplevs därför ofta som närmare än de egentligen är Ljud som är längre bort än 15 meter bör simulera atmosfärisk absorption I vårt scenario finns viktiga ljudkällor på många olika avstånd Explosion 50 meter längre bort Teammedlem som viskar något 0.5 meter bort

Att simulera ljudmiljöer Finns en del modeller för realtidssimulering av ljud i inomhusmiljöer Saknas kunskap om hur ljudet sprids mellan olika akustiska miljöer (t ex mellan ett badrum och ett sovrum) Hur ljud sprids genom olika material (dörrar, väggar etc.) Lite kunskap om hur man modellerar realistiska utomhusljudmiljöer (väder, vind etc.) Realistisk ljudrendering kräver mycket stor datorkapacitet

”We seem to have hit a realism wall that cannot be surmounted.”

GPU-baserad ljudacceleration

OSSIC X

Känselmodaliteten

Problem att lösa Haptiskt system som täcker hela kroppen och kan simulera tryck, vibrationer, temperatur, mjuk beröring etc. Hur designa ett sådant system som inte hindrar användarens rörelser?

SubPac M2

Luktmodaliteten

Den mest förbisedda modaliteten inom Virtual Reality Enda sinnet som har direktkontakt med limbiska systemet Kan trigga känslor och minnen av personer, objekt och händelser

Vårt scenario Lukt kan i allra högsta grad vara informationsbärande Lukt från vapenaktivitet Närheten till en matmarknad Hälsostatus hos en teammedlem Lukt leder till ökad presence (närvaro) och därmed till bättre träningsresultat

Problem 1 Nästan vilket visuellt stimuli som helst kan byggas upp med de tre färgerna rött, grönt och blått Motsvarande ”primitiver” saknas för lukt

Problem 2 Hur ändrar man från en lukt till en annan på ett trovärdigt sätt? Ex En soldat går förbi en marknad och mängder av olika dofter slår emot honom.

Problem 3 Hur simulerar man att en viss lukt kommer från en viss riktning? Ex Hur göra det möjligt att lokalisera en brinnande helikopter genom att följa lukten av brinnande metall och flygbränsle?

Behövs Den Perfekta Illusionen?

Förmodligen inte eftersom… 1.…det går att ”lura” hjärnan 2.…man lär sig saker ändå

Det går att lura hjärnan Bottom-up-mekanismer i perceptionen (t ex premotoriska cortex), verkar tillfälligt kunna upphäva top down-kunskap vilket resulterar i en högst påtaglig illusion av “transfer of body ownership”

Rubber hand illusion

Rubber hand illusion i VR

Vection Den av visuella stimuli inducerade upplevelsen av att vara i rörelse trots att man sitter still

Man lär sig saker ändå Finns studier som tyder på att Virtual Reality-baserad träning går att överföra till verkligheten trots bristande realism

Handuppräckning: Kommer vi en dag uppnå Den Perfekta Illusionen?

Elon Musk “The strongest argument for us being in a simulation, probably being in a simulation is the following: 40 years ago, we had pong, two rectangles and a dot. That is what games were. Now 40 years later we have photorealistic 3D simulations with millions of people playing simultaneously and it’s getting better every year. And soon we’ll have virtual reality, augmented reality, if you assume any rate of improvement at all, the games will become indistinguishable from reality.”

Sammanfattning Vi är fortfarande långt ifrån att kunna leverera Den Perfekta Illusionen Fortfarande många olika typer av stimuli som man måste kunna simulera på ett bättre sätt Enorm, snabbt växande utveckling inom Virtual Reality Den Perfekta Illusionen är troligtvis inte nödvändig Många är övertygade om att vi en dag kommer kunna skapa Den Perfekta Illusionen