1 Perceptionspsykologi T2/B, 7,5 hp Leo Poom Institutionen för Psykologi Uppsala Universitet

En presentation över ämnet: "1 Perceptionspsykologi T2/B, 7,5 hp Leo Poom Institutionen för Psykologi Uppsala Universitet"— Presentationens avskrift:

1 1 Perceptionspsykologi T2/B, 7,5 hp Leo Poom Institutionen för Psykologi Uppsala Universitet leo.poom@psyk.uu.se

2 Läsanvisningar till PPT2/FKB/PAB Perception VT 2011 Kursbok: Goldstein: Sensation and Perception, 8th edition Följande kapitel ingår i kursen: Kap 1-15 och Kap. 16 sid. 379-391 Dessutom ingår lektionspresentationer som finns på studentportalen 1. Intro, föremålsperception, uppmärksamhet & färgperception (Poom) 2. Optiskt flöde, visuell proprioception, rörelse (Poom) 3. Djupseende, Haptisk & Taktil perception, smärta (Poom) 4. Perceptionens neurofysiologi (Hans Richter) 5. Perception i praktiken (Johan Waara) 6. Hörsel, ljudlokalisering, talperception, kemiska sinnen, psykofysik (Poom) Labbar, OBS obligatorisk närvaro på labbar. Labbassistenter: Program: Therese Ekberg, 018-4715752, therese.ekberg@psyk.uu.se Sara Folke, 018-4712111, sara.folke@psyk.uu.se Fristående kurs: Clara Schmitow, 018-4712157, clara.schmitow@psyk.uu.se Claudia Elsner, 018-4712157, claudia.elsner@psyk.uu.se

3 Intro, objekt, uppmärksamhet & färg

4 4 Perception: våra sinnen All our knowledge has its origins in our perceptions. –Leonardo da Vinci Exteroception (Aristoteles 5 sinnen): Hur är världen? Proprioception (6e sinnet): Balans, kroppshållning, kinestesi (kroppsrörelse). Vad gör jag? Tillkommer: temperatur, smärta. Hos andra djur finns sinnen för elektriska fält, ultraljud, infrarött ljus, polariserat ljus, ekolokalisering etc.

5 5 Omvärld Stimuli Upplevelser+ handlingar Neuro- fysiologi Neorofysiologiska mätningar: Brain imaging Event Related Potential (ERP) etc.. Psykofysik Olika angreppssätt för att förstå perception TMS Hur skador på olika delar av hjärnan påverkar perception

6 6 Exempel på tillämpad perceptionsforskning Hjälpmedel för människor med nedsatt perceptuell förmåga. Special effects & virtual reality. Vilken info är viktig för att återskapa exempelvis 3D bilder. Människa maskininteraktion. Hur presentera info för piloter, förare, mobiltelefonanvändare etc. Info och reklam. Hur presentera info så att den uppmärksammas och inte glöms. Percepuell ergonomi. Utformningen av arbetsplatser, psykoakustik. AI. Artificiell perception. Ex röstigenkänning, ansiktsigenkänning.

7 7 Våra 5 sinnen

8 8 Synen: Två system Mishkin M, Ungerleider LG. (1982); Goodale MA, Milner AD (1992). Action system Where/how? Dorsal stream. Navigering, motorik & proprioception. Hög grad omedveten, direkt. Perception system What? Ventral stream. Objektigenkänning. Hög grad medveten med kognitiva komponenter, top down.

9 9 Upplevelser: Sensation & perception Sensation = förnimmelser, otolkade sinnesintryck som saknar mening. Stimulusdetektion. Förnimmelse av färg, ton, kittling etc. Perception = meningsfyllda tolkade sinnesintryck (känna igen en vän, läsa en text, höra musik, smaka en god öl). Perceptionen är påverkad av kontexten i form av tidigare upplevelser och omgivning.

10 10 Processer: ”Bottom up” & ”top down” Bottom up processer bygger på analys av stimulus utan att lägga till någon ytterligare information från ex. tidigare erfarenheter. Data driven. Top down processer integrerar information utifrån med förväntningar och tidigare upplevelser etc. Gör att vi kan ‘veta’ mer eller se mer än den info som finns tillgänlig i stimulus.

11 Exempel på hur top-down processer påverkar perception: Rat Man (Bugelski and Alampay,1961). Subjects saw this picture after viewing earlier slides that showed line drawings of (1) animals, or (2) faces. Depending on whether they saw animals or faces in previous slides, subjects reported seeing either (1) a rat or (2) a man wearing glasses. They had been "set" for one or the other interpretation by the preceding slides. This is a form of top-down processing, in which a schema influences interpretation of the data.

12 12 Finns massa olika infokällor till form: Ljus (i form av reflektans, skuggning, spegling), färg, textur, stereoseende, rörelse, etc. Ändå svårt att förklara vår förmåga att se, känna igen & kategorisera objekt…

13 13 Att fundera på… Det bästa robotögat kommer inte i närheten av vår förmåga ex känna igen objekt, vilket vi tycker är trivialt. Navigering och motorik funkar bättre för robotar. De flesta tycker det är svårare att ex spela schack, vilket en bra schackdator gör bättre än de flesta av oss. Perceptionen går ”bortom” den sensoriska retningen (näthinnebilden med färg och ljusfördelning). Detta är väldigt svårt att få in i en maskin. Cog, MIT Artificial Intelligence Laboratory, Humanoid Robotics Group

14 14 Exempel på hur perception går bortom bilden på näthinnan Top down processer bidrar: Perception är mer än sensorisk retning

15 15 De flesta ser tre överlappande kvadrater, inte de tre figurerna som pilarna visar. Inlärt eller medfödd preferens att se kvadrater? (osannolikt att dessa figurer skulle råka hamna på detta sätt!) Ett till exempel…

16 16 Problem: Inverse optics Då bara informationen i bilden beaktas utan någon info om omvärlden finns många olika tolkningar. Vi ser sällan fel. Info om omvärden (regelbundenheter, tumregler, vad som är sannolikt resp osannolikt) finns ”inbyggda” i synsinnet. Exempel på mångtydighet:

17 17 Konstansfenomen exemplifierar lösningar på inverse optics problemet. Ljuskonstans. Ytors ljushet förefaller vara desamma även om belysningens styrka förändras. Färgkonstans. Ytors färger förefaller vara desamma även om belysningens våglängder (färginnehåll) förändras. Storlekskonstans. På olika avstånd ser objekten ut att ha samma storlek trots att storleken på näthinnan varierar. Upplevd storlek = storlek på näthinnan · upplevt avstånd (Emmerts lag) Formkonstans (view point invariance). Vi ser samma objekt oavsett betraktelseposition Konstanser till att omvärlden förblir stabil trots ändrade perspektiv, ljuskällor och betraktelseavstånd. Kontext + top down processer spelar stor roll.

18 18 Ljuskonstans (1) Det ljus som når ögat (”luminance”) är bestämt av ljuskällan (”illumination”) och ytan som ljuset reflekterats mot (”reflektance”). Synsinnet måste från luminansen bestämma ytans reflektans (som beror på pigmenteringen) och ytans illuminans (som beror på ytans lutning relativt betraktare och ljuskällans position). Detta problem går inte att lösa utan ytterligare info i form av ex kontext. För den intresserade, kolla på: http://web.mit.edu/persci/gaz/ http://web.mit.edu/persci/gaz/ L(x,y) = R(x,y)I(x,y) Man måste veta R för att bestämma I

19 19 Ljuskonstans (2) Samma luminans från A och B. Är detta en illusion eller en smart tolkning? Synsinnet ”vet” att B befinner sig i skugga och därför måste vara ljusare än A (ratio principle).

20 Ratio principle

21 http://www.echalk.co.uk/amusements/OpticalIllusions/illusions.aspx Andra exempel finns på: Färgkonstans innebär att vi tenderar se objektens verkliga pigmentering oberoende av ljuskällan -En blå yta i gult ljus och gul yta i blått ljus här reflekterar samma gråa ton.

22 22 Storlekskonstans (1) Synvinkelgraden som ett objekt upptar i det visuella fältet (storlek på näthinnan) beror på objektets storlek och dess avstånd. Upplevd storlek = storlek på näthinnan · upplevt avstånd (Emmerts lag) Man måste alltså veta avståndet för att bestämma storleken och tvärtom.

23 23 Storlekskonstans (2) Uppmätt med linjal är gubbarna lika stora.. Är detta en illusion eller en smart tolkning?

24 24 Storlekskonstans (3) ”Ames room”

25 25 Formkonstans shape constancy or view point invariance Vi upplever oftast att objekt har samma form oavsett perspektiv

26 26 Perception av form/objekt/struktur Några olika angreppssätt: - Gestalt approach -Recognition by components (Biederman) -Perceptuell intelligens, Synsinnet som smart statistiker. Omedveten kunskap om världens beskaffenhet

27 27 ”Gestalt approach” -Vi har en stark tendens att integrera delar till en helhet. ”helheten är mer än summan av delarna” (en reaktion mot strukuralismen). -Kan specificeras i ett antal tumregler (heuristics) formade av evolution eller inlärning som reflekterar världens beskaffenhet (proximity, similarity, good continuation, common motion, etc) -Beskriver hur vi ser saker snarare än ger en förklaring

28 28 Similarity Proximity Common motion Good continuation Gestaltlagar speglar statistiska samband i omvärden Exempel:

29 Common motion Gunnar Johansson 1911-1998 Film

30 30 Bygger på observationen att några få komponenter (Geons: sfär, cylinder, kon, kub etc) kan bygga upp miljontals objekt Recognition by components (Biederman) Geoner är 3-dimensionella (upptar volym) och har 3 egenskaper: -View point invariance: Dom kan lätt kännas igen från olika perspektiv. -De kan lätt kännas igen även om de är delvis synliga. -Man ser lätt skillnad på olika geoner oavsett perspektiv (undantaget är ‘accidental view points’ ex cylindern som från ändpunkten ser ut som en sfär).

31 Objekt uppbyggt av flera geoner: Ganska enkelt ser man att detta är samma objekt sett från olika perspektiv För att känna igen ett objekt måste geonerna ändå kunna identifieras View point invariance: Delvis synliga:

32 32 Osannolik betraktelseposition av en kub (accidental view point) Sannolika betraktelsepositioner av en kub Perceptuell intelligens: Unconscious inference (Helmholz), numera Bayesian inference där synsinnet ses som en smart statistiker Var ser du en kub? Slutsats: Osannolika (ostabila) betraktelsepositioner är Svårtolkade.

33 33 Synsinnet som smart statistiker Ex. vi har en (inlärd?) tendens att tolka skuggor som att ljuset kommer ovanifrån vilket ju oftast är sant.

34 Synsinnet som smart statistiker (Bayesian inference) Bayesianska perceptions och kognitionsmodeller allt mer populära Hypotes, H = det ä r en kub Data, D = proximalstimuli P(H│D) = sannolikhet f ö r H givet D P(H│D) = P(D│H) · P(H) / P(D)  P(H│D) = P(D│H) · P(H) P(D) = hur vanligt ä r detta proximalstimulus i relation till alla andra möjliga stimuli. Man brukar skippa denna kalibrering. P(H) = prior probability (sannolikheten att detta är en kub: är kuber vanliga? är det sannolikt att en kub dyker upp just här och nu?) P(D│H )= likelihood (om det nu ä r en kub, hur sannolik ä r data?) Finns många kuber här  P(H) är hög P(D│H) är liten Ont om kuber  P(H) är liten P(D│H) är liten Stor sannolikhet att detta är en kub Låg sannolikhet att detta är en kub P(D│H) är hög

35 35 Objektigenkänning Att se ett föremål och att känna igen föremålet är inte samma sak. Objektigenkänning involverar processer i temporalkortex (IT). Skador i IT leder till objektagnosi: svårt att känna igen och identifiera olika föremål trots att diskriminationsförmågan är intakt. Skador i fusiform face area, FFA, leder till prosopagnosi: svårt att känna igen ansikten.

36 36 Objektigenkänning Objekt Upplevelse”Mentala representationer” Jämförelse Igenkänning, FYR!

37 Hur går det till när vi känner igen el. kategoriserar objekt? Exemplar eller prototyper?

38 Attention ! Riktad uppmärksamhet

39 Fokusering & filtrering: Reducera info-bördan, en sak i taget (ex cocktailparty effekten) Vad riktar uppmärksmheten? Bottom up driven, externt, automatiskt. Förstärkning av responser till nya stim eller biologiskt instinktivt relevanta, el framträdande stimuli. Top down driven, internt, excecutive attention, beroende på individens mål och önskningar, frontalkortex Inattentional blindness och change blindness – distinkta händelser inom synfältet märks oftast inte om uppmärksamheten är riktad åt annat håll -Attention ökar aktivitet i frontalkortex. -Aktivitet i visuella kortex och LGN moduleras av feedback signaler (top-down). Relevant neural aktivitet ökar i respektive sensoriska areor. -Attention synkroniserar neural aktivitet (Fries et al. 2001, Science).Fries et al. 2001, Science -Attention binder ihop features.

40 Kevin O’Regan, tidigt 90 tal: -Behövs en intern representation av omgivningen? -För komplex… Minneskapaciteten räcker inte… -Omgivningen ÄR minnet (externt minne). Uppmärksamheten dirigerar ögonen mot det vi vill minnas (se)! Rensink, 2000 -Attention is necessary to bind the different proto-objects into complete objects, as well as to bind object and location -Once attention leaves an object, the binding “dissolves.” Not a problem, it can be formed again whenever needed, by shifting attention back to the object. -Only a rather sketchy “virtual representation” is kept in memory, and attention/eye movements are used to gather details as needed

41 41 Change blindness The change in the image (here, the movement of the background wall) is difficult to notice -- observers will often look at but not see the changing object. This difficulty can remain even after observing the images for several seconds, showing that a detailed representation of the scene is not being stored in memory. However, once attention has "latched onto" the appropriate object, the change is easy to see.

42 42 Fördelning av tappar och stavar på näthinnan bidrar till viss del till filtrering (tappar) (Stavar) Mörkerseende, svartvitt, känslig för flimmer, dålig detaljskärpa Dagseende, färg, bra detaljskärpa, okänslig för flimmer

43 43 uenbcysciueav Koncentrera blicken på ’y’et i mitten och undvik att röra blicken. Försök sen att läsa den femte bokstaven till höger om y’et. Bara en liten bit från blickpunkten är synskärpan usel! Det beror på fördelningen av tappar.

44 Externt driven uppmärksamhet, bottom up Saliency (framträdande, utstickande). Ex basic features för synen (Anne Treisman) -Rörelse & kontraster -Plötsliga ljud, ditt namn Förändring är viktigt, signalerar att ngt viktigt kanske händer el håller på att hända

45 45 Attention & Feature integration theory (FIT) (Treisman & Gelade, 1980) Bilder kan delas upp i enkla beståndsdelar (features) som exempelvis färg, kanter, kurvor och rörelse. Man kan säga att ”features” är synsinnets alfabet. Features sticker ut (de är salienta) och ger upphov till ’pop out’, dvs de upptäcks snabbt. Istället för att representera en 2-dimensionell bild med antalet bildelement (pixlar) representeras bilden i synsinnet av betydligt färre features. Enl FIT utgör attention ett ’klister’ varmed olika ”features” sätts ihop då vi ser objekt. Får stöd av fenomenet illusory conjunctions och Balints syndrome.

46

47 ’Pop out’ (bottom up driven)

48 Att kunna rikta folks uppmärksamhet kan vara viktigt

49 Seriell sökning (top down driven) Att hitta det röda O-et tar lååång tid…

50 Seriell top-down driven sökning

51 Saliency map model för bottom up baserad attention Koch and Ullman, 1985 Wolfe,1994

52

53 The saliency map summation model (Koch and Ullman, 1985) Poom (2009). Integration of color, motion, orientation, and spatial frequency in visual search

54 col-ori col-freq col-mot ori-mot freq-mot freq-ori Attribute combination 0 100 200 300 400 500 RT (ms) Single target Double target Poom (2009).

55 Eye tracker Används för att se vart folk riktar sin blick och därmed sin uppmärksamhet

56

57 Saliency map Tittpreferens ‘Tomma’ områden I en bild väcker inget intresse. Salienta regioner drar uppmärksamheten till sej.

58 Top down driven attention

59 Folk tittar längre på den vänstra menyn (1 min) men minns 34% mindre än de minns från den högra menyn. Vänster sida är mer tittad på än den högra i båda bilderna. Test av websidor och menyer med eyetracker: var tittar folk?

60 Hmm…

61 Prefrontal cortex (PFC) Frontal eye fields (FEF) Parietal cortex (the lateral intraparietal area (LIP) Pop-out condition: LIP found the target first, followed by the PFC and then the FEF (180 ms, 120 ms, and 50 ms before saccade, respectively). Search condition: Neurons began finding the target in the reverse order. The frontal cortex was first (the PFC and FEF about 55 ms before the saccade), followed by LIP.

62 Hur bör info presenteras?

63 Det visuella korttidsminnet Korttidsminnet är nära förknippat med attention Förutom det semantiska finns separata korttidsminnen för de olika sinnena Inom det visuella finns olika system för features, objekt, positioner

64 Stimuluspresentation i ett typiskt visuellt korttidsminnesexperiment 1 2 3 4 Blank 1 sek

65 Våra tidigare experimentbetingelser för att mäta kapacitet hos det visuella korttidsminnet (flera minnesobjekt – blank 1s – 1 test objekt) Dist Col Col 1 & 2 sec Aliens Ovals

66 Korttidsminneskapacitet = 1! Capacity = (H – FA)N Olsson H, Poom L (2005). Visual memory needs categories. PNAS, Proceedings of the National Academy of Sciences of the USA, 102, 8776-8780.

67 Utvecklades färgseende hos oss för att lättare kunna upptäcka mat i skogen? Färgseende Rött & grönt är opponentfärger...

68 68 En värld i tre dimensioner Hue (färgton, beror bla på ljusets våglängd) Saturation (mättnad, renhet) Lightness (Ljushet, reflektans) ---------------------------- Brightness (Ljusstyrka) Vi kan skilja mellan 200 färger (hues) & en miljon färgnyanser

69 69 Trichromat-teori ( Young-Helmholtz ) -Det finns tre typer av tappar (ljusreceptorer). Varje våglängd aktiverar dessa i olika proportioner (distribuerad kod). Förklarar varför man med blandningar av endast tre färger (röd, grön, blå) kan återskapa (nästan) alla färger vi kan uppleva. Synen: Hur blir färgupplevelsen till (1)? Finns även: Dichromat Monochromat Tetrachromat !

70 70 Opponent-process teori (Hering) -Opponentnervceller aktiveras av en färg (våglängd) och inhiberas av dess komplementfärg. Det finns blå/gult, röd/grönt och svart/vitt system. -Förklarar färgkontrasteffekter (after images, simultaneous contrast) och varför blandningar av opponentfärger blir grå, och varför vi snabbast helst och bäst kategoriserar röd, grön, gul, blå. Trichromat och opponent-process teorierna motsäger inte varann. De beskriver processer som sker på olika nivåer som ger upphov till färgupplevelse. Ingen av dom förklarar färgkonstans ! Synen: Hur blir färgupplevelsen till (2)?

71 Subtraktiv färgblandning Här blandas pigment. Gul + Blå (cyan) = Grön Blandade pigment reflekterar bara de våglängder som ingen av dem absorberar. Strålning tas bort. Additiv färgblandning Här blandas strålning. Gul + Blå = Grå Komplementärfärger blandas till en gråskala. Strålning läggs till.