Tvärmodala interaktioner vid visuell och auditiv perception av vokaler Hartmut Traunmüller Lingvistik, Stockholms universitet

Tidigare undersökningars grundtanke om audiovisuell integration vid talperception Ren bayesisk integration av informationen tänkbar (multiplikation och normalisering av sannolikheter)

Tidigare undersökningars verklighet Lyssnare hör även det som de ser. Lyssnare fäster störst vikt vid sådana visuella ledtrådar som är mera pålitliga än de auditiva, främst alltså hos labiala särdrag.

Finns det dessutom en sådan här verklighet? Ser avläsare även det som de hör? Fäster avläsare störst vikt vid sådana auditiva ledtrådar som är mest pålitliga?

Den här undersökningen Experiment 1 Experiment 2 Jämför!

Frågeställningar Finns det ett separat visuellt percept som skiljer sig från det auditiva? Hur stor vikt fäster vi vid auditiva och visuella ledtrådar i de båda fallen av audiovisuell integration. Är detta särdragsspecifikt, så att vi även i denna uppgift fäster störst vikt vid information från sidomodaliteten i de fall där denna erbjuder den mest pålitliga informationen?

Talmaterial Talare: 2 manliga, 2 kvinnliga. Originalyttranden: /gig/, /gyg/, /geg/. Stimuli i experiment 1 (lyssning): Varje talares auditiva plus alla 6 inkongruenta audiovisuella kombinationer av originalen. Stimuli i experiment 2 (avläsning): Varje talares visuella plus alla 6 inkongruenta audiovisuella kombinationer av originalen.

Perceptionsexperiment Lyssnare: 14 svenskfödda fp (6 män, 8 kvinnor), studenter och personal på institutionen för lingvistik, Stockholms universitet. Alla deltog i båda experimenten. Presentation: på datorskärm i Windows Media Player och via hörlurar. Slumpad ordning, varje stimulus 2 gånger.

Perceptionsexperiment Experiment 1: Vad hör du? (medan du tittar) Experiment 2: Vad ser du? (med hörlurarna på) Fp svarar genom att klicka i en ruta på bokstavstecknet för den percipierade vokalen. Fp styr presentationen, får även upprepa stimuli.

Resultat Symboler Resultaten visas på de nästa två bilderna som är förväxlingsmatriser. Symboler Ofyllda cirklar: Rätt vokal Fyllda cirklar: Fel vokal Blå: Rundning uppfattad via sidomodaliteten Röd: Öppningsgrad uppfattad via sidomodaliteten

Experiment 1: lyssning

Experiment 2: avläsning

Vikt hos auditiva och visuella ledtrådar vid perception av öppningsgrad och läpprundning. Hörd öppningsgrad 1,00 0,03 Hörd läpprundning 0,28 0,68 Sedd öppningsgrad 0,45 0,52 Sedd läpprundning 0,00 0,97

Modell för prediktion av bimodal förväxlingsmatris A: auditiv information (endast lyssning) V: visuell information (endast avläsning) AV: resultatet av bayesisk integration av A och V Plyssnig = 0,26 A +0,71 AV (r2 = 0,98) Pavläsning = 0,57 V +0,45 AV (r2 = 0,94) Vid ren bayesisk integration skulle vikten för AV = 1,0.

Skillnader mellan försökspersoner Individuell variation Hörd läpprundning faktiskt sedd: 31-100% Sedd öppningsgrad faktiskt hörd: 28-97% Det fanns ingen signifikant korrelation mellan dessa. Skillnaderna kan därför inte förklaras av en individuell disposition för intermodal integration i allmänhet. Vid auditiv perception visade kvinnor större tillit till visuell information, som i tidigare undersökningar, men skillnaden mellan könen nådde här inte signifikansnivå.

Idealiskt beteende Lita på hörseln för öppningsgraden och på synen för rundningen. Beteendet oberverades hos 6 fp vid lyssning (4 kvinnor, 2 män) samt hos 1 fp (kvinna) vid avläsning i mer än 90% av fallen.

Slutsatser Det finns både ett auditivt och ett visuellt percept. Dessa ör klart skilda. Inget av dem motsvarar ett amodalt percept som skulle kunna modelleras genom ren bayesisk integration. Resultaten återspeglar en vägd summering av sensoriska ledtrådar, där vikten återspeglar tillförlitligheten hos den information som tillhandahålls av varje modalitet. Variationen mellan individerna kan tänkas bero på faktiska skillnader och skillnader i skattningen av denna tillförlitlighet.

Tack för uppmärksamheten!