Demodulationsprocessen, spegelneuroner, neuroradiologiska observationer och audiovisuella percept ogiltigförklarar motorteorin Hartmut Traunmüller.

En presentation över ämnet: "Demodulationsprocessen, spegelneuroner, neuroradiologiska observationer och audiovisuella percept ogiltigförklarar motorteorin Hartmut Traunmüller."— Presentationens avskrift:

1 Demodulationsprocessen, spegelneuroner, neuroradiologiska observationer och audiovisuella percept ogiltigförklarar motorteorin Hartmut Traunmüller

2 Motorteorin The Motor Theory of Speech Perception Ref: Liberman, Cooper, Harris & MacNeilage (1962) Liberman och Mattingly (1985)

3 Motorteorin hävdar följande:

4 Motorteorin hävdar följande: 1.I hjärnan finns en modul som är specialiserd för tal och som inte används till något annat.

5 Motorteorin hävdar följande: 1.I hjärnan finns en modul som är specialiserd för tal och som inte används till något annat. 2.Att percipiera tal är att percipiera gester (talrörelser).

6 Motorteorin hävdar följande: 1.I hjärnan finns en modul som är specialiserd för tal och som inte används till något annat. 2.Att percipiera tal är att percipiera gester (talrörelser). 3.Det motoriska systemet för talproduktion kommer till användning även vid perception av tal.

7 Motorteorin Perceptet (perceptionsobjektet) utgörs av de talrörelser som lyssnaren själv skulle utföra för att producera ett liknande ljud.

8 Motorteorin Perceptet (perceptionsobjektet) utgörs av de talrörelser som lyssnaren själv skulle utföra för att producera ett liknande ljud. Den specialiserade talmodulen antas tillåta lyssnare att härleda dessa talrörelser.

9 Motorteorin Perceptet (perceptionsobjektet) utgörs av de talrörelser som lyssnaren själv skulle utföra för att producera ett liknande ljud. Den specialiserade talmodulen antas tillåta lyssnare att härleda dessa talrörelser. Teorin säger inte hur detta ska gå till, men någon form av analys-genom-syntes verkar vara påkallad.

10 Motorteorin Bakgrund: Liberman och hans medarbetare på Haskins hade på 50-talet observerat att talljudens akustiska egenskaper saknar invarians - att de i hög grad är kontextberoende. Däremot tyckte de sig se invarians i artikulationen, t. ex. invarianta mål för artikulationsställe hos klusiler.

11 Motorteorin De var inte medvetna om bristen på invarians i artikulationen, som hade beskrivits av Menzerath & de Lacerda (1933) i en bok med titeln ”Koartikulation, Steuerung und Lautabgrenzung”,

12 Motorteorin De var inte medvetna om bristen på invarians i artikulationen, som hade beskrivits av Menzerath & de Lacerda (1933) i en bok med titeln ”Koartikulation, Steuerung und Lautabgrenzung”, utan de återupptäckte koartikulationen via dess akustiska effekter.

13 Motorteorin Motorteorin är ändå den talperceptionsteori som flest människor har hört talas om.

14 Motorteorin Motorteorin är ändå den talperceptionsteori som flest människor har hört talas om. Den brukar serveras för alla fonetikstudenter, fast den inte är accepterad bland fonetiker.

15 Motorteorin Motorteorin är ändå den talperceptionsteori som flest människor har hört talas om. Den brukar serveras för alla fonetikstudenter, fast den inte är accepterad bland fonetiker. Den har funnit mera positiv acceptans utanför fonetikerkretsar, där alternativ inte är kända.

16 Motorteorin Teorin har under de senaste åren uppmärksammats i forskning om spegelneuronsystemet och om motoriska "framkallade potentialer". Ref: Rizzolatti & Craighero (2004). Fadiga, Craighero, Buccino & Rizzolatti (2002).

17 Motorteorin Teorin har under de senaste åren uppmärksammats i forskning om spegelneuronsystemet och om motoriska "framkallade potentialer". Den har också uppmärksammats i neuroradiologiska undersökningar (fMRI) av aktivitet framkallat i hjärnbarken av talprocesser.

18 Motorteorin Undersökningar av dessa slag har visat att det finns en länk mellan perception och produktion av tal i hjärnbarken.

19 Motorteorin Undersökningar av dessa slag har visat att det finns en länk mellan perception och produktion av tal i hjärnbarken. En sådan länk krävs också av motorteorin.

20 Motorteorin Undersökningar av dessa slag har visat att det finns en länk mellan perception och produktion av tal i hjärnbarken. En sådan länk krävs också av motorteorin. Det är då frestande att utropa att teorin bekräftas av dessa observationer.

21 Motorteorin Aktiviteten i den motoriska hjärnbarken visade sig dock i huvudsak vid visuell och audiovisuell talperception snarare än vid rent auditiv, vilket då knappast talar för motorteorin. Ref: Skipper, van Wassenhove, Nusbaum & Small (2007).

22 Motorteorin Teorin lider bl.a. av följande brister:

23 Motorteorin Teorin lider bl.a. av följande brister:  Den är otillräcklig för att implementera en talperceptionsmodell.

24 Motorteorin Teorin lider bl.a. av följande brister:  Den är otillräcklig för att implementera en talperceptionsmodell.  Den är oförmögen att hantera icke-lingvistisk variation orsakad av perspektivet och av skillnader mellan olika individers talapparater.

25 Motorteorin Teorin lider bl.a. av följande brister:  Den är otillräcklig för att implementera en talperceptionsmodell.  Den är oförmögen att hantera icke-lingvistisk variation orsakad av perspektivet och av skillnader mellan olika individers talapparater.  Den förbiser det faktum att talförmåga inte krävs för att förstå tal.

26 Motorteorin Dessa brister kan undvikas om analys-genom- syntes tillämpas på grundval av en abstrakt modell av talapparaten i stället för lyssnarens egen. Men då blir det en annan teori.

27 Modulationsteorin Motorteorin och andra gestbaserade teorier säger att tal är något som händer i en talapparat. Modulationsteorin säger däremot att tal är något som händer med en röst. Ref: Traunmüller (1994) Utvidgade versionen: "Speech considered as modulated voice” (på nätet).

28 Modulationsteorin Den ursprungliga frågeställningen: Om män, kvinnor och olika stora barn kan frambringa ljud med samma lingvistiskt informativa fonetiska kvalitet, vari består då likheten? Hur förhåller det sig när den expressiva kvaliteten varierar (attityder och emotioner), eller lyssnarens perspektiv (avstånd mm)?

29 Modulationsteorin Den tillkomna frågeställningen: Om barn och vuxna kan frambringa ljudsekvenser med samma lingvistiskt informativa fonetiska kvalitet, och detta vid olika röststyrka, tonläge, osv., hur kontrollerar de detta?

30 Modulationsteorin Teorin beskrivs av fyra satser. De första två svarar mot den ursprungliga frågeställningen. Den tredje är en slutsats som kan dras från dessa. Den fjärde svarar mot den utvidgade frågeställningen.

31 Modulationsteorin Sats 1: En talsignal är resultatet av att en talares röst har modulerats genom talrörelser.

32 Modulationsteorin Sats 1: En talsignal är resultatet av att en talares röst har modulerats genom talrörelser. Rösten fungerar alltså som en bärvåg. Dess egenskaper beror på organiska och expressiva faktorer.

33 Modulationsteorin Sats 1: En talsignal är resultatet av att en talares röst har modulerats genom talrörelser. Rösten fungerar alltså som en bärvåg. Dess egenskaper beror på organiska och expressiva faktorer. Röstens egenskaper är de hos en neutral vokal.

34 Modulationsteorin Sats 1: En talsignal är resultatet av att en talares röst har modulerats genom talrörelser. Sats 2: De auditiva egenskaperna hos talsignaler med samma lingvistiskt informativa kvalitet avviker från dem hos den omodulerade rösten i grunden på samma sätt.

35 Modulationsteorin Sats 1: En talsignal är resultatet av att en talares röst har modulerats genom talrörelser. Sats 2: De auditiva egenskaperna hos talsignaler med samma lingvistiskt informativa kvalitet avviker från dem hos den omodulerade rösten i grunden på samma sätt. Därmed definieras modulationsmönstret som den lingvistiskt informativa händelsen och som 'objektet' för talets produktion såväl som för dess perception.

36 Modulationsteorin Sats 1: En talsignal är resultatet av att en talares röst har modulerats genom talrörelser. Sats 2: De auditiva egenskaperna hos talsignaler med samma lingvistiskt informativa kvalitet avviker från dem hos den omodulerade rösten i grunden på samma sätt. Sats 3: Signalen måste demoduleras om de olika typerna av information ska kunna urskiljas.

37 Modulationsteorin Lyssnare ställer in sig på talarens röst, och de utvärderar avvikelserna hos signalens auditiva egenskaper från dem som de förväntar sig hos en neutral vokal med den föreliggande expressiva, organiska och perspektiviska kvaliteten.

38 Modulationsteorin Sats 4: Talare associerar de auditiva modulationsmönstren hos talsignaler med de kinestetiska och taktila förnimmelserna från sina egna talrörelser med samma fonetiska kvalitet.

39 Modulationsteorin Sats 4: Talare associerar de auditiva modulationsmönstren hos talsignaler med de kinestetiska och taktila förnimmelserna från sina egna talrörelser med samma fonetiska kvalitet. Därmed beskrivs en länk mellan den auditiva perceptionen av den lingvistiskt informativa kvaliteten hos tal (även det egna) och den somatosensoriska återkopplingen som tillåter talarna att kontrollera sin talproduktion.

40 Modulationsteorin Sats 4: Talare associerar de auditiva modulationsmönstren hos talsignaler med de kinestetiska och taktila förnimmelserna från sina egna talrörelser med samma fonetiska kvalitet. De lingvistiskt informativa modulationsmönstren beskrivs av spår i en multidimensionell rymd vars dimensioner representerar distiktiva egenskaper. I den mån dessa har fått en lingvistisk fonetisk etikett talar vi om "distinktiva särdrag".

41 Modulationsteorin och motorteorin Medan motorteorin bara förutsätter att det finns en process som tillåter lyssnare att härleda de talrörelser som de själva skulle behöva utföra för att frambringa en liknande talsignal, så är det just den processen som är modulationsteorins centrala ärende.

42 Ekoneuroner Den länk som beskrivs av modulationsteorins fjärde sats kan tänkas vara realiserad genom auditiva spegelneuroner (ekoneuroner) som representerar distinktiva särdrag.

43 Ekoneuroner Den länk som beskrivs av modulationsteorins fjärde sats kan tänkas vara realiserad genom auditiva spegelneuroner (ekoneuroner) som representerar distinktiva särdrag. En sådan neuron kan exciteras av en röstmodulation lika väl som av en somatosensorisk signal som kännetecknar ett särdrag.

44 Ekoneuroner Den länk som beskrivs av modulationsteorins fjärde sats kan tänkas vara realiserad genom auditiva spegelneuroner (ekoneuroner) som representerar distinktiva särdrag. En sådan neuron kan exciteras av en röstmodulation lika väl som av en somatosensorisk signal som kännetecknar ett särdrag. Antalet ekoneuroner kan antas vara betydligt större än antalet särdrag.

45 Ekoneuroner Den länk som beskrivs av modulationsteorins fjärde sats kan tänkas vara realiserad genom auditiva spegelneuroner (ekoneuroner) som representerar distinktiva särdrag. En sådan neuron kan exciteras av en röstmodulation lika väl som av en somatosensorisk signal som kännetecknar ett särdrag. Antalet ekoneuroner kan antas vara betydligt större än antalet särdrag. Talsegment representeras i den samtidiga aktiviteten i hela mängden ekoneuroner.

46 Ekoneuroner Barn kan antas etablera ekoneuroner genom att jollra, när ljudet hörs samtidigt med att rörelsen känns.

47 Ekoneuroner Barn kan antas etablera ekoneuroner genom att jollra, när ljudet hörs samtidigt med att rörelsen känns. Ett flertal olika faktorer bidrar till en naturlig klungbildning bland ekoneuronerna.

48 Ekoneuroner Barn kan antas etablera ekoneuroner genom att jollra, när ljudet hörs samtidigt med att rörelsen känns. Ett flertal olika faktorer bidrar till en naturlig klungbildning bland ekoneuronerna. Under talutvecklingens gång förses ekoneuronerna sedan på ett språkspecifikt vis med kategorietiketter, varigenom en ytterligare partitionering sker.

49 Ekoneuron Visuell modulation av ett ansikte Taktil förnimmelse av talrörelsen Kinestetisk förnimmelse av talrörelsen Auditiv modulation av en röst Fonetisk etikett

50 Ekoneuroner När lyssnare skattar snarlikheten mellan olika stimuli så väger de in alla associationer som dessa framkallar via ekoneuronerna.

51 Ekoneuroner När lyssnare skattar snarlikheten mellan olika stimuli så väger de in alla associationer som dessa framkallar via ekoneuronerna. Detta leder till att stimuli som har fått samma etikett bedöms som mer lika varandra än om de hade fått olika etiketter.

52 Ekoneuroner När lyssnare skattar snarlikheten mellan olika stimuli så väger de in alla associationer som dessa framkallar via ekoneuronerna. Detta leder till att stimuli som har fått samma etikett bedöms som mer lika varandra än om de hade fått olika etiketter. Det är detta som observeras i undersökningar av "kategorisk perception" och som förklarar den "perceptuella magneteffekten" (Kuhl, 1991).

53 Ekoneuroner När talutvecklingen är avslutad finns all den kunskap som talaren har om sambandet mellan exteroceptionen och proprioceptionen av samma fonetiska enheter permanent nedlagd i memorerade spår i ekoneuronsystemets multidimensionella särdragsrymd.

54 Ekoneuroner När talutvecklingen är avslutad finns all den kunskap som talaren har om sambandet mellan exteroceptionen och proprioceptionen av samma fonetiska enheter permanent nedlagd i memorerade spår i ekoneuronsystemets multidimensionella särdragsrymd. Så snart en ekoneuron aktiveras aktualiseras all denna implicita kunskap. Motoriska processer skulle inte kunna bidra till perceptionen med någonting därutöver.

55 Ekoneuroner Ekoneuronaktivitet i hjärnbarkens motoriska områden kan vara detekterbar vid talperception, men detta betyder inte nödvändigtvis att motoriska processer bidrar till perceptionen, utan bara att en ekvivalent artikulation har pekats ut.

56 Ekoneuroner Det motoriska systemet kan tänkas bli aktivt i försök att få grepp om en distinktion som man inte är van vid, t.ex. när man är utsatt för främmande språk eller dialekter. Den situationen liknar den vid utvecklingen av ens första språk, där det kan tänkas förekomma 'inre tal'.

57 Ekoneuroner En neuroradiologisk undersökning har visat förhöjd aktivitet i flera hjärnbarksområden hos japaner jämfört med infödda talare av engelska när de utsatts för distinktionen mellan [l] och [r]. Ref: Callan, Jones, Callan & Akahab-Yamada (2004).

58 Ekoneuroner I en likartad studie presenterades ett stort och varierat urval av konsonanter i [ ɑ_ɑ ]-kontext. Där visade det sig bl.a. att den neurala aktiviteten ökar när den självskattade producerbarheten hos främmande konsonanter minskar, men bara i auditiva områden. Ref: Wilson & Iacoboni (2006).

59 Ekoneuroner Modulationsteorins fjärde sats utesluter inte att det kan finnas ytterligare länkar mellan perception och produktion av tal.

60 Ekoneuroner Talets produktion kan vara länkad mera direkt med den visuella perceptionen av talrörelser.

61 Ekoneuroner Talets produktion kan vara länkad mera direkt med den visuella perceptionen av talrörelser. För detta talar att ”skuggare” klamrar fast sig vid talarens läppar vid skuggning av tal

62 Ekoneuroner Talets produktion kan vara länkad mera direkt med den visuella perceptionen av talrörelser. För detta talar att ”skuggare” klamrar fast sig vid talarens läppar vid skuggning av tal och att aktivitet i den motoriska hjärnbarken framkallas vid perception av tal när det finns en visuell talsignal.

63 Tal och gester Modulationsteorin och även motorteorin är i princip också tillämplig på talavläsning och på perceptionen av teckenspråk samt kroppsrörelser och poser i allmänhet. I dessa fall finns ett ansikte, en kropp eller ett skelett som 'moduleras' i stället för en röst. För att tillämpa modulationsteorins satser på dessa fall måste de översättas på ett lämpligt sätt.

64 Tal och gester Modulationsteorin och även motorteorin är i princip också tillämplig på talavläsning och på perceptionen av teckenspråk samt kroppsrörelser och poser i allmänhet. I dessa fall finns ett ansikte, en kropp eller ett skelett som 'moduleras' i stället för en röst. För att tillämpa modulationsteorins satser på dessa fall måste de översättas på ett lämpligt sätt. Men här finns inte tid för detta.

65 Tal och gester När den perspektiviska och den organiska variationen har eliminerats beskriver modulationen gesterna direkt. Då trivialiseras motorteorins andra påstående: (Att percipiera gester är att percipiera gester).

66 Tal och gester Det omedelbara samband som finns mellan perceptionen och produktionen av gester till skillnad från tal kan också ligga bakom det att aktivitet i hjärnbarkens motoriska områden uppstår vid visuell perception av tal, alltså vid onekligen gestbaserad perception.

67 Audiovisuell perception enligt motorterin: Perception av talrörelse (Ett percept)

68 Audiovisuell perception enligt motorterin: Perception av talrörelse (Ett percept) enligt modulationsteorin: Perception av röstmodulation och av talrörelse (Två urskiljbara percept)

69 Audiovisuell perception Att det finns två percept, som inte behöver överensstämma med varandra, det kan man lätt konstatera när man tittar på en dubbad film.

70 Audiovisuell perception Att det finns två percept, som inte behöver överensstämma med varandra, det kan man lätt konstatera när man tittar på en dubbad film. Det som man då hör utgör ett vokalt percept, och det som man ser ett gestuellt.

71 Audiovisuell perception Det som man hör är dock påverkat av den optiska signalen,

72 Audiovisuell perception Det som man hör är dock påverkat av den optiska signalen, vilket visar sig på ett slående sätt i McGurk- experiment,

73 Audiovisuell perception Det som man hör är dock påverkat av den optiska signalen, och det som man ser är påverkat av den akustiska signalen.

74 Audiovisuell perception Det som man hör är dock påverkat av den optiska signalen, och det som man ser är påverkat av den akustiska signalen. Detta visade sig bl.a. i en serie experiment som jag utförde tillsammans med Niklas Öhrström.

75 Audiovisuell perception

76 Slutsatser

77 Talets perception är länkad med dess produktion på hjärnbarksnivå, och detta är av fundamental betydelse för talförmågan.

78 Slutsatser Talets perception är länkad med dess produktion på hjärnbarksnivå, och detta är av fundamental betydelse för talförmågan. Motorteorins tre specifika påståenden är alla falska.

79 Slutsatser Talets perception är länkad med dess produktion på hjärnbarksnivå, och detta är av fundamental betydelse för talförmågan. Motorteorins tre specifika påståenden är alla falska. Modulationsteorin står på fast grund. Den är förenlig med observationerna och förklarar väsentliga aspekter hos talsignaler och i beteendet hos talaren, lyssnaren och barnet.