PROSODINS MEKANIK talande maskiner och maskinellt tal Staffan Larsson April 2003 ”Mitt Hjärtas Melodi”

Översikt Talande maskiner –Talsyntes Källa-filter-modellen Formantsyntes Linjär prediktion Formantsyntes och sång –Emotionell prosodi i formantsyntes Maskinellt tal –Mekaniska strukturer –Åke Hodell: General Bussig, Igevär –Steve Reich: Different Trains –Charles Dodge: Speech Songs –Med mera

Grunder Övertoner (harmoniska) –Ett harmoniskt ljud med grundfrekvens F har övertoner med frekvens 2F, 3F, … Filter –Ändrar amplituden hos övertoner –Resonansfilter/bandpassfilter: förstärker övertoner kring en viss frekvens Sampling –Diskretisering i tid; indelning i ”frames” Kvantisering –Diskretisering av varje tidsutsnitt

Talande maskiner

Text till tal En abstrakt lingvistisk representation av en text genomgår ett antal transformationer som resulterar i en akustisk vågform

Talsyntes Källa-filter-modellen F0 modellerar glottis; en övertonsrik grundton Filtret modellerar munhålan PITCH-PULSE GENERATOR NOISE GENERATOR RESONATION SYSTEM (FILTER) F0 SPEECH AMP

Talsyntes forts. Filtermodeller –Formantsyntes –Linear Predictive Coding (LPC) Syntesmetoder –Regelbaserad: baserat på teori implementerad i regelsystem –Analysbaserad: baserad på inspelat tal (vanligtvis samplat) Resultatet av analysen är en uppsättning dynamiska parametrar

Formantsyntes Akustisk modell –Filtret analyseras som ett antal formanter, F1-F4 –Normalt varieras bara F1 och F2; resten är statiska Formanterna modelleras av bandpassfilter med variabel frekvens –Parallell- eller seriekopplade Vokaler definieras av värden på formantfrekvenserna Vissa konsonanter kan modelleras som lokuspunkter –Andra konsonanter modelleras som brus, (”s”, ”f”)

Tidiga exempel på talsyntes Bell labs (1950) –forskning om analys och syntes av tal i syfte att minimera mängden information som skickas t ex i en telefonledning Vocoder –Analysera tal som akustiska parametrar F0/noise 10 bandpassfilter med variabel amplitud –Använd dessa parametrar för att driva syntes som approximerar originalet Voder * –Manuell kontroll av parametrar Pattern Playback * –Parametrar styrs av spektrogramläsare

OVE I Oratis Verbis Electris –Gunnar Fant –Svensk vokalformantsyntes från 50-talet –utvecklades främst i pedagogiskt syfte, men kan möjligen även ses som ett mellanting mellan musikinstrument och talmaskin. Fyra seriekopplade bandpassfilter –F0, F1 och F2 styrs manuellt Demo * –Analog –Digital

Ove II

Linjär prediktion Artikulatorisk modell –Filtret modellerar munhålan, modellerad som en tub med ett antal cylindriska sektioner av olika längd och diameter Filter: ett ”all-pole” filter Predicera nästa sampel baserat på viktad summa av föregående samples Mer realistisk återgivning –MEN svårare att kontrollera parametrar, t ex F0; filtret är instabilt

Regelbaserad vs. Analysbaserad syntes Regelbaserad: regler för övergångar mellan fonem –Formant: regler för formantövergångar, lokusteori (OVE II) –LPC: regelbaserad konkatenering (Klatt, Arkiv B&C)* Analysbaserad: sampling och analys av mänskligt tal –Formant: formantdetektion –LPC: den metod som numera är vanligast Manuell syntes –Ove, VODER

Flera talsyntessystem DECtalk (1980-) * –Baserad på KlattTalk (formantsyntes) –Formanter, lokusregler –Flera olika röster (Klatt, arkiv D) Speak and Spell (1980) –Linjär prediktion

Emotionell prosodi i formantsystes Formantsyntes har även använts i forskning på prosodins roll i uttryckandet av emotioner Janet Cahn –The Generation of Affect in Synthesized Speech –Affect Editor (program) Grundantagandern –Affektinformation är i stort sett oberoende av lexikal information –Emotioners effekt på talsignalen kan kvantifieras

Tidigare forskning… …om akustiska korrelat till emotioner –Sporadiskt sedan 40-talet –Primära parametrar: F0 och rytm Dessa parametrar kan kontrolleras i syntes Fysiologiska förklaringar (Williams & Stevens 1981) –Sympatiska(?) nervsystemet aktiveras (rädsla, ilska, glädje) > högre blodtryck och puls > högljutt, snabbt tal med hög frekvensenergi –Paraympatiska nervsystemet aktiveras (uttråkadhet, sorg) > lägre blodtryck och puls > långsamt tal med låg tonhöjd och frekvensenergi

Alternativa representationer Generativ modell –Utgår från talarens mentala tillstånd Akustisk modell –Utgår från den akustiska signalen som den uppfattas av åhöraren –En uppsättning parametrar som motsvarar talsignalens emotionella korrelat Den förra är teoretiskt mer intressant, men den andra är enklare –Lättare att kvantifiera och utvärdera –Vi vet mer om akustiska än mentala korrelat

Affektparametrar Fyra grupper –Tonhöjd (pitch): egenskaper hosF0 –Timing: rytm och talhastighet –Röstkvalitet –Artikulation Tonhöjd och timing är även egenskaper hos ord och fraser Ej absolut indelning Parametrar har värden mellan –10 och 10; 0 är neutral

Tonhöjdsparametrar Accent shape: the rate of F0 change for any pich accent –Pitch accent: distinctive pitch applied to the lexically stressed syllable of a word such that the word as a who is percieved as reciveving sentential stress Average pitch: average F0 relative to speaker’s normal pitch Countour slope: overall trend of pitch range (expanding, contracting or level) Final lowering: terminal pitch contour Pitch range: range of F0 variation Reference line

Timingparametrar Fluent pauses: frequency of pausing between syntactic or semantic units Hesitation pauses: frequency of pausing within syntactic or semantic units Speech rate Stress frequency: ratio of stressed (pitch accented) to stressable (potentially pitch accented) words

Röstkvalitetsparametrar Breathiness: amount of frication noises co-present with nonfricatives Brilliance: ratio of low to high frequency energy Laryngearization: narrow and irregular subglottal pulse; ”creakiness” Loudness: percieved loudness Artikulationsparametrar Precision: degree of slurring or enunciation

Affect Editor Akustisk beskrivning av emotionellt tal > syntetiskt expressivt tal Syntes: DECtalk3 –Stor grad av kontroll över prosodi och röstkvalitet Mappning –från akustiska parametrar + text (annoterad med intonation och ordklassinformation) –till syntesens inställningar + fonologisk representation >ghostview

Exempel Stimuli för experiment

Formantsyntes av sång (Dodge) Kräver mer komplex modell av munhålan (mer komplext filter) Interaktion mellan glottis och munhåla ”Sångformanten” –Lägre frekvens på F4 och F5 än i tal –F4 och F5 ligger nära varandra ( Hz)

Sångsyntes: tidiga exempel Bell labs (1961) –1961: Max Mathews (with the assistance of a number of technicians at Bell Labs) made a computer sing "Bicycle Built for Two."Bicycle Built for Two DAVO (1958) * –Georg Rosen, MIT Charles Dodge (mer senare)

Mekaniskt tal

Mekaniska strukturer (Manovich) Mekanisering av media: diskretisering –Sampling –Kvantisering Möjliggör mekaniska operationer –Upprepning, loopning –Utsträckning i tid –Gradvis modifiering / modulering –Överlagring (”compositing”) Har även använts inom ljudkonst och musik

”Cross-synthesis” (Dodge) Analys – manipulation – syntes –Tal samplas och analyseras som parametrar som kodas digitalt (vanligtvis LPC) –Valda parametrar manipuleras –Återsyntes med manipulerade parametrar Vanliga operationer –Kopiera parametrar från en sekvens till en annan; skapa repetitioner –Interpolera värdet av en given parameter för en sekvens (värde 1 -> värde 2) –Förläng en sekvens i tid –Ändra värdet på en parameter i en sekvens till ett fixt värde –Öka värdet på en parameter i en sekvens till ett fixt värde

Ljudkonst och tal ”Konkret poesi” –Utgångspunkten är talets fysiska egenskaper, snarare än innehållet –I Sverige: Fylkingen (Sten Hansson, Ilmar Laaban, Åke Hodell mfl) EMS, Stockholm –1960-tal –En av världens mest avancerade ljudstudios (ryms numera på en billig PC) –Ej digital sampling, men analog teknik med linkande möjligheter; dock mycket arbetsamt

Åke Hodell General Bussig * –Upprepning, gradvis modifiering –Noggrant modulerad prosodi, närmar sig musik Igevär * –Utsträckning i det absurda –Från språkljudet abstraheras det språkliga bort, kvar blir ett ljud som balanserar på gränsen mellan mänskligt och mekaniskt

Steve Reich Different Trains * Använder talets prosodiska melodi som grundmaterial för musikaliska figurer Sampling, överlagring, upprepning Melodi i tal och musik –Tal: glidande toner (glissando) –Musik: diskreta toner –Transformation av F0 till melodi innebär en ytterligare (manuell) ”sampling”, d v s diskretisering i tid och tonhöjd

Charles Dodge Sysslade tidigare med orkester- och kammarmusik Speech Songs (1972) –”A man sitting in a cafe”A man sitting in a cafe –Detta är en dikt inläst av Dodge som analyserats och återsyntetiserats –Modifierad F0, repetition, m.m. Any similarity is purely coincidental –”cross synthesis” av inspelning av Caruso

Andra artister som använder talsyntes Nämnda i Computer Music: –Paul Lansky –Frances White –Judy Klein –386DX –Gamers In Exile Samt ett flertal som använder vocoder

Sammanfattning Tal kan mekaniseras –samplas, analyseras, lagras, manipuleras och syntetiseras Exempel på detta är –Talsyntes Formantsyntes Linear Predictive Coding –Sångsyntes –Språkbaserad ljudkonst och musik Tal, även syntetiskt, bär emotioner –Vare sig man vill eller ej –Kan i viss mån kontrolleras –Kan utnyttjas i konstnärliga syften Mekaniskt tal är verkligen märkligt/konstigt/knäppt! –Varför?

A: the consonant /d/ before a series of vowels having the same F1. The second formant transition appears to originate from an invisible locus at 1800 Hz, after Delattre et al. (1955). B: If the second formant onset frequency (hub) is fixed at 1800 Hz, left panel, several different consonants are heard.

En abstrakt lingvistisk representation av en text genomgår ett antal transformationer som resulterar i en akustisk vågform Text till tal:

Genusperspektiv? Talsyntes oftast manliga röster Svårare att syntetisera kvinnliga röster? –Svårare att analysera pga färre övertoner –Att minska storleken på den simulerade munhålan samt höja F0 fungerar inte ”Mannen är normen” –De flesta analyser av tal utgår från manliga talare –Inte konstigt att denna modell inte omedelbart fungerar för att syntetisera kvinnligt tal