Dialogsystemet GoDiS Staffan Larsson GU Dialogue Systems Lab Göteborgs Universitet / IT-Universitetet

GU Dialogue Systems Lab Forskargrupp vid GU + Chalmers –Forskare från institutionen för lingvistik och inst. för datavetenskap –2 professorer, 1 docent, 2 Fil. Dr. –6 doktorander, 4 biträdande forskare Finansierad av –IT-universitetet –Humanistisk Fakultet, GU Lokaler på IT-Universitetet, Lindholmen Fokus på generiska teknologier för forskning och utveckling av dialogsystem och dialogsystemsapplikationer

EU-Projekt Mångårigt samarbete med ledande europeiska och amerikanska forskare inom dialogsystem TRINDI (Task Oriented and Instructional Dialogue, 97-00) –Utveckling av Information State Approach –TrindiKit, GoDiS SIRIDUS (Specification, Interaction and Reconfigurability in Dialogue Understanding Systems, 00-02) –Fortsättning på TRINDI; vidareutveckling D’Homme (Dialogue in the Home Environment, 01) –Intelligenta hem; Telia deltog TALK (Talk and Look, Tools for Ambient Linguistic Knowledge, 04-06) –Under förhandling –Flerspråkiga system, multimodalitet –”In-car” och ”In-home” scenario

Samarbetspartners Stanford University, USA (Center for the Study of Language and Information) King’s College, London, Department of Computational Linguistics, Universität des Saarlandes DFKI, Saarbrucken Linguamatics Ltd, Cambridge Universities of Edinburgh and Glasgow (Human Communication Research Centre) University of Essex (Department of Computer Science), State University of New York, Stony Brook, USA (Departments of Psychology & Computer Science), NLPLAB at Linköping University Department of Speech Music and Hearing at KTH, Stockholm Department of Computing Science, Chalmers/Göteborg University TELIA Bosch BMW...

Forskning om dialog och dialogsystem målsättning: –utveckla teorier om dialog som kan användas i byggandet av dialogsystem –utforska dialogsystems möjligheter som gränssnitt till prylar, teknologi och tjänster

Dialogsystem Datorprogram som möjliggör interaktion med (eller via) datorer med hjälp av naturliga språk såsom svenska, engelska, japanska etc. Med dialogsystem avses normalt system som klarar längre dialoger, inte bara en fråga följd av ett svar. Både talad och skriven dialog är relevant, liksom kombinationer av skriven/talad dialog och mer traditionell grafikbaserad människa-datorinteraktion (multimodalitet)

Verktyg utvecklade vid GU Dialogue Systems Lab TrindiKit –En verktygslåda för forskning om och utveckling av dialogsystem, utvecklad i EU-projekten TRINDI, Siridus och TALK –Implementerad i Prolog GoDiS (Gothenburg Dialogue System) –Utvecklad m h a TrindiKit –Implementation av en generell teori om dialog: “Issue-based Dialogue Management” –Teoretiskt motiverad men med praktiska syften: flexibel människa-maskin-interaktion med naturligt tal lätt (och billigt) att utveckla ny applikationer

GoDiS: Generella lösningar på generella problem Har systemet och användaren hört och förstått varandras yttranden (“grounding”) Användaren kan ge information i fri ordning (“accommodation”) Användaren kan ta egna initiativ, och systemet kan hantera flera samtidiga samtalsämnen / uppgifter (“multiple tasks”) Systemet genererar klargörande frågor om osäkerhet uppstår (”clarification”) med mera...

Accommodation  Strategi:  Användarens yttrande ses som svar på en fråga  Om frågan ännu inte ställts, så letar systemet efter matchande frågor  Om mer än en fråga matchar, så ställs en klarifieringsfråga  När all information samlats in, kan systemet gå vidare och t ex utföra en efterfrågad handling Användaren kan presentera information i fri ordning –U: Lägg till ett program idag klockan fem –S: Vilken kanal?  Användaren kan ge information utan att uppgiften ännu är känd –U: Kanal fem klockan sju –S: Jag antar att du vill lägga till ett program... När ska inspelningen sluta?  Klarifiering:  U: Kanal fem  S: Kanal fem. Jag förstår inte riktigt. Vill du byta kanal eller lägga till ett program?

Grounding Systemet ger feedback för att se till att systemet och användaren –hör varandra –förstår varandras yttranden –förstår syftet med varandras yttranden –accepterar varandras yttranden Tre polariteter för feedback –positiv: säker hypotes finns –negativ: ingen hypotes finns –checking: osäker hypotes finns Typ av feedback väljs beroende på taligenkänningskvalitet

Grounding on multiple levels S> Lets see. What can I do for you? U> (mumble mumble) S> Sorry, I didnt hear what you said. What can I do for you? U> siridus S> I heard you say siridus. Sorry, I dont understand. What can I do for you? U> channel one S> channel one. I dont quite understand. Do you want to add a program or change channel? Negative perception feeback Positive perception Negative understanding (sem) Positive understanding (word meaning) Negative understanding (und) Task clarification

U> turn on the t v S> turn on the TV… Sorry, I cannot control the TV set. Do you want to add a program or change channel?” U> pardon S> Sorry, I cannot control the TV set. Do you want to add a program or change channel? U> change channel S> Okay. Rejection (negative acceptance feedback) Positive understanding User negative perception System repetition Positive acceptance

Task switching Systemet kan hantera flera samtalsämnen Användaren kan ställa motfrågor –S: När ska inspelningen börja? –U: Vad är klockan? –S: Klockan är 17:45. Återvänder till att lägga till inspelning. När ska inspelningen börja? Användaren kan ge nya order mitt i ett samtal –S: När ska programmet sluta? –U: Ställ klockan –S: Vilken tid ska klockan ställas till?

Från meny till dialog Väldigt många teknologier har menybaserade interface Vi har utvecklat en metod för att konvertera från meny till dialog –från existerande menybaserade grafisk interface –till dialogplaner som kan användas av GoDiS Gör det möjligt att utnyttja GoDiS flexibla dialoghanteringsmekanismer i talad interaktion med menystyrd teknologi

Meny vs. dialog: Nackdelar med menyer Man måste följa den förbestämda menystrukturen Strukturen kan vara krånglig och svår att lära sig Man måste använda både ögon och händer

Meny vs. dialog: Fördelar med dialog Ge information i den ordning man vill  nybörjare kan lugnt navigera i menystrukturen och besvara en fråga åt gången  erfarna användare kan ge all information i ett enda yttrande  Ge information utan att specificera vad man ska göra med den Göra flera saker på en gång Ej nödvändigt att lära sig menystrukturen utantill Ägna händer och syn åt annat

Pågående forskning och utveckling av GoDiS Multimodal menybaserad dialog –Dialogapplikationen och det grafiska menyinterfacet har samma grundstruktur Enklare och snabbare utveckling av grammatikkomponenter –I samarbete med Datavetenskap, GU Flerspråkiga system; enkel anpassning till nya språk Koppling till standarder (W3C)

Några ytterligare fördelar med GODiS ”Rapid prototyping” –När man lärt sig systemet kan en ny prototypapplikation implementeras på några timmar Metoder och teknologier för att konvertera existerande menysystem kan till dialogapplikationer Flexibel dialoghantering –När man utvecklar en ny applikation får man mycket gratis; bara det domänspecifika behöver läggas till

input inter- pret TIS DEVICES LEXICON DOMAIN backend interface control updateselect gene- rate output lexicon domain knowledge DME

TrindiKit Issue-based Dialogue Management Applikationsspecifika resurser GoDiS applikation information state approach GoDiS och applikationer

Anpassat till flera olika domäner resebyrå (TRINDI) video (SIRIDUS, D’Homme, ILT) mobiltelefon (kursprojekt) biobokning (exjobb) internetsökning (exjobb) kalender (exjobb, TALK) sökning i databas med begagnade bilar (exjobb) styrning av videokonferenssystem (exjobb) MP3-spelare (TALK) lampor (TALK) andraspråksundervisning på nätet (exjobb) Dico

Dialogsystem inom industri och akademi Inom industrin har fokus legat på hårt begränsade dialoger –systemet har initiativet, användaren följer med –två skäl: taligenkänningskvalitet, frånvaro av alternativ Inom akademisk forskning ligger fokus på friare och mer flexibel dialog –(dock viktigt att systemet kan ta initiativet under inlärningsfasen) –användaren kan säga vad som helst när som helst, och systemet ska kunna hantera det

Akademi + Industri = sant Avancerad dialogsystemsteknologi är färdig för steget in i industrin Både industri och akademi behöver den andre för att komma vidare –Den akademiska teknologin går (nästan) att använda i den riktiga världen – men för att ta sista steget måste vi samarbeta –Industrin har kunskap om kundernas behov, och kan göra ordentliga utvärderingar av system och applikationer Akademiska forskare siktar (av vetenskapliga skäl) på generella lösningar –Men generella lösningar är också ekonomiska lösningar – det är billigare att lösa ett problem en gång än att lösa det om och om igen!

Sammanfattning GU Dialogue Systems Lab är ett internationellt etablerat forskningslabb som bedriver forskning om dialog och dialogsystem i syfte att förbättra kommunikationen i gränssnitt mellan människa och teknologi. Vi har utvecklat teknologi som är färdig att ta steget ut i verkliga applikationer och som har klara fördelar jämfört med existerande kommersiella lösningar. För att komma vidare behövs ett nära samarbete mellan industri och akademi.