FST - Torbjörn Lager, UU 1 Datalingvistiska tillämpningar zMaskinöversättning zDialogsystem (ev. talad dialog, ev. multimodal) zTextförståelsesystem zInformationsextraktion.

En presentation över ämnet: "FST - Torbjörn Lager, UU 1 Datalingvistiska tillämpningar zMaskinöversättning zDialogsystem (ev. talad dialog, ev. multimodal) zTextförståelsesystem zInformationsextraktion."— Presentationens avskrift:

1 FST - Torbjörn Lager, UU 1 Datalingvistiska tillämpningar zMaskinöversättning zDialogsystem (ev. talad dialog, ev. multimodal) zTextförståelsesystem zInformationsextraktion zInformationssökning zGrammatikkontroll zDatorstödd språkinlärning zetc.

2 FST - Torbjörn Lager, UU 2 Datalingvistiska ‘komponentteknologier’ zAnalys och generering av tal zOrdklasstaggning zMorfologisk analys och generering zSyntaktisk analys (parsning) zSemantisk tolkning zReferenslösning zPlanering och planigenkänning zKunskapsrepresentation och inferens zetc.

3 FST - Torbjörn Lager, UU 3 Ordklasstaggning: Exempel 1 zHe can can a can zHe/pron can/aux can/vb a/det can/n zHe/{pron} can/{aux,n} can/{vb} a/{det} can/{n,vb}

4 FST - Torbjörn Lager, UU 4 Ordklasstaggning: Exempel 2 zI can light a fire and you can open a can of beans. Now the can is open and we can eat in the light of the fire. zI/PRP can/__ light/__ a/DT fire/NN and/CC you/PRP can/__ open/__ a/DT can/__ of/IN beans/NNS./. Now/RB the/DT can/__ is/VBZ open/__ and/CC we/PRP can/__ eat/VB in/IN the/DT light/__ of/IN the/DT fire/NN./.

5 FST - Torbjörn Lager, UU 5 Ordklasstaggning: Exempel 2 zI can light a fire and you can open a can of beans. Now the can is open and we can eat in the light of the fire. zI/PRP can/MD light/VB a/DT fire/NN and/CC you/PRP can/MD open/VB a/DT can/NN of/IN beans/NNS./. Now/RB the/DT can/NN is/VBZ open/JJ and/CC we/PRP can/MD eat/VB in/IN the/DT light/NN of/IN the/DT fire/NN./.

6 FST - Torbjörn Lager, UU 6 Olika typer av relevant information zlexikal information zkontextuell information

7 FST - Torbjörn Lager, UU 7 Varför ordklasstagga? zKorpuslingvistisk forskning zEtt försteg till ordbetydelsebestämning zEtt försteg till parsning z?

8 FST - Torbjörn Lager, UU 8 Part-of-speech tagging Processor Knowledge Text POS tagged text Needed: - some strategy for representing the knowledge - some method for acquiring the knowledge - some method of applying the knowledge

9 FST - Torbjörn Lager, UU 9 Some POS-tagging issues zAccuracy zSpeed zSpace requirements zRobustness zLearning Processor Knowledge Text POS tagged text

10 FST - Torbjörn Lager, UU 10 Vanliga indelningar zTaggningmetoder yregelbaserade ystatistiska zInlärningsmetoder y'Supervised learning' y'Unsupervised learning'

11 FST - Torbjörn Lager, UU 11 Formella verktyg zFormell logik zSannolikhetsteori och statistik zAutomatateori och matematisk lingvistik zAlgoritm- och komplexitetsteori

12 FST - Torbjörn Lager, UU 12 Taggningsmetoder zHMM-taggning ystatistikbaserad (probabilistisk) y'supervised learning' zBrilltaggning yregelbaserad y'supervised learning' zConstraint-Grammar tagging yregelbaserad yingen inlärning

13 FST - Torbjörn Lager, UU 13 Hidden Markov Modelling zstatistikbaserad zDen modiga ansatsen: "På basis av en sammanvägning av tillgänglig lexikal och kontextuell information, gissa!

14 FST - Torbjörn Lager, UU 14

15 FST - Torbjörn Lager, UU 15 Brilltaggning zStrategi: "Gissa först, men ändra sen om nödvändigt" zEnkelt "heuristiskt" lexikon zEn sekvens av transformationsregler betingade på lokal kontext: zRegelexempel: tag:vb>nn <- tag:dt@[-1]

16 FST - Torbjörn Lager, UU 16 Brilltaggning steg 1 zI can light a fire and you can open a can of beans. Now the can is open and we can eat in the light of the fire. zI/PRP can/MD light/JJ a/DT fire/NN and/CC you/PRP can/MD open/JJ a/DT can/MD of/IN beans/NNS./. Now/RB the/DT can/NN is/VBZ open/JJ and/CC we/PRP can/MD eat/VB in/IN the/DT light/JJ of/IN the/DT fire/NN./.

17 FST - Torbjörn Lager, UU 17 Transformation-based tagging zRepresentational strategy: ySimple lexica yOrdered lists of transformations, conditioned on (small amounts) of local context zLearning strategy: Transformation- based learning

18 FST - Torbjörn Lager, UU 18 Transformation-based tagging zThree steps: yLexical look-up yLexical rule application for unknown words yContextual rule application

19 FST - Torbjörn Lager, UU 19 Transformation-based tagging blue green red brown yellow blue red K. Samuel 1998

20 FST - Torbjörn Lager, UU 20 Lexikon för Brilltaggning IPRP NowRB aDT andCC beansNNS canMD eatVB fireNN inIN isVBZ lightJJ ofIN openJJ theDT wePRP youPRP.

21 FST - Torbjörn Lager, UU 21 'Constraint-Grammar'-taggning zRegelbaserad zDen försiktiga ansatsen: "Gissa inte! Eliminera bara det omöjliga!"

22 FST - Torbjörn Lager, UU 22 Ordklasstaggning: Exempel 2 zI can light a fire and you can open a can of beans. Now the can is open and we can eat in the light of the fire. zI/{PRP} can/{MD,NN} light/{JJ,NN,VB} a/{DT} fire/{NN} and/{CC} you/{PRP} can/{MD,NN} open/{JJ,VB} a/{DT} can/{MD,NN} of/{IN} beans/{NNS}./{.} Now/{RB} the/{DT} can/{MD,NN} is/{VBZ} open/{JJ,VB} and/{CC} we/{PRP} can/{MD,NN} eat/{VB} in/{IN} the/{DT} light/{JJ,NN,VB} of/{IN} the/{DT} fire/{NN}./{.}

23 FST - Torbjörn Lager, UU 23 Problem zAmbiguitet zOkända ord zOvanliga ord zOvanliga kontexter

24 FST - Torbjörn Lager, UU 24 Assessing the Brill tagger PARAMETER Accuracy96.5% SpeedVery fast Space req.Moderate RobustnessRobust LearningYes

25 FST - Torbjörn Lager, UU 25 Ordklasstaggning: Några ansatser zDen modiga ansatsen: "På basis av en sammanvägning av tillgänglig information, gissa! zDen försiktiga ansatsen: "Gissa inte! Eliminera bara det omöjliga!" zDen vankelmodiga ansatsen: "Gissa först, men ändra sen om nödvändigt"

26 FST - Torbjörn Lager, UU 26 Parsning z'Klassisk' parsning med frasstrukturgrammatik zYtparsning

27 FST - Torbjörn Lager, UU 27 En enkel frasstrukturgrammatik Fragment lisa springer lisa skjuter en älg Grammatik s --> np, vp. np --> pn. np --> det, n. vp --> v. vp --> v, np. pn --> [kalle]. pn --> [lisa]. det --> [en]. n --> [älg]. v --> [springer]. v --> [skjuter].

28 FST - Torbjörn Lager, UU 28 Igenkänning och Parsning zIgenkänning ?- s([lisa,springer],[]). yes ?- s([springer,lisa],[]). no zParsning  ?- s(Tree,[lisa,springer],[]). Tree = s(np(pn(lisa)),vp(v(springer)))

29 FST - Torbjörn Lager, UU 29 Parsning Frasstruktur

30 FST - Torbjörn Lager, UU 30 Bygga träd i ett argument Grammatik s(s(NP,VP)) --> np(NP),vp(VP). np(np(PN)) --> pn(PN). np(np(DET,N)) --> det(DET),n(N). vp(vp(V)) --> v(V). vp(vp(V,NP)) --> v(V), np(NP). pn(pn(lisa)) --> [lisa]. det(det(en)) --> [en]. n(n(älg)) --> [älg]. v(v(går)) --> [går]. v(v(skjuter)) --> [skjuter].

31 FST - Torbjörn Lager, UU 31 Bygga träd i ett argument Parsning ?- s(Tree,[lisa,skjuter,en,älg],[]). Tree = s( np( pn(lisa)), vp( v(skjuter), np( det(en), n(älg))))

32 FST - Torbjörn Lager, UU 32 Parsning med meta- interpretator s --> np, vp.det --> [en]. np --> pn.n --> [älg]. np --> det, n.tv --> [skjuter]. vp --> v, np.pn --> [lisa]. ? - parse(s,[lisa,skjuter,en,älg],[],Tree). Tree = s/(np/pn/lisa,vp/(v/skjuter,np/(det/en,n/älg)))

33 FST - Torbjörn Lager, UU 33 Parsning med meta- interpretator parse(A,P0,P,A/Trees) :- (A --> B), parse(B,P0,P,Trees). parse((B,Bs),P0,P,(Tree,Trees)) :- parse(B,P0,P1,Tree), parse(Bs,P1,P,Trees). parse([Word],[Word|P],P,Word).

34 FST - Torbjörn Lager, UU 34 Strukturell ambiguitet zDen gamla damen träffade killen med handväskan zJohn saw a man in the park with a telescope zRåttan åt upp osten och hunden och katten jagade råttan

35 FST - Torbjörn Lager, UU 35 Lokal ambiguitet zThe old man the boats zThe horse raced past the barn fell

36 FST - Torbjörn Lager, UU 36 Some parsing issues zAccuracy zSpeed zSpace requirements zRobustness zLearning Processor Knowledge Text Parsed text

37 FST - Torbjörn Lager, UU 37 Problems with traditional parsers zCorrect lowlevel parses are often rejected because they do not fit into a global parse -> brittleness zAmbiguity -> indeterminism -> search -> slow parsers zAmbiguity -> sometimes hundreds of thousands of parse trees, and what can we do with these?

38 FST - Torbjörn Lager, UU 38 Another strategy (Abney) zStart with the simplest constructions (’easy-first parsing’) and be as careful as possible when parsing them -> ’islands of certainty’ z ’islands of certainty’ -> do not reject these parses even if they do not fit into a global parse -> robustness zWhen you are almost sure of how to resolve an ambiguity, do it! -> determinism zWhen you are uncertain of how to resolve an ambiguity, don’t even try! -> ’containment of ambiguity’ -> determinism zdeterminism -> no search -> speed

39 FST - Torbjörn Lager, UU 39 Shallow syntax yanalyses less complete than conventional parser output yidentifies some phrasal constituents (e.g. NPs), without indicating their internal structure and their function in the sentence. yor identifies the functional role of some of the words, such as the main verb, and its direct arguments.

40 FST - Torbjörn Lager, UU 40 Deterministic bottom-up parsing zAdapted from Karttunen 1996: define NP [(d) a* n+] ; regex NP @-> “[NP”... “]”.o. v “[NP” NP “]” @-> “[VP”... “]” ; apply down dannvaan [NP dann][VP v [NP aan]] zNote the use of the longest-match operator!

41 FST - Torbjörn Lager, UU 41