Presentation laddar. Vänta.

Presentation laddar. Vänta.

Labb 2: Syntax och ordklasstaggning Att arbeta med grammatiskt analyserade data.

Liknande presentationer


En presentation över ämnet: "Labb 2: Syntax och ordklasstaggning Att arbeta med grammatiskt analyserade data."— Presentationens avskrift:

1 Labb 2: Syntax och ordklasstaggning Att arbeta med grammatiskt analyserade data

2 2 Labb 2 Arbete med grammatiskt analyserad text Vilka ord finns i texten? Hur många ordtyper innehåller den? Hur ser fördelningen mellan olika ordklasser ut? använda kommandoradsverktyg i Unix för att sammanställa lexikon och fraslistor utvärdera och analysera verktyg för lingvistisk analys.

3 3 Plan Verktyg för lingvistisk analys Connexor Machinese Syntax Grundläggande Unix Unix-verktyg för textbehandling: grep, sed, cut, paste, sort, uniq, …

4 4 Verktyg för grammatisk analys ”Machinese Syntax” är ett program som analyserar ord med avseende på lemma (grundform) ordklass och morfologiska kategorier dependenser och dependensfunktioner Prova själv:

5 5 Utdata från analysprogram

6 6 Lemman Grundform som representerar ett ords samtliga böjningsformer (ung. uppslagsord i lexikon) Normalt väljs den oböjda (eller minst markerade) formen Lemma: dyka dyka, dyker, dök, dykte, dykt, dykas, dyks, döks, dyktes och dykts Lemman är beroende av ordklass bilar (bil om substantiv, bila om verb)

7 7 Lemman i Machinese Syntax

8 8 Automatisk ordklasstaggning Uppgift: att tilldela varje ord i en korpus en kategori som visar dess ordklass ev. med morfologisk information. Indata: textfil och resursdata (lexikon med ”taggar”, regler, …) Utdata: texten med en ordklasstagg för varje ord.

9 9 Morfologiska särdrag i svenska För substantiv: genus, kasus, numerus, bestämdhet För verb: tempus, diates, modus För adjektiv: genus, numerus, bestämdhet För (vissa) pronomen: person, kasus, numerus

10 10 Utdata från analysprogram

11 11 Hur svårt är ordklasstaggning? Homonymi svenska: var, runda, trumpet, fyrar, att, lurar… Homonymi engelska: can, book, import, snow, to, till… I Brown-korpusen (1 miljon ord) är över 40 procent av alla löpord mångtydiga vad gäller ordklass.

12 12 Hur svårt är ordklasstaggning? Enklast möjliga metod Välj den vanligaste ordklassen för varje ord Engelska: ca 9 av 10 textord får rätt ordklass Svenska: ca 7 av 10 textord får rätt ordklass Bästa tillgängliga system 94-98% beroende på texttyp

13 13 Syntaktisk parsning Parsning innebär att, automatiskt eller för hand, tilldela en mening en syntaktisk beskrivning (eller struktur) Hur hänger orden i meningen ihop? Labb 3 Parsning med frasstrukturgrammatik Dependensgrammatik Bygger på relationer mellan ord som speglar ”beroendeförhållanden”

14 14 Dependenser i grafiskt format Den gamla hunden äter frukost. det subjobj attr main

15 15 Utdata från analysprogram

16 16 Hur ska man tolka utdata? Tabbar mellan varje ”kolumn” Ordposition (med nummer) Ordform (som ordet ser ut i texten) Lemma (grundform) Funktionell dependens (syntaktisk funktion och position för styrande ordet) Ordklass & morfosyntaktiska särdrag a) huvudord/bestämningar b) ordklasskategori c) särdrag

17 17 I labben är inte alla delar centrala… 6 %NH N SG NOMobj:>4frukost 5 %MV V PRESmain:>0ätaäter4 %NH N SG NOMsubj:>4hundhunden3 %>N A NOMattr:>3gammalgamla2 %>N DET SG NOMdet:>3denDen1 0 Ordklass & morfologi Funk. dependens Stam/ Lemma Ordform Ord- pos.

18 18 Ordklasstaggar i Machinese Syntax V – verb N – substantiv PRON - pronomen A – adjektiv ADV - adverb PREP – preposition (på, i, under…) CC – samordnande konjunktion (och, men) CS – underordnande konjunktion (medan, att)

19 19 Ordklasstaggar i Machinese Syntax NUM – numeral (räkneord) DET – artikel (det, de, den, en, ett) AD – perfekt particip-form av verb, fungerar ofta som adjektiv (skjuten, upprörd, sluten) NDE – presens particip-form av verb, fungerar ofta som adjektiv NEG-PART – negativt adverb (inte, ej) INTERJ – interjektion (hejsan!) INFMARK – infinitivmärke (att)

20 20 Morfologiska kategorier Kasus: NOM – nominativ (grundform) GEN – genitiv ACC – ackusativ (objektsform) Numerus SG – singularis PL – pluralis

21 21 Morfologiska kategorier Komparering (adj/adv) - komparativ (dyrare) - superlativ (dyrast) Tempus och modus PRES – presens PAST – preteritum (imperfekt) INF – infinitiv IMP - imperativ

22 22 Användning av taggade data Korpuslingvistik Frekvensdata för lexikala enheter (dvs lemman) Hitta tendenser i hur ord fördelar sig på olika grammatiska funktioner Hitta tendenser i vilka ord som tenderar att vara subjekt resp. objekt till olika verb Språkteknologi Frågebesvarande system Översättning producera välformade översättningar …

23 23 Labb 2: Syfte Utifrån text som analyserats av Machinese Syntax ska ni skapa olika typer av lexikon/ordlistor. Med hjälp av dessa filer kan man besvara frågor som Vilka ord finns i texten? Vad räknas som ord? Hur många ordtyper innehåller den? Hur ser fördelningen mellan olika ordklasser ut? Använd kommandoradsverktyg i Unix för att skapa stamlexikon med graford och ordklass frekvensordlistor över lemma/stam och ordklass fraslistor för givna mönster/fraser, t.ex, nominalfraser bestående av "DET A N".

24 24 Labb 2: Syfte Utvärdering av automatisk ordklassanalys och språkliga kategorier som ges som utdata. Analysera prestanda: vad görs rätt och vad blir fel?

25 Unix kommandoradsverktyg ls – lista alla filer i arbetskatalogen cd – byt katalog rm – ta bort en fil/katalog mv – byt namn på en fil/katalog man – läs manualen för ett kommando man cut

26 Unix kommandoradsverktyg Textverktyg grepskriv ut rader som matchar ett RU sedsök och ersätt med RU trbyt ut eller ta bort tecken sortsortera rader uniqta fram unika rader cutklipp ut kolumner pastesätt ihop kolumner wcräknar rader, ord och tecken man visa manual för olika kommandon och verktyg

27 Verktyg – grep Textfilter Söker igenom en text rad för rad och skriver ut alla rader som innehåller den eftersökta strängen. grep ’sökuttryck’ textfil grep ’Karlsson’ textfil Eva Karlsson Sven Karlsson …

28 Grep Ggrep En version av grep som kan tolka utökade reguljära uttryck (URU). ggrep –E ’RU’ textfil Andra flaggor: -E använd utökade RU (Extended) -i matcha både små och stora bokstäver -w matcha ord dvs. strängar med ordgräns på varje sida.Motsvarar \b’reg. uttr.’\b -v inversen. Skriver ut varje rad som inte matchar sökuttrycket.

29 Verktyg – grep > ggrep -E ’coh’ textfil Bill coh Bull coh Maja. > ggrep -E ’Bill’ textfil Bill coh Bull > ggrep -E ’B.ll’ textfil Bill coh Bull

30 Sed Stream editor ”sök och ersätt” > gsed -r ’substitutionsuttryck’ textfil Substitutionsuttryck: s/sökuttryck/ersättningssträng/ Sökuttryck: ett reguljärt uttryck Ersättningssträng: en vanlig textsträng > sed ’s/coh/och/’ textfil Bill och Bull jagade Pelle och Maja.

31 Verktyg - sed Alla rader skrivs ut > sed ’s/coh/och/’ textfil Bill och Bull jagade Pelle och Maja. Ex.s/[0-9]/X/g g – alla förekomster på raden byts ut i – sökning på små och stora bokstäver

32 Sed forts. s/([KC]arlsson)/ \1 /g Astrid Lindgrens berömda barnbok ” Karlsson på taket” går på export. Ersättningsfältet kan innehålla referenser till sökuttrycket. ’/’ specialtecken i substitutionsuttryck

33 Omdirigering i Unix < - läs från en fil > - skriv till en fil > ! - skriv över innehållet i en fil >> - skriv sist i en fil | - pipe, skicka utdata från ett kommando som indata till ett annat

34 Omdirigering i Unix, exempel grep 'hej' fil.txt > hejrader.txt grep '^A' fil.txt > ordnat.txt grep '^B' fil.txt >> ordnat.txt tr 'U' 'u' < fil.txt | grep 'under' tr 'U' 'u' temp.txt grep 'under' temp.txt rm temp.txt

35 UNIX pipes > cat textfil.txt Bill coh Bull jagade Pelle, Maja coh deras vän Måns. > cat textfil | grep ‘de’ jagade Pelle, Maja coh deras vän Måns. > cat textfil | grep ‘de’ | sed ‘s/coh/och/g’ jagade Pelle, Maja och deras vän Måns.

36 Machinese Syntax textformat Fem tab-separerade (‘\t’) kolumner Sista kolumnen indelad med mellanslag %>N PRON SG GENattr:>4jagmin3 %NH N SG NOMobj:>2väska 4 %MV V PASTmain:>0packapackade2 %NH PRON SG NOMsubj:>2jagJag1 Ordklass & morfologiFunk. dependens Stam / lemma OrdformOrd- pos. 1\tJag\tjag\tsubj:>2\t%NH PRON SG NOM\n

37 Att välja kolumner med cut Kommandot cut plockar kolumner ur en textfil. Om inte annat anges, antar att kolumner avdelas med tab-tecken. De kolumner man vill ha anges med flaggan –f : cut –f1 text cut –f1,3 text cut –f2-4 text Flaggan –d används för att specificera ett annat avdelningstecken än ’\t’. cut -d ’#’ –f2

38 Exempel cut Endast kolumn fem cut –f5 labbtext.fdg > kolumn5.txt Alla utom fjärde kolumnen cut –f1-3,5 labbtext.fdg Dela vid mellanslag (-d delimiter) cut –d ‘ ‘ –f2 kolumn5.txt > kolumn5-2.txt

39 Slå ihop kolumner: paste Kommandot paste sätter ihop två eller fler filer till en ny fil Omvänd operation i jämförelse med cut Separerar kolumner med tab om inte –d används. Exempel: paste kolumn2.txt kolumn1.txt > kolumn2-1.txt

40 Sortera rader: sort Kommandot sort sorterar textrader Sorterar från början i teckenordning Flaggor: -d Sortera i alfabetisk ordning, bara bokstäver, siffror och blanktecken används -n Sortera efter siffror i början på raden -r Omvänd sorteringsordning (reverse) -k Specificera vilken kolumn som ska sorteras på, startkolumn och slutkolumn kan anges

41 Exempel sort Alfabetiskt sortering, ingen skillnad på gemener och versaler, baklänges sort –d –f –r fil.txt > sorterad-text Två filer i nummerordning sort –n fil1 fil2 > sorterad-fil1-2 Vad tar mest plats på kontot? du –ka | sort –nr | head

42 Vid duplicerade rader: uniq Kommandot uniq kan användas för att ta bort eller räkna duplicerade rader Förutsättning: raderna intill varandra, dvs filen måste vara sorterad! Exempel : uniq plural.txt > singular.txt sort indata | uniq –c > frekvensfil

43 Räkna ord: wc Räknar rader, ord och tecken i en fil wc artikel.txt Filen innehåller 350 rader, 5109 ord och tecken.

44 Fler Unix-verktyg cat – visa allt innehåll i en fil less – gå igenom innehållet i en fil q – avsluta /pattern – sök framåt ?pattern – sök bakåt more – ungefär som less head/tail – se början/slutet av en fil

45 Fler Unix-verktyg cd – byt katalog rm – ta bort en fil/katalog mv – byt namn på en fil/katalog man – läs manualen för ett kommando man cut

46 Bigram och trigramsfiler Bigram = två på varandra följande ord ”Den gamla hunden äter frukost” den gamla gamla hunden hunden äter äter frukost Lista 1: den gamla hunden äter frukost Lista 2: gamla hunden äter frukost

47 Köra många kommandon på en gång med skript Skriv in kommandona i en fil (kommando.sh): cut –f 2 indata > kolumn2 cut –f 1,3 indata > kolumn13 paste kolumn2 kolumn13 > kolumner213 rm kolumn2 kolumn13 Ändra rättigheter för filen: chmod u+x kommando.sh chmod 755 kommando.sh Kör filen: kommando.sh

48 Uppgift 1 & 2 Uppgift 1: skapa lexikon (ordlistor) m.h.a. cut, paste, sort och uniq utvärdera lemma och ordklassbestämning Uppgift 2: ta ut olika typer av flerordsfraser  Skapa egna bigram och trigram filer  Använd ordklasser och sökmönster utvärdera morfologiska särdrag

49 Uppgift 3 Frivillig VG uppgift Jämför ordklasskategorier och morfologiska särdrag från Machinese Syntax med Nusvensk grammatik Vilka skillnader finns det? Finns alla morfologiska särdrag med i verktygets uppmärkning? För- och nackdelar med olika uppdelningar av ordklasser och morfologiska särdrag.


Ladda ner ppt "Labb 2: Syntax och ordklasstaggning Att arbeta med grammatiskt analyserade data."

Liknande presentationer


Google-annonser