Relationen mellan IR och IE Upplägg Vad är informationsåtkomst (IR)? Skillnader mellan IR och IE Hur kan IR och IE kombineras? Hur har IR och IE kombinerats?

En presentation över ämnet: "Relationen mellan IR och IE Upplägg Vad är informationsåtkomst (IR)? Skillnader mellan IR och IE Hur kan IR och IE kombineras? Hur har IR och IE kombinerats?"— Presentationens avskrift:

1

2 Relationen mellan IR och IE

3 Upplägg Vad är informationsåtkomst (IR)? Skillnader mellan IR och IE Hur kan IR och IE kombineras? Hur har IR och IE kombinerats? Diskussion

4 Vad är informationsåtkomst (IR)? nål i en nålstack lista med dokument som (kanske) matchar användarens informationsbehov jämförelse mellan sökfrågan och dokumenten i samlingen

5 Hur går det till? I huvudsak två processer: indexering  tokenisering  ta bort stoppord  trunkering (ibland lemmatisering) matchning  med avseende på likhetsmått frågan och dokumentet emellan  presenteras oftast i rankad lista

6 Olika typer av IR-system booleanska system dokument matchas mot frågan som består av olika booleanska kombinationer - ej rankad lista vektor-rymdsystem (vector-space) dokument och fråga representeras av vektorer termviktsmodell se nästa bild...

7 Termviktning termfrekvens (tf) vikt i proportion till antalet förekomster termen har i dokumentet invers dokumentfrekvens (idf) vikt inverst proportionell till antalet dokument i samlingen som innehåller termen i fråga dokumentets längd (dl) vikt som kompenserar för dokumentens varierande längd

8 Varför fungerar IR-systemen så pass dåligt?

9 Systemen förutsätter (generellt sett) att användare vet vad hon/han söker samt kan formulera detta sökbehov att användarens informationsbehov är konstant under hela sökningen att författaren till ett dokument vet vad hon/han vill ha sagt och kan formulera detta exakt att användaren vet vilka termer som används i ett dokument

10 Skillnader mellan IR och IE

11 Informationsextraktionssystem i jämförelse med IR-system är svårare, och kräver mer kunskap att bygga upp är mer bundet till domän och scenario kräver mer databehandling ger generellt sett högre precision möjliggör korsspråkliga operationer (CLIR)

12 Hur kan då IR och IE kombineras?

13 Tre förslag IE kan efterbehandla utdata från IR två exempel senare IE som komponent, t.ex. i indexering named entity (vårt stödverktyg) IE i samarbete med IR vid sökning och bläddring producera sammanfattningar

14 Exempel på tillämpningar1 Bear m.fl. (TREC-6) Använde IE som postfilter på IR-utdata Kombinerade SMART (IR) och FASTUS (IE)  SMART producerade lista med 2000 rankade dokument  en något modifierad FASTUS ämnade ranka om listan grammatikor på 23 av 47 ämnen matcha fraser i dokumenten med mönster i FASTUS  resultat: 12 ämnen över medianvärdet (varav 7 ganska bra) 3 samma som medianvärdet 8 under medianvärdet

15 Exempel på tillämpningar2 Grishman m.fl. (NYU) identifiera relationer och händelser i dok. som nyckelordsbaserade IR-system har svårt att klara gjorde mönster på en av frågorna (nr 9) från TREC-1 ZPRISE rankade de av NIST bedömda dokumenten extraktionsmaskinen rankade om resultat: Antal dokZPRISEZPRISE + em 1080%100% 2070%95% 50061%76%

16 Diskussion är det intressant att kombinera IR och IE? finns andra tillämpningsområden är de tre nämnda? kan det utvecklas till något användbart? schism mellan de två disciplinerna? vad har jag missat att ta upp?

17 SLUT Anna Jonsson