Relationen mellan IR och IE

Upplägg Vad är informationsåtkomst (IR)? Skillnader mellan IR och IE Hur kan IR och IE kombineras? Hur har IR och IE kombinerats? Diskussion

Vad är informationsåtkomst (IR)? nål i en nålstack lista med dokument som (kanske) matchar användarens informationsbehov jämförelse mellan sökfrågan och dokumenten i samlingen

Hur går det till? I huvudsak två processer: indexering  tokenisering  ta bort stoppord  trunkering (ibland lemmatisering) matchning  med avseende på likhetsmått frågan och dokumentet emellan  presenteras oftast i rankad lista

Olika typer av IR-system booleanska system dokument matchas mot frågan som består av olika booleanska kombinationer - ej rankad lista vektor-rymdsystem (vector-space) dokument och fråga representeras av vektorer termviktsmodell se nästa bild...

Termviktning termfrekvens (tf) vikt i proportion till antalet förekomster termen har i dokumentet invers dokumentfrekvens (idf) vikt inverst proportionell till antalet dokument i samlingen som innehåller termen i fråga dokumentets längd (dl) vikt som kompenserar för dokumentens varierande längd

Varför fungerar IR-systemen så pass dåligt?

Systemen förutsätter (generellt sett) att användare vet vad hon/han söker samt kan formulera detta sökbehov att användarens informationsbehov är konstant under hela sökningen att författaren till ett dokument vet vad hon/han vill ha sagt och kan formulera detta exakt att användaren vet vilka termer som används i ett dokument

Skillnader mellan IR och IE

Informationsextraktionssystem i jämförelse med IR-system är svårare, och kräver mer kunskap att bygga upp är mer bundet till domän och scenario kräver mer databehandling ger generellt sett högre precision möjliggör korsspråkliga operationer (CLIR)

Hur kan då IR och IE kombineras?

Tre förslag IE kan efterbehandla utdata från IR två exempel senare IE som komponent, t.ex. i indexering named entity (vårt stödverktyg) IE i samarbete med IR vid sökning och bläddring producera sammanfattningar

Exempel på tillämpningar1 Bear m.fl. (TREC-6) Använde IE som postfilter på IR-utdata Kombinerade SMART (IR) och FASTUS (IE)  SMART producerade lista med 2000 rankade dokument  en något modifierad FASTUS ämnade ranka om listan grammatikor på 23 av 47 ämnen matcha fraser i dokumenten med mönster i FASTUS  resultat: 12 ämnen över medianvärdet (varav 7 ganska bra) 3 samma som medianvärdet 8 under medianvärdet

Exempel på tillämpningar2 Grishman m.fl. (NYU) identifiera relationer och händelser i dok. som nyckelordsbaserade IR-system har svårt att klara gjorde mönster på en av frågorna (nr 9) från TREC-1 ZPRISE rankade de av NIST bedömda dokumenten extraktionsmaskinen rankade om resultat: Antal dokZPRISEZPRISE + em 1080%100% 2070%95% 50061%76%

Diskussion är det intressant att kombinera IR och IE? finns andra tillämpningsområden är de tre nämnda? kan det utvecklas till något användbart? schism mellan de två disciplinerna? vad har jag missat att ta upp?

SLUT Anna Jonsson