Föreläsning 2: Grundläggande informationsteori TSBK02 Bild- och ljudkodning Föreläsning 2: Grundläggande informationsteori Författare: Jörgen Ahlberg Översättning och modifiering:Robert Forchheimer

Informationsteori The Claude Shannon: A Mathematical Theory of Communication Bell System Technical Journal, 1948 Två versioner av Shannons ursprungliga publikation.

Från Scientific American-artikel ”What is information? Sidestepping questions about meaning, Shannon showed that it is a measurable commodity”. ”Today, Shannon’s insight help shape virtually all systems that store, process, or transmit information in digital form, from compact discs to computers, from facsimile machines to deep space probes”. ”Information theory has also infiltrated fields outside communications, including linguistics, psychology, economics, biology, even the arts”.

Shannons Kommunikationsmodell Källa Kanal- kodare Käll- Kanal Käll- avkodare mottagare Kanal- Kanal

Grundläggande storheter Källa Kanal- kodare Käll- kanal C Käll-avkodare mottagare Kanal- avkodare kanal C H: Källans informationstakt. R: Datatakten från källkodaren. C: Kanalkapaciteten

Grundläggande teorem H R C C Källa Kanal-kodare Käll-kodare kanal C Käll-avkodare mottagare Kanal-avkodare kanal C Shannon 1: Felfri transmission möjlig om R>H and C>R. Shannon 2: Källkodning och kanalkodning kan optimeras oberoende, och binära symboler kan användas som mellanformat. Förutsättning: godtyckligt lång fördröjning.

Stokastiska källor En källa genererar symboler X1, X2, ... Symbolerna tar sina värden från ett alfabet A = (a1, a2, …). Modell: P(X1,…,XN) anses vara känd för alla kombinationer. Källa X1, X2, …

Exempel 1: En text är en följd av symboler som vardera tar sitt värde från alfabetet A = (a, …, ö, A, …, Ö, 1, 2, …9, !, ?, …). Exempel 2: En (digital) gråskalebild är en sekvens av symboler som vardera tar sitt värde från alfabetet A = (0,1) eller A = (0, …, 255).

Två speciella fall Den minnesfria källan Markovkällan Varje symbol är oberoende av tidigare symboler P(X1, X2, …, Xn) = P(X1) * P(X2) * … * P(Xn) Markovkällan Varje symbol beror endast av föregående symbol. P(X1, X2, …, Xn) = P(X1) * P(X2|X1) * P(X3|X2) * … * P(Xn|Xn-1)

Markovkällan En symbol beror endast av den tidigare symbolen, så källan kan modelleras med ett tillståndsdiagram. a b c 1.0 0.5 0.7 0.3 0.2 En ternär källa med alfabet A = (a, b, c).

Markovkällan Antag vi är i tillstånd a, dvs., Xk = a. Sannolikheterna för nästa symbol är: b 0.7 P(Xk+1 = a | Xk = a) = 0.3 P(Xk+1 = b | Xk = a) = 0.7 P(Xk+1 = c | Xk = a) = 0 a 0.5 1.0 0.3 c 0.2 0.3

Markovkällan På motsvarande sätt, om Xk+1 = b, vet vi att Xk+2 blir lika med c. a b c 1.0 0.5 0.7 0.3 0.2 P(Xk+2 = a | Xk+1 = b) = 0 P(Xk+2 = b | Xk+1 = b) = 0 P(Xk+2 = c | Xk+1 = b) = 1

Markovkällan Om alla tillstånden kan nås så kan de stationära sannolikheterna i = P(Xk = ai) för tillstånden beräknas från de givna övergångssannolikheterna. Markovmodeller kan användas för att representera källor som har mer än ett stegs minne. Använd tillståndsdiagram med flera symboler i varje tillstånd.

Analys och syntes Stokastiska modeller kan användas för att analysera en källa. Finn en modell som väl överensstämmer med en verklig källa. Analysera modellen istället för verkligheten. Stokastiska modeller kan användas för att syntetisera en källa. använd en slumpgenerator i varje steg i Markovmodellen för att skapa en signal som simulerar källan.

Information och Entropi Antag vi har en binär minnesfri källa t.ex. slantsingling. Hur mycket information får vi då vi får reda på att krona kommit upp? Om myntet är korrekt, dvs, P(krona) = P (klave) = 0.5, säger vi att mängden information är 1 bit. Om vi redan visste att krona kommit upp, dvs P(krona) = 1, så är mängen information lika med noll! Om myntet är osymmetriskt, t.ex., P(krona) = 0.9, så är mängden information mer än noll men mindre än en bit! Intuitivt, mängden information som tas emot är densamma om P(krona) = 0.9 or P (klave) = 0.9.

Självinformation Låt oss se detta på Shannons sätt. Antag vi har en minnesfri källa med alfabet A = (a1, …, an) symbolsannolikheter (p1, …, pn). Hur mycket information får vi när vi får reda på att nästa symbol är ai? Enligt Shannon är självinformationen för ai lika med

Varför det? Antag två oberoende händelser A and B, med sannolikheterna P(A) = pA and P(B) = pB. Sannolikheten att båda händelserna skall inträffa är pA * pB. Däremot bör mängden information adderas, ej multipliceras. Logaritmering löser detta! Dessutom vill vi att informationen skall öka med minskande sannolikhet så låt oss byta tecken:

Självinformation Exempel 1: Exempel 2: Vilken logaritm? Välj själv! Om du väljer naturliga logaritmen blir sorten nats, om du väljer 10-log, får du Hartleys, om du väljer 2-log (som är vanligast), så får du bitar.

Självinformation I medel över alla symbolerna, så får vi: H(X) kallas för första ordningens entropi för källan. Detta kan också betraktas som graden av osäkerhet om vad nästa symbol kommer att ha för värde.

Entropi Exempel l: Binär minnesfri källa Låt Då är BMK 0 1 1 0 1 0 0 0 … Låt Då är kallas ofta 1 0.5 Osäkerheten (informationen) är störst när

Entropi: Tre egenskaper Man kan visa att 0 < H < log N. Maximal entropi (H = log N) fås när alla symboler är lika sannolika, dvs, pi = 1/N. Skillnaden log N – H kallas redundansen hos källan.

Entropi för minneskällor Antag ett block av källsymboler (X1, …, Xn) och definiera blockentropin: Entropin för en minneskälla definieras som: Dvs, summationen görs över alla möjliga kombinationer av n symboler. Dvs, låt blocklängden gå mot oändligheten. Dividera med n för att få antal bitar / symbol.

Entropin för en Markovkälla Entropin för ett tillstånd Sk kan uttryckas som Pkl är övergångssannolikheten från tillstånd k till tillstånd l. Medelvärdesbildning över alla tillstånd ger entropin för Markovkällan

Skurlängdskällan Vissa källor genererar långa skurar (”runs”) av samma symboler. Exempel: Sannolikheten för en skur av längd r: P(r) = (1-)r-1 Entropi: HR = - r=1¥ P(r) log P(r) Om den genomsnittliga skurländgen är , så är HR/ = HM. A B  1-

Källkodningsteoremet Entropin ger det minsta antalet bitar som möjliggör felfri representation av källan.

Källkodningsteoremet Säger att vi kan representera utsignalen från en källa X med H(X) bitar/symbol. att vi inte kan göra bättre än så. Säger oss inte Hur man gör.