Presentation laddar. Vänta.

Presentation laddar. Vänta.

Föreläsning 2: Grundläggande informationsteori TSBK02 Bild- och ljudkodning Författare: Jörgen Ahlberg Översättning och modifiering:Robert Forchheimer.

Liknande presentationer


En presentation över ämnet: "Föreläsning 2: Grundläggande informationsteori TSBK02 Bild- och ljudkodning Författare: Jörgen Ahlberg Översättning och modifiering:Robert Forchheimer."— Presentationens avskrift:

1 Föreläsning 2: Grundläggande informationsteori TSBK02 Bild- och ljudkodning Författare: Jörgen Ahlberg Översättning och modifiering:Robert Forchheimer

2 Informationsteori Claude Shannon Claude Shannon: A Mathematical Theory of Communication The Bell System Technical Journal, 1948 Två versioner av Shannons ursprungliga publikation.

3 Från Scientific American-artikel  ”What is information? Sidestepping questions about meaning, Shannon showed that it is a measurable commodity”.  ”Today, Shannon’s insight help shape virtually all systems that store, process, or transmit information in digital form, from compact discs to computers, from facsimile machines to deep space probes”.  ”Information theory has also infiltrated fields outside communications, including linguistics, psychology, economics, biology, even the arts”.

4 Källa Kanal- kodare Käll- kodare Kanal Käll- avkodare mottagareKanal- avkodare Kanal Shannons Kommunikationsmodell

5 Grundläggande storheter Källa Kanal- kodare Käll- kodare kanal Käll- avkodare mottagareKanal- avkodare kanal H H: Källans informationstakt. H R R: Datatakten från källkodaren. R C C C C: Kanalkapaciteten

6 Shannon 2 Shannon 2: Källkodning och kanalkodning kan optimeras oberoende, och binära symboler kan användas som mellanformat. Förutsättning: godtyckligt lång fördröjning. Grundläggande teorem Källa Kanal- kodare Käll- kodare kanal Käll- avkodare mottagareKanal- avkodare kanalHR C C Shannon 1 Shannon 1: Felfri transmission möjlig om R>H and C>R.

7 Stokastiska källor  En källa genererar symboler X 1, X 2,...  Symbolerna tar sina värden från ett alfabet A = (a 1, a 2, …).  Modell: P(X 1,…,X N ) anses vara känd för alla kombinationer. Källa X 1, X 2, …

8 Exempel 1: En text är en följd av symboler som vardera tar sitt värde från alfabetet A = (a, …, ö, A, …, Ö, 1, 2, …9, !, ?, …). Exempel 2: En (digital) gråskalebild är en sekvens av symboler som vardera tar sitt värde från alfabetet A = (0,1) eller A = (0, …, 255).

9 Två speciella fall 1.Den minnesfria källan  Varje symbol är oberoende av tidigare symboler  P(X 1, X 2, …, X n ) = P(X 1 ) * P(X 2 ) * … * P(X n ) 2.Markovkällan  Varje symbol beror endast av föregående symbol.  P(X 1, X 2, …, X n ) = P(X 1 ) * P(X 2 |X 1 ) * P(X 3 |X 2 ) * … * P(X n |X n-1 )

10 Markovkällan  En symbol beror endast av den tidigare symbolen, så källan kan modelleras med ett tillståndsdiagram. a b c En ternär källa med alfabet A = (a, b, c).

11 Markovkällan  Antag vi är i tillstånd a, dvs., X k = a.  Sannolikheterna för nästa symbol är: a b c P(Xk+1 = a | Xk = a) = 0.3 P(Xk+1 = b bb b | Xk = a) = 0.7 P(Xk+1 = c | Xk = a) = 0

12 Markovkällan  På motsvarande sätt, om X k+1 = b, vet vi att X k+2 blir lika med c. a b c P(X k+2 = a | X k+1 = b) = 0 P(X k+2 =b | X k+1 = b) = 0 P(X k+2 = c | X k+1 = b) = 1 P(X k+2 = a | X k+1 = b) = 0 P(X k+2 = b | X k+1 = b) = 0 P(X k+2 = c | X k+1 = b) = 1

13 Markovkällan  Om alla tillstånden kan nås så kan de stationära sannolikheterna för tillstånden beräknas från de givna övergångssannolikheterna.  Om alla tillstånden kan nås så kan de stationära sannolikheterna  i = P(X k = a i ) för tillstånden beräknas från de givna övergångssannolikheterna.  Markovmodeller kan användas för att representera källor som har mer än ett stegs minne. –Använd tillståndsdiagram med flera symboler i varje tillstånd.

14 Analys och syntes  Stokastiska modeller kan användas för att analysera en källa. –Finn en modell som väl överensstämmer med en verklig källa. Analysera modellen istället för verkligheten.  Stokastiska modeller kan användas för att syntetisera en källa. –använd en slumpgenerator i varje steg i Markovmodellen för att skapa en signal som simulerar källan.

15 Information och Entropi Information och Entropi  Antag vi har en binär minnesfri källa t.ex. slantsingling. Hur mycket information får vi då vi får reda på att krona kommit upp? –Om myntet är korrekt, dvs, P (krona) = P (klave) = 0.5, säger vi att mängden information är 1 bit. –Om vi redan visste att krona kommit upp, dvs P (krona) = 1, så är mängen information lika med noll! –Om myntet är osymmetriskt, t.ex., P (krona) = 0.9, så är mängden information mer än noll men mindre än en bit! –Intuitivt, mängden information som tas emot är densamma om P (krona) = 0.9 or P (klave) = 0.9.

16 Självinformation  Låt oss se detta på Shannons sätt.  Antag vi har en minnesfri källa med –alfabet A = (a 1, …, a n ) –symbolsannolikheter (p 1, …, p n ).  Hur mycket information får vi när vi får reda på att nästa symbol är a i ?  Enligt Shannon är självinformationen för a i lika med

17 Varför det? Antag två oberoende händelser A and B, med sannolikheterna P(A) = p A and P(B) = p B. Sannolikheten att båda händelserna skall inträffa är p A * p B. Däremot bör mängden information adderas, ej multipliceras. Logaritmering löser detta! Dessutom vill vi att informationen skall öka med minskande sannolikhet så låt oss byta tecken:

18 Självinformation Exempel 1: Exempel 2: Vilken logaritm? Välj själv! Om du väljer naturliga logaritmen blir sorten nats, om du väljer 10-log, får du Hartleys, om du väljer 2-log (som är vanligast), så får du bitar.

19 Självinformation H(X) kallas för första ordningens entropi för källan. Detta kan också betraktas som graden av osäkerhet om vad nästa symbol kommer att ha för värde. I medel över alla symbolerna, så får vi:

20 Entropi Exempel l: Exempel l: Binär minnesfri källa BMK … Osäkerheten (informationen) är störst när kallas ofta Då är Låt

21 Entropi: Tre egenskaper 1.Man kan visa att 0 < H < log N. 2.Maximal entropi ( H = log N ) fås när alla symboler är lika sannolika, dvs, p i = 1/N. 3.Skillnaden log N – H kallas redundansen hos källan.

22 Entropi för minneskällor  Antag ett block av källsymboler (X 1, …, X n ) och definiera blockentropin:  Entropin för en minneskälla definieras som: Dvs, summationen görs över alla möjliga kombinationer av n symboler. Dvs, låt blocklängden gå mot oändligheten. Dividera med n för att få antal bitar / symbol.

23 Entropin för en Markovkälla Entropin för ett tillstånd S k kan uttryckas som Medelvärdesbildning över alla tillstånd ger entropin för Markovkällan P kl är övergångssannolikheten från tillstånd k till tillstånd l.

24 Skurlängdskällan  Vissa källor genererar långa skurar (”runs”) av samma symboler.  Exempel:  Sannolikheten för en skur av längd r : P(r) = (1-  ) r-1   Entropi: H R = -  r=1  P(r) log P(r)  Om den genomsnittliga skurländgen är , så är H R /  = H M. A B   

25 Källkodningsteoremet Entropin ger det minsta antalet bitar som möjliggör felfri representation av källan.

26 Källkodningsteoremet  Säger –att vi kan representera utsignalen från en källa X med H(X) bitar/symbol. –att vi inte kan göra bättre än så.  Säger oss inte –Hur man gör.


Ladda ner ppt "Föreläsning 2: Grundläggande informationsteori TSBK02 Bild- och ljudkodning Författare: Jörgen Ahlberg Översättning och modifiering:Robert Forchheimer."

Liknande presentationer


Google-annonser