Presentation laddar. Vänta.

Presentation laddar. Vänta.

Robert Forchheimer, Linköpings Universitet Information Coding Föreläsning 1: Bild- och ljudkodning 1.Kursöversikt 2.Introduktion till bild- och ljudkodning.

Liknande presentationer


En presentation över ämnet: "Robert Forchheimer, Linköpings Universitet Information Coding Föreläsning 1: Bild- och ljudkodning 1.Kursöversikt 2.Introduktion till bild- och ljudkodning."— Presentationens avskrift:

1 Robert Forchheimer, Linköpings Universitet Information Coding Föreläsning 1: Bild- och ljudkodning 1.Kursöversikt 2.Introduktion till bild- och ljudkodning - syfte - historik - antal bitar per bildpunkter/sampel 3.Två principiella klasser : distorsionsfri och distorderande kodning 4.Modeller för bild- och ljudsignaler samt därav inspirerade kodningsmetoder

2 Robert Forchheimer, Linköpings Universitet Information Coding Kursöversikt - föreläsningar F1:Introduktion till bild- och ljudkodning F2:Informationsteoretiska begrepp F3: Källkodningsteori, Huffmankodning F4:Aritmetisk kodning, Lempel-Ziv-kodning F5:Analoga signaler, Skalär kvantisering F6:Vektorkvantisering F7:Prediktiv kodning F8:Transformkodning F9:Delband/Wavelet-kodning F10:Audiokodning F11:Videokodning F12:Talkodning, Modellbaserad videokodning, Video/audio över nätverk

3 Robert Forchheimer, Linköpings Universitet Information Coding Kursöversikt - övrigt 12 föreläsningar 8 lektioner 2 datorlektioner 2 laborationer (varav en är schemalagd) 1.K. Sayood, Introduction to Data Compression 2.Diskreta Markovprocesser (kurshemsidan) 3.Övningshäfte, formelsamling (kurshemsidan) 4.Kurshemsida: - labbokning, labbanvisningar, extramaterial Kurslitteratur:

4 Robert Forchheimer, Linköpings Universitet Information Coding Bild- och ljudkodning Syfte: effektiv (digital) representation av bilder, video, tal och musik. Bivillkor: - god kvalitet - tålighet mot kanalfel - realtidsprestanda - kostnadseffektiv

5 Robert Forchheimer, Linköpings Universitet Information Coding Bild- och ljudkodning Bild/ Ljudkodning Telekommunikation Digital signalbehandling Datorgrafik Bildanalys Psykoakustik Spektralanalys Perception Talsyntes

6 Robert Forchheimer, Linköpings Universitet Information Coding Tillämpningar Stillbilder Fax Teleradiologi Webb Digitalkameror Bilddatabaser Video Bildtelefoni Videokonferens Multimedia Videokameror Digital-TV DVD, Blu-ray Ljud CD Mobiltelefoner MP3-spelare DAB Film/video-ljud

7 Robert Forchheimer, Linköpings Universitet Information Coding g Ericsson 1905 Smartphone 2014 Telefoni

8 Robert Forchheimer, Linköpings Universitet Information Coding Baird 1930 Television OLED 2014

9 Robert Forchheimer, Linköpings Universitet Information Coding Den elektroniska bilden – analogt format Bilden avsöks linje för linje och ger upphov till en analog signal. I Bairds mekaniska TV-system användes 30 linjer och videobandbredd ca 10 kHz.

10 Robert Forchheimer, Linköpings Universitet Information Coding En bildpunkt representeras med en eller flera databitar. Representationen kallas Pulskods-modulation (PCM). Den elektroniska bilden – digitalt format

11 Robert Forchheimer, Linköpings Universitet Information Coding Bilder: hur många bildpunkter? Baird30*50 (ca) TV (PAL)720*576 HDTV 1920*1080 QFHD3840*2160 Digitalkamera2 - 40Milj.

12 Robert Forchheimer, Linköpings Universitet Information Coding Hur många bitar per bildpunkt? Bitar/bildpunktBildtyperExempel *3=24 8*4=32 binärafax enkel datorgrafiktidiga spel gråskalebildertelefoto högkontraströntgen Färgbilder (RGB)digital foto RGB med alphadatorgrafik

13 Robert Forchheimer, Linköpings Universitet Information Coding Ljud: antal bitar per sampel och per sekund (PCM-kodning) 16 bitar per sampel sampel per sekund Två kanaler =>1.4 Mbit/s Betraktas ofta som referens (”okomprimerat ljud”) Modern kodningsmetoder: 64 kbit/s med god kvalitet CD-kvalitet Digital telefoni 8 bitar per sampel 8000 sampel per sekund => 64 kbit/s Moderna kodningsmetoder: 4 kbit/s med god kvalitet

14 Robert Forchheimer, Linköpings Universitet Information Coding Video: antal bitar per sekund (PCM-kodning) 3*8 bitar (RGB) per bildpunkt 720*576 bildpunkter per bild (PAL) 25 bilder per sekund => 250Mbit/s TV-kvalitet HDTV-kvalitet 3*8 bitar (RGB) per bildpunkt 1920*1080 bildpunkter per bild (1080i) 25 bilder per sekund => 1.24Gbit/s

15 Robert Forchheimer, Linköpings Universitet Information Coding Video: kodningsmetoder kbit/sMbit/s Very low bitrate Low bitrateMedium bitrateHigh bitrate 3G Mobile videophone Digital TV, DVD HDTVVideo CD MPEG-4 H.264 MPEG-1MPEG-2H.261H.263 Model-based Video coding

16 Robert Forchheimer, Linköpings Universitet Information Coding Distorsionsfri (”lossless”) kodning (Datakompression) Representera en digital signal med färre bitar än originalet på så sätt att signalen kan rekonstrueras exakt. Den undre begränsningen ges av entropin för data (baseras på Informationsteori). Exempel: ZIP, compress, GIF, PNG, FLAC

17 Robert Forchheimer, Linköpings Universitet Information Coding Distorderande (”lossy”) kodning Representera en digital eller analog signal med så få bitar som möjligt så att signalen kan rekonstrueras med godtagbar kvalitet. Exempel: GSM, JPEG, MPEG-2, H.264, MPEG-1 layer 3 (mp3), AAC, WMA,...

18 Robert Forchheimer, Linköpings Universitet Information Coding Typisk kodarstruktur Analog signal Sampling kvantisering Distorderande kodning Distorsionsfri Kodning Digital Signal (PCM) Distorderad digital signal

19 Robert Forchheimer, Linköpings Universitet Information Coding Kodning av bild och ljud bygger på modeller t S(t) Genereringsmodeller 3D-objekt belysning kameraprojektion ljudgenerering Signalmodeller Syn/hörsel-modeller determ. modeller statistiska modeller spatio/temporal modeller maskeringsegenskaper Modellbaserade kodningsmetoder Signalteoretiska kodningsmetoder Perceptionsbaserade kodningsmetoder

20 Robert Forchheimer, Linköpings Universitet Information Coding Statistiska signalmodeller Minnesfria signaler Signaler med minne Signalvärden är beroende av ett eller flera övriga signalvärden. t t Varje signalvärde är oberoende av övriga signalvärden.

21 Robert Forchheimer, Linköpings Universitet Information Coding

22 Robert Forchheimer, Linköpings Universitet Information Coding Autoregressiv modell - en amplitudkontinuerlig Markovmodell xkxk x k =  a i x k-i + n k n k : minnesfri process Lämpar sig väl för att modellera ljudsignaler

23 Robert Forchheimer, Linköpings Universitet Information Coding Korrelationsmodell För bilder kan 2-dimensionella korrelationsfunktioner vara användbara: x ij x kl eller

24 Robert Forchheimer, Linköpings Universitet Information Coding Exempel på kodning av minnesfri källa Gråskalebild med nivåer mellan Statistisk redundans: de olika nivåerna förekommer olika ofta (se figur). Kodningsmetod: Variabel-längdkodning (VLC) PCM VLC bitar/bildpunkt1.75 bitar/bildpunkt i genomsnitt!

25 Robert Forchheimer, Linköpings Universitet Information Coding Exempel på kodning av minneskälla Bildtyp: fax. Statistisk redundans: närliggande bildpunkter har ofta samma värde. Kodningsmetod: koda skurlängderna. Skurkod: 15,15,15,4,5,6,4,6,5,3,… Antag 4 bitar/skur: 45*4 = 180 bitar jfr. okodat: 15*15 = 225 bitar

26 Robert Forchheimer, Linköpings Universitet Information Coding Prediktiv kodning (DPCM) (för AR-processer) Princip: gissa (prediktera) hur bilden ser ut, beräkna skillnaden (felbilden), variabel-längdkoda felbilden.

27 Robert Forchheimer, Linköpings Universitet Information Coding Transformkodning (för 2D-korrelerade källor) x ij x kl

28 Robert Forchheimer, Linköpings Universitet Information Coding Modellbaserade kodningsmetoder - används vid kodning av talsignaler - och för kodning av ansiktsbilder

29 Robert Forchheimer, Linköpings Universitet Information Coding Perceptionsbaserade kodningsmetoder (är mer användbara för ljudkodning än för bildkodning) dB kHz Dämpningskurva

30 Robert Forchheimer, Linköpings Universitet Information Coding Fraktalkodning Grundidé: sök självliknande delar i bilden... sådan symmetri ger enkel matematisk beskrivning...

31 Robert Forchheimer, Linköpings Universitet Information Coding Fraktalkodning, forts. Varje bild kan göras självlik...


Ladda ner ppt "Robert Forchheimer, Linköpings Universitet Information Coding Föreläsning 1: Bild- och ljudkodning 1.Kursöversikt 2.Introduktion till bild- och ljudkodning."

Liknande presentationer


Google-annonser