1 Konvergensens teknik Konvergensseminariet den 13 november 2003 Nils Enlund & Alex Jonsson

2 Informationens digitalisering •Nyckeln till mediernas tekniska konvergens är den mediala informationens digitalisering! •Text, bild, ljud, position, tid representeras av diskreta heltal •Heltal kan bearbetas av datorer, lagras i databaser, komprimeras och överföras via digitala telekommunika- tionsnät — alla typer av information på identiskt sätt. •Digitalisering innebär anonymisering! Man kan inte veta om en talserie representerar text, ljud, bild,.. •Den mediala kommunikationsprocessen blir digital InsamlingBearbetningDistribution

3 Den digitala verkligheten •Digitalisering innebär en diskretisering av en kontinuerlig, analog verklighet En steglös skala av värden, nyanser, skeenden, representeras av diskreta steg, heltal •En förenkling, reducering av verkligheten Vart försvinner den nyans som ligger mellan steg 124 och 125 i den digitala gråskalan? Vad förlorar vi? •Men våra sinnesintryck är diskreta! Tappar/stavar, resonanshår, neuronernas avfyrningsfrekvens,... Hjärnan fyller i den information som saknas •Verkligheten är kanske diskret Färgpigment, molekyler, atomer, fotoner, kvanta,... Är tiden diskret? •En fråga om resolution, upplösning?

4 Digitalisering •Sampling •Kvantifiering •Vektorisering •Komprimering - i rummet, tiden •Alt. Representationsformer (ex. MIDI, SVG, Fraktala approx) •Metadata (indexering, kontext, semantik) •Anpassning för presentation, form •Lagring, back-up Multimedia means 'multiple intermediaries' between the source and sink of information [Fluckiger 1995]

5 Statisk information •Vi kan dela upp våra mediala informationstyper i statisk och dynamisk information •Statisk information förändrar sig inte över tiden •Text Vårt skriftspråk är en redan diskretiserad representation av vårt tal (och därigenom av våra tankar och begrepp – ”wovon man nicht sprechen kann, darüber muß man schweigen”) Lätt att digitalisera – men trög standardisering av specialtecken, diakritiska tecken och icke-västerländska symbolspråk •Bild Bilder är tvådimensionella matriser av bildpunkter där varje punkt har en position, en utsträckning, och en kulör, som kan representeras av ljushetsgrad, mättnad och färgkompo- nenter Korrekt färgåtergivning är ett av de stora tekniska problemen Ögat har en stor känslighet för nyanser Obs! Pixels kontra bildobjekt

6 Dynamisk information •Dynamisk information har en tidskomponent, och kan inte representeras utan denna •Samplingsfrekvensen oftast kritisk – mycket data •Komprimeringsmetoder centrala •Audio Tal – digital mobiltelefoni, internettelefoni Musik – MP3 •Video Sekvenser av digitaliserade bilder Tv-kvalitet – DVD, HDTV Filmkvalitet – ebio •Vad saknas? Dofter Smaker Känsel, tryck, temperatur – haptisk digitalisering under utveckling

7 Kodning av medieinformation •Struktur SGML - XML - därur deriverade märkspråk som - News ML - TT-NITF Proprietära format (Trip) •Form CSS - cascading stylesheets XSL: XSL Tranformations + XML Formatting Objects Proprietära format (Quark, Indesign, Office) Kan form och innehåll skiljas åt som vänner?

8 Layout och design •Den mediala infomationen består inte endast av de enskilda elementen utan även av deras gestaltning och sammanställning till estetiskt attraktiva, uppseende- väckande eller t.ex. trygghetsskapande helheter •Layout och design är i högsta grad informationsbärande! Tänk bara på typografi! •Även denna information kan digitaliseras

9 Metadata •Information om informationen -levande över tid -i dokumentet -i andra dokument -kollektivt filterat -Statistik, ”Direct Hit” Sökord ”fotboll skollaget” 28,373 matchande sidor, sorterade efter relevans 1. »Jag har alltid hatat sport, särskilt fotboll. När de skulle ta ut skollaget, satt jag som vanligt under trappan till omklädningsrummet och sniffade tuschpenna med Dedde och Gullan«

10 Standarder för metadata •Dublin Core Metadata Initiative Innehåll: Coverage, Description, Type, Relation, Source, Subject, Title Intellektuell egendom: Contributor, Creator, Publisher, Rights Publicering: Date, Format, Identifier, Language •Resource Description Framework (RDF) •MPEG-7 •NewsML AdministrativeMetadata - Källa, skapare etc RightsMetadata - copyright och liknande DescriptiveMetadata – Språk – Genre (analys, intervju, aktuellt etc) – Målgrupp •News Industry Text Format (NITF) Who: Vem har copyright, vem handlar innehållet om, vem har gjort innehållet? What: Vad handlar nyheten om? When: När skrevs, ändrades, publicerades innehållet? Where: Var skrevs innehållet, var skedde handlingen, var har den publicerats? Why: Varför är innehållet läsvärt?

11 Semantik och begrepp •Semantic web •Concept Mapping resurs relation Alex har en saxofon av märket King från år 1938

12 Produktionssystem Databas med multi- mediala element Text Bild Audio Video Urval och ut- formning enligt kanal och mot- tagare Offset Digitalt tryck Skrivare (PDF) E-ink (PDF) Skärm (PDF) WWW PDA Digitalt papper WAP etc. TV Radio Telefon Tryck Skärm Audio Interaktion Managementsystem på olika nivåer — innehåll, workflow, produktion

13 Datafångst och -generering •Primärregistrering Mikrofon + digitalisering Digital kamera, digital video Bildskanner, 3D-skanner Rittablet •Textfångst Skanner + textigenkänning Mikrofon + taligenkänning Handskriftsigenkänning Dator med tangentbord •Bearbetning Massor av standardiserad, kommersiell programvara för persondatorer

14 Multimediadatabasen •Databasen är basen (!) för användning och återanvänd- ning av medieinnehåll i olika konvergenta eller divergenta medieprodukter och -tjänster i olika kanaler •Alla medieformer kan produceras ur samma förråd av innehållselement — produktionskonvergens •Några problem: Hur lagra t.ex. videosekvenser så att man lätt hittar och kan plocka ut stillbilder för tryck? Hur håller man koll på vilka element som använts samt hur, när och var? Hur håller man koll på olika versioner, redigerade för olika medier? •Tillsvidare finns inga bra standardlösningar

15 Kanaloberoende utformning Journalist redigering + kategorisering med metadata nyhet XML-baserad representation av samtliga dagens nyheter XSLT-representation av personliga nyhets- och annonspreferenser XSLT-processor XML-baserat urval av nyheter XSLT-stylesheet för den aktuella utkanalen XSLT- processor resultat (html, wml pdf etc)

16 Kanaloberoende back-end

17 TAPP – teknik och arbetsflöde i premedieproduktion

18 Distributionssystem •Digital information kan överföras via många typer av kommunikationssystem... Eter – marksänd och satellit Kabel, fiber •... och på olika sätt Punkt-till-punkt Kretskopplat Paketkopplat Multicast, broadcast Simplex — duplex •Alla typer av digital information och digitala medier kan överföras över alla olika typer av telekommunikationsnät — distributionskonvergens •Bandbredden (överföringskapaciteten) är avgörande •Internet är inte en nätverksteknik utan en teknikoberoen- de kommunikationsstandard

19 Fast och mobil nätuppkoppling •Fast uppkoppling — telenät, kabel, fiber, tv-kabel, elnät,... Hög kapacitet Störnings- och avlyssningssäker Låser användaren till en fysisk plats •Mobila nät — mobil telefoni, WiFi – trådlös LAN, tv/radio, digital tv, satellit,... Rörlighet Tillsvidare begränsad kapacitet Avlyssning, störningar, hackers Utrymmesbrist i det elektromagnetiska spektret! •I framtiden: automatisk, dynamisk, avbrottslös omkoppling mellan olika nätverk Nätverket blir osynligt, transparent

20 Teknikens transparens •Länkar, URI URL - hyperlänk URN - fysisk länk URC - metadata •Anpassningar •Självbeskrivande resurser Protokoll, filbenämning, MIME-typer

21 Distribuerade resurser •Varsomhelst, närsomhelst, hursomhelst (The World according to Chakira) <text type="text/plain" region=”b" src="Herengracht284.txt" dur="2s"/> <text type="text/html" region=”b" src=” <img region=”a" src=" dur="2s"/>

22 Skalbarhet... explosive growth of the explosieve groei van het eksplozivni rast crescita esplosiva della

23 Anpassning Användaren • Funktionshinder • Språkbruk • Förkunskaper Systemmiljön • Fördröjning, bandbredd, tillgänglig datakraft • Tilläggsfunktionalitet: parafernalia, plug-ins Syfte • Urval • Fokus • Tids- och innehållsanpassning

24 Konsumtionsteknik •Alla apparater för konsumtion av media har identisk struktur och konstruktion Dator, skärm, nätuppkopling, interaktionsverktyg,... Ingen principiell skillnad mellan apparaterna •Alla medieapparater kan användas för konsumtion av alla digitala medier — apparatkonvergens •Det innebär inte att vi skulle använda bara en apparat! •Vi kommer sannolikt att i framtiden se ett brett spektrum av olika medieapparater, alla med liknande funktionalitet, men var och en med en specifik identitet och användning Vardagsrummets sociala underhållningsapparat Den seriösa jobbapparaten Kommunikationsapparaten Apparater för enslig eskapism, etc.

25 De nya medieapparaterna •Mobilitet, miniatyrisering, kapacitet, kvalitet

26 ”Nya medier” •”multimedia och internet” •Mobila tjänster •”elektromagnetisk kommunikation, e-papper samt internet” •Beyond the desktop, ubiquitous computing •Nya uttrycksformer, arenor Hur länge är ett nytt media nytt? En generation? Är TV nytt? Är WWW nytt? Är hypertext nytt?

27 Konvergensens standarder •MIME, URI •Integrationsspråk SMIL (MMS) •XML (SGML) och tillämpningar •Portabla program (JAVA, Mophun) •Portabla dokument (PDF, e-book) •Teckenkod: ISO 8859-x (1…9), UTF-8 •Quicktime framework •Sessioner: SIP (CCIR601), H323/320 •RDF, MPEG-7

28 Till sist •Teknikutvecklingen avstannar inte •Tekniken skapar möjligheter och hype •Ekonomi och konsumentintressen driver utvecklingen •Allt (nästan) tar längre tid än man tror