Agenda 10.00 Inledning - presentation av CODA-projektet 10.15 CODA-FORM Kriterier för val av format, formatregister + formatverktyg (metod, resultat + diskussion om varje punkt) 11.00 – 11.15 Paus 11.15 CODA-POP Kriterier för: när omkopiering ska ske, val av databärare, när konvertering ska ske, systembyte 12.00 – 13.00 Lunch 13.00 Diskussion 15.00 Avslutning

CODA-projektet CODA – Curation of Digital Assets Ett samarbetsprojekt mellan fyra parter: LDB-centrum Kungliga Biblioteket Statens ljud- och bildarkiv Riksarkivet

Delprojekten Två delprojekt: CODA-POP och CODA-FORM Förstudie under första halvåret 2007 Projektarbete augusti 2007 – februari 2008 Lena Öhman och Göran Lindqvist Resultat: Rapport + projektredovisning

Liten insats – stor nytta CODA-FORM Format Management Göran Lindqvist LDB-centrum Liten insats – stor nytta

Liten insats – stor nytta Deltagare i CODA-FORM Stina Degerstedt, KB. Projektledare Göran Lindqvist, LDB. Projektadministratör Allan Arvidson, KB Jan Aspenfjäll, LDB Göran Konstenius, SLBA Tomas Gertz, SLBA (ersatte Hanzi Tesarz) Magnus Geber, RA Liten insats – stor nytta

Liten insats – stor nytta CODA-FORM I fokus: KB:s webbarkiv Kulturarw3 Kriterier för att välja filformat Kartläggning av formatregister Kartläggning/utvärdering av verktyg för att identifiera format Kartläggning/utvärdering av metadataverktyg Utvärdering av strategier/förslag på strategier Liten insats – stor nytta

Liten insats – stor nytta Kriterier för arkivformat Start: Började med litteraturstudie, ca +20 dokument lästes TÄNK???? Insåg att punkter för kriterier saknades ofta Min slutsats blev: Sammanställning/punkter för kriterier Rangordna dessa Göra en lista för att underlätta bedömningen av ett format Liten insats – stor nytta

Liten insats – stor nytta Logisk uppbyggnad (Krav) Väldokumenterade och fullständiga specifikationer Publika (öppna) specifikationer Tillgängliga specifikationer/publik domän Existens av många olika verktyg från olika tillverkare för formatet Verktyg för teknisk validering av fil Interna tekniska egenskaper (Krav) Format fri från kryptering Format fri från specifikt fysiskt medium Format fri från Digital Rights Management (DRM) kopieringsskydd Externa tekniska egenskaper (Krav) Format som är oberoende av hårdvara Format som är oberoende av specifik mjukvara Patent (Viktig) Format fri från patent/licenskostnader Formatacceptans (Viktig) Anammat/populärt hos industrin Stöd av flera tillverkare Marketshare/väl spridd i flera led Målformat för andra format Multiplattformsläsare finnes Standardiserat Formats transparans (Fördel) Standard eller enkel representation av data i filen Filens innehåll transparant för enkla verktyg Formatet fri från komprimering Självdokumenterande (Fördel) Stödjer metadata i filformatet Fil kan inbädda metadata (transparant form) Liten insats – stor nytta

Liten insats – stor nytta Frågor? Liten insats – stor nytta

Liten insats – stor nytta Formatregister Valde att undersöka följande register: Uppsala formatregister PRONOM GDFR Library of Congress register WARC FILExt Liten insats – stor nytta

Liten insats – stor nytta Formatregister Bedömdes efter: Vilken organisation/ansvarig för formatregistret Antal format registrerade i registret Uppdelning/struktur Sökalternativ Sökvägar/sökord Information i registret (tiff 6.0) Liten insats – stor nytta

Liten insats – stor nytta Formatregister Format tiff 6.0 Allmän information Uppsala Pronom GDFR WARC FILExt Namn Ja Nej Version Utgivet år Mimetyp Teknisk information Signatur extern: (ändelse) Signatur intern: (magic nr) Relation: subtyp, version, samhörighet Klassifikation: ascii/binär/raster Kodning: okomprimerat/lossy/loss-less Plattformar: operativsystem/programvara Specifikationer: (finns sökväg) Övrigt Information om organisation Totalt antal ”Ja” 6 12 5 Liten insats – stor nytta

Liten insats – stor nytta Formatregister Slutsats: Bästa register blev PRONOM Det är: Innehållsrikt Bra sökmöjligheter Många olika möjligheter att få ut sökt information Liten insats – stor nytta

Liten insats – stor nytta Frågor? Liten insats – stor nytta

Liten insats – stor nytta Test av programvara Började med leta på webben lämpliga programvaror Valde dessa programvaror: DROID JHOVE TriID FILE IDENTIFIER Liten insats – stor nytta

Liten insats – stor nytta Test av programvara Tillvägagångssätt: En testmaskin installerades 25 olika typer av filer valdes ut Verifikation av filer, internstruktur mot formatregister 2 tester, med filändelse respektive utan filändelse Testprotokoll skapades Liten insats – stor nytta

Liten insats – stor nytta Test av programvara Resultat:   Rätt Delvis rätt Fel antal % Antal Summa DROID 18 (15) 72 (60) 7 (5) 28 (20) 0 (5) 0 (20) 25 JHOVE 8 (8) 32 (32) 0 (0) 17 (17) 68 (68) TriID 7 (7) 28 (28) 13 (13) 52 (52) 5 (5) 20 (20) File Id 12 (12) 48 (48) Liten insats – stor nytta

Liten insats – stor nytta Test av programvara Slutsats: Bästa programvara blev DROID (60%) JHOVE bra på 12 format (id, ver, metadata) Övrig programvara… Inget program är fulländat Mer tester behövs innan program används i skarp miljö Liten insats – stor nytta

Liten insats – stor nytta Frågor? Liten insats – stor nytta

Curation of Digital Assets Processes Of Preservation CODA-POP Curation of Digital Assets Processes Of Preservation Lena Öhman LDB-centrum

Om projektet Förstudie (jan-juni 2007) Tre fysiska möten och tre telefonmöten Projektarbete (aug 2007–feb 2008) Workshop i september Möte på SLBA i december Marratech-/Telefonmöten

Deltagare i CODA-POP Martin Jacobson, SLBA, Projektledare Lena Öhman, LDB, Projektadministratör Jonas Ahlberg, SLBA Jan Aspenfjäll, LDB Mari Runardotter, LDB + LTU Stina Degerstedt, KB Allan Arvidson, KB Magnus Geber, RA Birger Stensköld, RA

CODA-POP I fokus: SLBA:s digitala arkiv Från början önskemål om tolv olika punkter Skalades ner till dessa fyra punkter. Kriterier för: när omkopiering skall ske val av databärare när transkodering skall ske (och val av datalagringsformat för A/V-filer) när systembyte skall ske (och för lagringssätt)

Kriterier för när omkopiering skall ske Metod: litteraturstudier, diskussion med SLBA Resultat: Lista med bevarande- respektive effektiviserings- kriterier Förslag på hur en organisation kan jobba med denna fråga

Bevarandekriterier Åldrande databärare Försämrade fysiska egenskaper Larm om problem från andra som använder samma typ av bärare

Effektiviseringskriterier Fysisk storlek – den nya databäraren rymmer mer data än den gamla Kostnadsbesparingar Prestandaförbättring – den nya databäraren läses/skrivs snabbare än den gamla Kostnadsökning för databärarens support Förändringar på marknaden

Förslag Stickprovskontroller Samarbetsforum Att databärare hanteras rätt Rätt lagringsförhållanden Förslag på att jobba vidare: Hur upptäcker vi dessa ”varningssignaler”?

Frågor?

Kriterier för val av databärare Metod: litteraturstudier, workshop på SLBA Resultat: Lista – arbetssteg, hur man väljer databärare Livslängdskostnad (Analysera SLBA:s beräkningsmodell) Tabell – utvärdera databärare

Val av databärare - arbetssteg Steg 1: Omvärldsbevakning Steg 2: Sammanställning av databärare på marknaden. Steg 3: Uppfyller varje bärare ”grundkraven” - Prioritet 1 (Spridning, Öppen standard, Ägare Sedan: Livscykel, Tillverkarens trovärdighet, Underhåll och service) Steg 4: Fortsätt bedöm övriga punkter för varje databärare: Prioritet 2: (Miljökrav, Fysiska krav, Tekniska krav) Prioritet 3: (Pris vs. Prestanda, Kostnad per lagrad enhet) Prioritet 4: Standardisering (ex: ISO) Steg 5: Summera och välj ut den mest lämpliga Steg 6: Efteråt – fortsätt följa utvecklingen Dokumentera arbetet!

Utvärdera databärare Media 1 Media 2 Media 3 Prioritet 1 Prioritet 2 Spridning Öppen standard Ägare Livscykel Tillverkarens trovärdighet Underhåll och service Prioritet 2 Miljökrav Fysiska krav Tekniska krav Prioritet 3 Pris vs. Prestanda Kostnad per lagrad enhet Prioritet 4 Standardisering Summa

Förslag Följ arbetsgången enligt tabell 1 Beräkna kostnader enligt ”Livslängdskostnad” Skanna av marknaden, vad finns? Utvärdera databärare enligt tabell 3 Summera, dokumentera och bevaka databärarens ”fortsatta liv”

Frågor?

Kriterier för när transkodering (konvertering) skall ske Metod: litteraturstudier, diskussion med SLBA, samarbete med Göran (CODA-FORM) Resultat: Lista med kriterier som kan avgöra när det är dags att inleda konvertering Lista – processen för att besluta om tidpunkt Tabell för att kontrollera om organisationens filformat är ”livskraftiga”

Extern påverkan När ett filformats användning minskat betydligt När programvaruföretaget har upphört eller slutat stödja formatet När filformat förändras ofta När ett format är eller kan bli påverkat av patentstridigheter eller andra juridiska problem Intern påverkan När formatet inte är tillräckligt flexibelt eller håller tillräcklig kvalitet för organisationens behov När organisationen har för många olika slags format och underhållet av dem innebär onödiga kostnader Förlorad kunskap när personal försvinner

Lista - beslut om tidpunkt Vilka olika logiska format finns i organisationens digitala arkiv? Gör en utvärdering av samtliga dessa format Vilka format i vårt arkiv uppfyller inte längre våra krav? Hur mycket material har vi av de format som behöver transkoderas? I vilken kvalitet ska informationen bevaras? Vilka egenskaper (funktioner) är speciellt viktiga? Vilka kriterier ställer vi på det nya logiska formatet? Jämför och bedöm hur väl olika format uppfyller kriterierna … o.s.v….

Tabell för att kontrollera filformat Extern påverkan – Omvärldsbevaka: Format A:s del av marknaden vid förra undersökningen? % Format A:s del av marknaden i dag? Har användningen av Format A minskat betydligt? Ja/Nej Har programvaruföretaget upphört? Har programvaruföretaget slutat stödja formatet? Finns det tecken på patentstridigheter eller andra juridiska problem? Finns det kompatibilitetsproblem gentemot senare versioner? Intern påverkan – Se på organisationens behov och resurser: Är formatet otillräckligt för organisationens behov? Har organisationen problem med att underhålla många slags olika format? Råder det brist på kunskap bland personalen om de format vi använder?

Förslag Bedöm organisationens format enligt tabell 4 Arbetssteg för att beräkna när det är dags att konvertera Omvärldsbevakning om filformats utveckling Samarbete om format, wiki, ”formatregister+”

Frågor?

Kriterier för när systembyte skall ske Metod: litteraturstudier, diskussion med SLBA Resultat: Ett antal kriterier som är varningstecken för att det är dags att byta system

Anledningar till systembyte End of Life Bristande tillförlitlighet Slut på tillverkarens garanti Dålig supportorganisation Tekniska generationsskiften Gammalt, ineffektivt system Otillräcklig prestanda Hög lagringskostnad Hög underhållskostnad

Förslag Gruppera och rangordna kriterierna efter hur brådskande de är att åtgärda Skriftlig handlingsplan: Hur upptäcka riskerna? Vem är ansvarig? Hur ska denna agera då någon av händelserna inträffar? (Definiera olika nivåer av systembyte och vilka risker det finns med var och en)

Frågor?

Diskussion – hela CODA Uppnådda resultat? Vad har vi missat? Vad har vi kvar? Vad har vi lärt oss? Hur går vi vidare? Användning? Spridning? Publicering?