Datawarehouse & Business Intelligence ur ett arkitekturperspektiv Dataföreningens Arkitektnätverksmöte 2009-03-18 Kjell Askdal, Evitec Datawarehouse & Business Intelligence ur ett arkitekturperspektiv

Evitec Evitec är ett konsultföretag inriktade mot uppdrag kring informationsarkitektur. Vi har spetskompetens inom projektledning, testledning, arkitektur samt kravfångst. Bland våra kunder finns några av Sveriges största företag inom Bank, Finans och Försäkring. Vi är ca 20 konsulter och har funnits sedan 2001 www.evitec.se

Introduktion till BI & Datawarehouse Agenda: Vad är det? Hur funkar det? Har alla det? Måste jag ha det också? Frågor och diskussion

Introduktion till Datawarehouse Tutorial B: The Basics of BI 2017-04-06 Introduktion till Datawarehouse Business Intelligence Summit 2008 February 5-7, 2008 RAI Convention Center Amsterdam, Netherlands James Richardson For more information about our research policies, processes and methodologies, please visit Gartner Research Methodology on gartner.com. These materials can be reproduced only with written approval from Gartner. Such approvals must be requested via e-mail: vendor.relations@gartner.com.

Försök till definition av DataWarehouse DataWarehouse är en infrastrukturkomponent för att hantera historisk Information, som senare kan användas i många olika syften. Datawarehouse kan t.ex: Vara informationsförsörjare i olika processer Vara informationsförsörjare vid uppföljning av verksamheten Skapa enhetlighet kring begrepp Tillhandahålla en ”single-version of the truth” Ge bättre möjlighet att planera en verksamhet

Några grundbegrepp inom Datawarehouse ETL (Extract, Transform and Load) Processen för att ta emot, transformera och ladda in data i ett DW Operationella system System som stöder de dagliga processerna, ofta affärskritiskt för verksamheten Datamart Databas designad för visst syfte till en utpekad användargrupp. StarSchema-modell (Stjärndiagram) Datamodelleringsteknik som bygger på att man har dimensioner kopplat till fakta (mätvärden), utvecklad av Ralph Kimbal) Operational Data Store (ODS) Ett datalager mellan den operationella världen och datawarehouse som ofta uppdateras i nära realtid, t ex en kunds alla avtalsförbindelser. OLAP/ROLAP/MOLAP/HOLAP Databassystem som är specialiserade för att hantera StarSchema- modeller och bygga sk kuber på ett effektivt sätt.

Några olika Datawarehouse topologier Key Issue: What are the different structures that exist in the DW and their effect on optimization? Operationella system Frågor direkt mot Operationella system Middleware DM DM DM Virtuellt Datawarehouse (via dataaccess middleware) 2. Föder många datamarts DM DM DM DW DM DW DM DM DM DM DM DM 4. Fåtal DM och direkt användaraccess mot DW 3. Central DW som föder många DM utan direkt användaraccess mot DW

Datawarehouse arkitektur Tactical Guideline: The data warehouse infrastructure is complex and touches not only the IT organization but also every line of business. Create a Competency Center representing all organizations to govern and implement the data warehouse. ETL User Access Source 1 Direct Access Repositories ODS LDAP or other Access control Power User Source 2 Physical Marts Data Warehouse Any and/or Multiple RDBMS Work Files Staging Area Data Quality Source 3 OLAP App Server BI Desktop User Meta Data Repository Logical Marts (managed by BI tool or DWDBMS) Source 4 Caching ETL Tool Pre-loaded Cube Storage Systems BI Architect User

Kraven på Datawarehouse ökar Strategic Imperative: The DW mixed workload has been changing and is becoming more complex (for example, differing data access modes and increasing user loads), which is having a much greater effect on data warehouse performance. Klassisk DW last DW med blandad last Source Source DW Source Source DW Source Source Laddas i batch 10-100 Standard rapporter Fåtal "ad hoc" användare Enkelriktat dataflöde Nära realtids laddning 1,000- 10,000 Standard rapporter Många "ad hoc" användare Warehouse integreras med alla system BI inbyggt i operationella system — Operational BI Dubbelriktat dataflöde

Vad driver utvecklingen av mixad last mot DW? Key Issue: What are the underlying DW technologies? Internetkanalens krav på tillgänglighet och samordnad information Kunderna ser rakt in i informationssystemen Krav på automatiserade processer med maskinella affärsbeslut Bevilja krediter, prissättning av tjänster/produkter, bonusprogram Kräver samordnad information för att ge hela bilden Myndighetskrav Basel II, SOX, Solvency II, … Den tekniska utvecklingen Billigare lagring och större möjlighet att hantera stora volymer med acceptabel prestanda Traditionella kravställare får utökat behov iom nya möjligheter

Datawarehouse som affärskritiskt system Key Issue: How do broader definitions of "information" and database physics create new opportunities and challenges? Strategic Planning Assumption: By the close of 2009, 90% of Global 2000 companies will have at least one operational application dependent on data warehouse data for daily processing needs. Data warehouse är ett affärskritiskt system på många företag. När Datawarehouset går ner, stannar affärsprocess-applikationerna. Datawarehouse blir en “single-point-of-failure” om man byggt in det med operationella applikationer utan att i grunden designat datawarehouset för detta syfte.

Design av Datawarehouse som affärskritiskt system Key Issue: What are the underlying DW technologies? Tillgänglighet 24/7 för frågor Kontinuerlig laddning vid behov Prestanda Acceptabla och jämna svarstider Kvalité Speglar källsystem, avstämt, informationsintegrerat Integrerbart Exponera informationstjänster i en SOA-lösning Anpassningsbart i takt med nya krav Möjlighet att ansluta nya system t ex vid företagsköp Snabbt bygga nya datamart/leveranssamband

Viktiga tekniker kring ett Datawarehouse Key Issue: What are the underlying DW technologies? Databashanterare Traditionella Rdbms DB2, Oracle, Microsoft Special DW DBMS Teradata, Netezza, Greenplum, Datallegro Dataintegration ETL-verktyg Informatica, IBM Datastage, Microsoft IS, Oracle WHB, SAS, SAP/Business Objects ESB-verktyg (Enterprise Service Bus) IBM MessageBroker/MQ, Microsoft BizTalk, Sonic Datakvalité Dataprofileringsverktyg Trillium, Dataflux, Informatica, SAP/Business Objects

Viktiga tekniker kring ett Datawarehouse (forts) Key Issue: What are the underlying DW technologies? Model- och metadatahantering Modelleringsverktyg Generella modeller Branschmodeller t ex IBM IFW/IAA, Egen företagsövergripande datamodell ETL-verktyg Informatica, IBM Datastage, Microsoft IS, Oracle WHB, SAS, SAP/Business Objects BI-verktyg Cognos, SAS, SAP Business Objects

Introduktion till Business Intelligence Tutorial B: The Basics of BI Introduktion till Business Intelligence Business Intelligence Summit 2008 February 5-7, 2008 RAI Convention Center Amsterdam, Netherlands James Richardson For more information about our research policies, processes and methodologies, please visit Gartner Research Methodology on gartner.com. These materials can be reproduced only with written approval from Gartner. Such approvals must be requested via e-mail: vendor.relations@gartner.com.

Försök till definition av BI BI är att omvandla ett företags data till information och använda denna för rapportering, analyser och i de dagliga processerna. Syftet är att genom BI bidra till en ökad effektivitet och vinst så att de affärsmässiga målen uppnås. BI kan t.ex: minska risker i beslut ge ökade affärsmöjligheter ge lägre kostnader ge ökade volymer m.m. Affärsmål Beslut Analys Information

Business Intelligence arkitekturöversikt Affärsmål Nyckeltal (KPI) Affärsprocesser Business Intelligence Source 3 Source 2 Operationella system Source 1 Repositories ETL Data Warehouse Data Mart 1 Data Mart 2 Staging Area Cube ODS Metadata Repository Scorecards Dashboards Analys Applikationer Andra applikationer Rapporter

Byggblock i en BI plattform Business Intelligence Plattform Integration Informations leverans Analys Infrastruktur Metadata hantering Utvecklings-miljö Workflow och Collaboration OLAP Scorecarding Visualisering Predictive Modeling och Data Mining Rapporter Ad-hoc frågor Ms Office Integration Dashboards

Allmänna trender Datawarehouse blir mer och mer affärskritiskt 2009 kommer 90% av alla företag ha applikationer beroende av Datawarehouse för dagliga processer Gränserna mellan operationella system och Datawarehouse blir otydligare Kraven på ”Near realtime” ökar Ökad användning av ODS Dataintegration blir allt viktigare även med externt data Datakvalitet är jätteviktigt (kräver konsolidering) Ökad lagring av ”ostrukturerat data” i form av t.ex dokument, mail , XML-data m.m. BI inte bara för experter

Allmänna trender forts. BAM – Business Activity Monitoring Analys av affärshändelser för att kunna reagera proaktivt BPM – Business Performance Management Analys av affärsprocesser för att bättre förstå och följa upp verksamheten BICC - Business Intelligence Competence Center MDM – Master Data Management Koncept för att hålla ihop sina huvudobjekt, t ex kund/produkt Databaskoden kommer att flyttas närmare den fysiska lagringen för att höja prestanda. Volymen data ökar i Datawarehouse Nya användningsområden av Datawarehouse Taktiskt 90’ Strategiskt 2000 Operationellt Nu Flodvågen Snart

Processleverantörer köper BI plattformsleverantörer Tactical Guideline: Independent BI vendors remain a good option for integrating process and BI for organizations that are not investing heavily in a BPM suite. 21

Fyra Mega-leverantörer dominerar marknaden för BI-plattformar Business Application Centric ORACLE SAP SEM SAP BW Netweaver 7.0 OutlookSoft/Pilot Business Objects … Database 11g Siebel Hyperion Fusion … Business Intelligence and Performance Management IBM Microsoft Balanced Warehouse Cognos DB2 OmniFind WebSphere DataStage … PerformancePoint Server SQL Server Office/SharePoint FAST … Infrastructure Centric

Avslut och sammanfattning Business Intelligence och Datawarehouse intro. Vad är det? Datawarehouse, BI och procceser i symbios för att skapa en bra informationsförsörjning Hur funkar det? Teknik, arkitektur, design Har alla det? Ja, och det används i många fler syften nu än tidigare Måste jag ha det också? Absolut Frågor och diskussion!