Datawarehouse & Business Intelligence ur ett arkitekturperspektiv

En presentation över ämnet: "Datawarehouse & Business Intelligence ur ett arkitekturperspektiv"— Presentationens avskrift:

1 Datawarehouse & Business Intelligence ur ett arkitekturperspektiv
Dataföreningens Arkitektnätverksmöte Kjell Askdal, Evitec Datawarehouse & Business Intelligence ur ett arkitekturperspektiv

2 Evitec Evitec är ett konsultföretag inriktade mot uppdrag kring informationsarkitektur. Vi har spetskompetens inom projektledning, testledning, arkitektur samt kravfångst. Bland våra kunder finns några av Sveriges största företag inom Bank, Finans och Försäkring. Vi är ca 20 konsulter och har funnits sedan 2001

3 Introduktion till BI & Datawarehouse
Agenda: Vad är det? Hur funkar det? Har alla det? Måste jag ha det också? Frågor och diskussion

4 Introduktion till Datawarehouse
Tutorial B: The Basics of BI Introduktion till Datawarehouse Business Intelligence Summit 2008 February 5-7, 2008 RAI Convention Center Amsterdam, Netherlands James Richardson For more information about our research policies, processes and methodologies, please visit Gartner Research Methodology on gartner.com. These materials can be reproduced only with written approval from Gartner. Such approvals must be requested via

5 Försök till definition av DataWarehouse
DataWarehouse är en infrastrukturkomponent för att hantera historisk Information, som senare kan användas i många olika syften. Datawarehouse kan t.ex: Vara informationsförsörjare i olika processer Vara informationsförsörjare vid uppföljning av verksamheten Skapa enhetlighet kring begrepp Tillhandahålla en ”single-version of the truth” Ge bättre möjlighet att planera en verksamhet

6 Några grundbegrepp inom Datawarehouse
ETL (Extract, Transform and Load) Processen för att ta emot, transformera och ladda in data i ett DW Operationella system System som stöder de dagliga processerna, ofta affärskritiskt för verksamheten Datamart Databas designad för visst syfte till en utpekad användargrupp. StarSchema-modell (Stjärndiagram) Datamodelleringsteknik som bygger på att man har dimensioner kopplat till fakta (mätvärden), utvecklad av Ralph Kimbal) Operational Data Store (ODS) Ett datalager mellan den operationella världen och datawarehouse som ofta uppdateras i nära realtid, t ex en kunds alla avtalsförbindelser. OLAP/ROLAP/MOLAP/HOLAP Databassystem som är specialiserade för att hantera StarSchema- modeller och bygga sk kuber på ett effektivt sätt.

7 Några olika Datawarehouse topologier
Key Issue: What are the different structures that exist in the DW and their effect on optimization? Operationella system Frågor direkt mot Operationella system Middleware DM DM DM Virtuellt Datawarehouse (via dataaccess middleware) 2. Föder många datamarts DM DM DM DW DM DW DM DM DM DM DM DM 4. Fåtal DM och direkt användaraccess mot DW 3. Central DW som föder många DM utan direkt användaraccess mot DW

8 Datawarehouse arkitektur
Tactical Guideline: The data warehouse infrastructure is complex and touches not only the IT organization but also every line of business. Create a Competency Center representing all organizations to govern and implement the data warehouse. ETL User Access Source 1 Direct Access Repositories ODS LDAP or other Access control Power User Source 2 Physical Marts Data Warehouse Any and/or Multiple RDBMS Work Files Staging Area Data Quality Source 3 OLAP App Server BI Desktop User Meta Data Repository Logical Marts (managed by BI tool or DWDBMS) Source 4 Caching ETL Tool Pre-loaded Cube Storage Systems BI Architect User

9 Kraven på Datawarehouse ökar
Strategic Imperative: The DW mixed workload has been changing and is becoming more complex (for example, differing data access modes and increasing user loads), which is having a much greater effect on data warehouse performance. Klassisk DW last DW med blandad last Source Source DW Source Source DW Source Source Laddas i batch Standard rapporter Fåtal "ad hoc" användare Enkelriktat dataflöde Nära realtids laddning 1, ,000 Standard rapporter Många "ad hoc" användare Warehouse integreras med alla system BI inbyggt i operationella system — Operational BI Dubbelriktat dataflöde

10 Vad driver utvecklingen av mixad last mot DW?
Key Issue: What are the underlying DW technologies? Internetkanalens krav på tillgänglighet och samordnad information Kunderna ser rakt in i informationssystemen Krav på automatiserade processer med maskinella affärsbeslut Bevilja krediter, prissättning av tjänster/produkter, bonusprogram Kräver samordnad information för att ge hela bilden Myndighetskrav Basel II, SOX, Solvency II, … Den tekniska utvecklingen Billigare lagring och större möjlighet att hantera stora volymer med acceptabel prestanda Traditionella kravställare får utökat behov iom nya möjligheter

11 Datawarehouse som affärskritiskt system
Key Issue: How do broader definitions of "information" and database physics create new opportunities and challenges? Strategic Planning Assumption: By the close of 2009, 90% of Global 2000 companies will have at least one operational application dependent on data warehouse data for daily processing needs. Data warehouse är ett affärskritiskt system på många företag. När Datawarehouset går ner, stannar affärsprocess-applikationerna. Datawarehouse blir en “single-point-of-failure” om man byggt in det med operationella applikationer utan att i grunden designat datawarehouset för detta syfte.

12 Design av Datawarehouse som affärskritiskt system
Key Issue: What are the underlying DW technologies? Tillgänglighet 24/7 för frågor Kontinuerlig laddning vid behov Prestanda Acceptabla och jämna svarstider Kvalité Speglar källsystem, avstämt, informationsintegrerat Integrerbart Exponera informationstjänster i en SOA-lösning Anpassningsbart i takt med nya krav Möjlighet att ansluta nya system t ex vid företagsköp Snabbt bygga nya datamart/leveranssamband

13 Viktiga tekniker kring ett Datawarehouse
Key Issue: What are the underlying DW technologies? Databashanterare Traditionella Rdbms DB2, Oracle, Microsoft Special DW DBMS Teradata, Netezza, Greenplum, Datallegro Dataintegration ETL-verktyg Informatica, IBM Datastage, Microsoft IS, Oracle WHB, SAS, SAP/Business Objects ESB-verktyg (Enterprise Service Bus) IBM MessageBroker/MQ, Microsoft BizTalk, Sonic Datakvalité Dataprofileringsverktyg Trillium, Dataflux, Informatica, SAP/Business Objects

14 Viktiga tekniker kring ett Datawarehouse (forts)
Key Issue: What are the underlying DW technologies? Model- och metadatahantering Modelleringsverktyg Generella modeller Branschmodeller t ex IBM IFW/IAA, Egen företagsövergripande datamodell ETL-verktyg Informatica, IBM Datastage, Microsoft IS, Oracle WHB, SAS, SAP/Business Objects BI-verktyg Cognos, SAS, SAP Business Objects

15 Introduktion till Business Intelligence
Tutorial B: The Basics of BI Introduktion till Business Intelligence Business Intelligence Summit 2008 February 5-7, 2008 RAI Convention Center Amsterdam, Netherlands James Richardson For more information about our research policies, processes and methodologies, please visit Gartner Research Methodology on gartner.com. These materials can be reproduced only with written approval from Gartner. Such approvals must be requested via

16 Försök till definition av BI
BI är att omvandla ett företags data till information och använda denna för rapportering, analyser och i de dagliga processerna. Syftet är att genom BI bidra till en ökad effektivitet och vinst så att de affärsmässiga målen uppnås. BI kan t.ex: minska risker i beslut ge ökade affärsmöjligheter ge lägre kostnader ge ökade volymer m.m. Affärsmål Beslut Analys Information

17 Business Intelligence arkitekturöversikt
Affärsmål Nyckeltal (KPI) Affärsprocesser Business Intelligence Source 3 Source 2 Operationella system Source 1 Repositories ETL Data Warehouse Data Mart 1 Data Mart 2 Staging Area Cube ODS Metadata Repository Scorecards Dashboards Analys Applikationer Andra applikationer Rapporter

18 Byggblock i en BI plattform
Business Intelligence Plattform Integration Informations leverans Analys Infrastruktur Metadata hantering Utvecklings-miljö Workflow och Collaboration OLAP Scorecarding Visualisering Predictive Modeling och Data Mining Rapporter Ad-hoc frågor Ms Office Integration Dashboards

19 Allmänna trender Datawarehouse blir mer och mer affärskritiskt
2009 kommer 90% av alla företag ha applikationer beroende av Datawarehouse för dagliga processer Gränserna mellan operationella system och Datawarehouse blir otydligare Kraven på ”Near realtime” ökar Ökad användning av ODS Dataintegration blir allt viktigare även med externt data Datakvalitet är jätteviktigt (kräver konsolidering) Ökad lagring av ”ostrukturerat data” i form av t.ex dokument, mail , XML-data m.m. BI inte bara för experter

20 Allmänna trender forts.
BAM – Business Activity Monitoring Analys av affärshändelser för att kunna reagera proaktivt BPM – Business Performance Management Analys av affärsprocesser för att bättre förstå och följa upp verksamheten BICC - Business Intelligence Competence Center MDM – Master Data Management Koncept för att hålla ihop sina huvudobjekt, t ex kund/produkt Databaskoden kommer att flyttas närmare den fysiska lagringen för att höja prestanda. Volymen data ökar i Datawarehouse Nya användningsområden av Datawarehouse Taktiskt 90’ Strategiskt 2000 Operationellt Nu Flodvågen Snart

21 Processleverantörer köper BI plattformsleverantörer
Tactical Guideline: Independent BI vendors remain a good option for integrating process and BI for organizations that are not investing heavily in a BPM suite. 21

22 Fyra Mega-leverantörer dominerar marknaden för BI-plattformar
Business Application Centric ORACLE SAP SEM SAP BW Netweaver 7.0 OutlookSoft/Pilot Business Objects … Database 11g Siebel Hyperion Fusion … Business Intelligence and Performance Management IBM Microsoft Balanced Warehouse Cognos DB2 OmniFind WebSphere DataStage … PerformancePoint Server SQL Server Office/SharePoint FAST … Infrastructure Centric

23 Avslut och sammanfattning Business Intelligence och Datawarehouse intro.
Vad är det? Datawarehouse, BI och procceser i symbios för att skapa en bra informationsförsörjning Hur funkar det? Teknik, arkitektur, design Har alla det? Ja, och det används i många fler syften nu än tidigare Måste jag ha det också? Absolut Frågor och diskussion!