Presentation laddar. Vänta.

Presentation laddar. Vänta.

Datawarehouse & Business Intelligence ur ett arkitekturperspektiv Dataföreningens Arkitektnätverksmöte 2009-03-18 Kjell Askdal, Evitec.

Liknande presentationer


En presentation över ämnet: "Datawarehouse & Business Intelligence ur ett arkitekturperspektiv Dataföreningens Arkitektnätverksmöte 2009-03-18 Kjell Askdal, Evitec."— Presentationens avskrift:

1

2 Datawarehouse & Business Intelligence ur ett arkitekturperspektiv Dataföreningens Arkitektnätverksmöte Kjell Askdal, Evitec

3 2 Evitec Evitec är ett konsultföretag inriktade mot uppdrag kring informationsarkitektur. Vi har spetskompetens inom projektledning, testledning, arkitektur samt kravfångst. Bland våra kunder finns några av Sveriges största företag inom Bank, Finans och Försäkring. Vi är ca 20 konsulter och har funnits sedan 2001

4 3 Agenda: Vad är det? Hur funkar det? Har alla det? Måste jag ha det också? Frågor och diskussion Introduktion till BI & Datawarehouse

5 Introduktion till Datawarehouse

6 5 Försök till definition av DataWarehouse DataWarehouse är en infrastrukturkomponent för att hantera historisk Information, som senare kan användas i många olika syften. Datawarehouse kan t.ex: Vara informationsförsörjare i olika processer Vara informationsförsörjare vid uppföljning av verksamheten Skapa enhetlighet kring begrepp Tillhandahålla en ”single-version of the truth” Ge bättre möjlighet att planera en verksamhet

7 6 Några grundbegrepp inom Datawarehouse ETL (Extract, Transform and Load) Processen för att ta emot, transformera och ladda in data i ett DW Operationella system System som stöder de dagliga processerna, ofta affärskritiskt för verksamheten Datamart Databas designad för visst syfte till en utpekad användargrupp. StarSchema-modell (Stjärndiagram) Datamodelleringsteknik som bygger på att man har dimensioner kopplat till fakta (mätvärden), utvecklad av Ralph Kimbal) Operational Data Store (ODS) Ett datalager mellan den operationella världen och datawarehouse som ofta uppdateras i nära realtid, t ex en kunds alla avtalsförbindelser. OLAP/ROLAP/MOLAP/HOLAP Databassystem som är specialiserade för att hantera StarSchema- modeller och bygga sk kuber på ett effektivt sätt.

8 1.Virtuellt Datawarehouse (via dataaccess middleware) 1.Virtuellt Datawarehouse (via dataaccess middleware) 2. Föder många datamarts 3. Central DW som föder många DM utan direkt användaraccess mot DW DM 4. Fåtal DM och direkt användaraccess mot DW DM Middleware Frågor direkt mot Operationella system DM Operationella system DM DW Några olika Datawarehouse topologier

9 Datawarehouse arkitektur User Access Storage Systems ETL ODS Any and/or Multiple RDBMS Source 1 Source 2 Source 3 Work Files Staging AreaData Quality Logical Marts (managed by BI tool or DWDBMS) Direct Access Caching LDAP or other Access control Power User BI Desktop User OLAP App Server BI Architect User Pre-loaded Cube Repositories Data Warehouse ETL Tool Meta Data Repository Source 4 Physical Marts

10 Kraven på Datawarehouse ökar Source DW DW Klassisk DW last DW med blandad last Laddas i batch Standard rapporter Fåtal "ad hoc" användare Enkelriktat dataflöde Nära realtids laddning 1, ,000 Standard rapporter Många "ad hoc" användare Warehouse integreras med alla system BI inbyggt i operationella system — Operational BI Dubbelriktat dataflöde

11 Vad driver utvecklingen av mixad last mot DW? Internetkanalens krav på tillgänglighet och samordnad information Kunderna ser rakt in i informationssystemen Krav på automatiserade processer med maskinella affärsbeslut Bevilja krediter, prissättning av tjänster/produkter, bonusprogram Kräver samordnad information för att ge hela bilden Myndighetskrav Basel II, SOX, Solvency II, … Den tekniska utvecklingen Billigare lagring och större möjlighet att hantera stora volymer med acceptabel prestanda Traditionella kravställare får utökat behov iom nya möjligheter

12 Datawarehouse som affärskritiskt system 11 Data warehouse är ett affärskritiskt system på många företag. När Datawarehouset går ner, stannar affärsprocess- applikationerna. Datawarehouse blir en “single-point-of-failure” om man byggt in det med operationella applikationer utan att i grunden designat datawarehouset för detta syfte.

13 Design av Datawarehouse som affärskritiskt system Tillgänglighet 24/7 för frågor Kontinuerlig laddning vid behov Prestanda Acceptabla och jämna svarstider Kvalité Speglar källsystem, avstämt, informationsintegrerat Integrerbart Exponera informationstjänster i en SOA-lösning Anpassningsbart i takt med nya krav Möjlighet att ansluta nya system t ex vid företagsköp Snabbt bygga nya datamart/leveranssamband

14 Viktiga tekniker kring ett Datawarehouse Databashanterare Traditionella Rdbms DB2, Oracle, Microsoft Special DW DBMS Teradata, Netezza, Greenplum, Datallegro Dataintegration ETL-verktyg Informatica, IBM Datastage, Microsoft IS, Oracle WHB, SAS, SAP/Business Objects ESB-verktyg (Enterprise Service Bus) IBM MessageBroker/MQ, Microsoft BizTalk, Sonic Datakvalité Dataprofileringsverktyg Trillium, Dataflux, Informatica, SAP/Business Objects

15 Viktiga tekniker kring ett Datawarehouse (forts) Model- och metadatahantering Modelleringsverktyg Generella modeller Branschmodeller t ex IBM IFW/IAA, Egen företagsövergripande datamodell ETL-verktyg Informatica, IBM Datastage, Microsoft IS, Oracle WHB, SAS, SAP/Business Objects BI-verktyg Cognos, SAS, SAP Business Objects

16 Introduktion till Business Intelligence

17 16 Försök till definition av BI BI är att omvandla ett företags data till information och använda denna för rapportering, analyser och i de dagliga processerna. Syftet är att genom BI bidra till en ökad effektivitet och vinst så att de affärsmässiga målen uppnås. BI kan t.ex: minska risker i beslut ge ökade affärsmöjligheter ge lägre kostnader ge ökade volymer m.m. Information Affärsmål Beslut Analys

18 17 Business Intelligence arkitekturöversikt Affärsmål Nyckeltal (KPI) Affärsprocesser Business Intelligence Scorecards Dashboards Analys Applikationer Andra applikationer Andra applikationer Rapporter Source 3 Source 2 Operationella system Source 1 Repositories ETL Data Warehouse Data Mart 1 Data Mart 2 Staging Area Cube ODS Data Warehouse Metadata Repository

19 18 Byggblock i en BI plattform Informations leverans IntegrationAnalys Infrastruktur Metadata hantering Utvecklings- miljö Workflow och Collaboration Rapporter Ad-hoc frågor Ms Office Integration Dashboards OLAP Scorecarding Visualisering Predictive Modeling och Data Mining Business Intelligence Plattform

20 Allmänna trender Datawarehouse blir mer och mer affärskritiskt  2009 kommer 90% av alla företag ha applikationer beroende av Datawarehouse för dagliga processer  Gränserna mellan operationella system och Datawarehouse blir otydligare Kraven på ”Near realtime” ökar  Ökad användning av ODS Dataintegration blir allt viktigare även med externt data Datakvalitet är jätteviktigt (kräver konsolidering) Ökad lagring av ”ostrukturerat data” i form av t.ex dokument, mail, XML-data m.m. BI inte bara för experter 19

21 Allmänna trender forts. BAM – Business Activity Monitoring Analys av affärshändelser för att kunna reagera proaktivt BPM – Business Performance Management Analys av affärsprocesser för att bättre förstå och följa upp verksamheten BICC - Business Intelligence Competence Center MDM – Master Data Management Koncept för att hålla ihop sina huvudobjekt, t ex kund/produkt Databaskoden kommer att flyttas närmare den fysiska lagringen för att höja prestanda. Volymen data ökar i Datawarehouse Nya användningsområden av Datawarehouse 20 Taktiskt 90’ Strategiskt 2000 Operationellt Nu Flodvågen Snart

22 21 Processleverantörer köper BI plattformsleverantörer

23 22 IBM Microsoft Fyra Mega-leverantörer dominerar marknaden för BI-plattformar ORACLE SAP Business Intelligence and Performance Management SEM SAP BW Netweaver 7.0 OutlookSoft/Pilot Business Objects … PerformancePoint Server SQL Server Office/SharePoint FAST … Database 11g Siebel Hyperion Fusion … Business Application Centric Infrastructure Centric Balanced Warehouse Cognos DB2 OmniFind WebSphere DataStage …

24 23 Vad är det? Datawarehouse, BI och procceser i symbios för att skapa en bra informationsförsörjning Hur funkar det? Teknik, arkitektur, design Har alla det? Ja, och det används i många fler syften nu än tidigare Måste jag ha det också? Absolut Frågor och diskussion! Avslut och sammanfattning Business Intelligence och Datawarehouse intro.


Ladda ner ppt "Datawarehouse & Business Intelligence ur ett arkitekturperspektiv Dataföreningens Arkitektnätverksmöte 2009-03-18 Kjell Askdal, Evitec."

Liknande presentationer


Google-annonser