Vad är Data Warehouse? Typer, Definition & exempel

det är en blandning av teknik och komponenter som hjälper den strategiska användningen av data., Det är elektronisk lagring av en stor mängd information av ett företag som är utformat för fråga och analys i stället för transaktionsbehandling. Det är en process för att omvandla data till information och göra den tillgänglig för användare i tid för att göra skillnad.

i denna Data Warehouse (DWH) handledning kommer du att lära dig mer om-

• historia Datawarehouse
• hur Datawarehouse fungerar?
• typer av datalager (DWH)
• allmänna stadier av datalager
• komponenter i datalager
• vem behöver datalager?,
• vad används ett datalager för?
• steg för att implementera datalager
• bästa praxis för att implementera ett datalager
• Varför behöver vi datalager? Fördelar & nackdelar
• framtiden för datalagring
• Data Warehouse Tools

beslutsstöddatabasen (Data Warehouse) upprätthålls separat från organisationens operativa databas. Datalagret är dock inte en produkt utan en miljö., Det är en arkitektonisk konstruktion av ett informationssystem som ger användarna aktuell och historisk beslutsstödinformation som är svår att få tillgång till eller närvarande i det traditionella operativa datalagret.

Du vet många att en 3NF-utformad databas för ett inventeringssystem många har tabeller relaterade till varandra. En rapport om aktuell inventeringsinformation kan till exempel innehålla mer än 12 sammanfogade villkor. Detta kan snabbt sakta ner svarstiden för frågan och rapporten., Ett datalager ger en ny design som kan bidra till att minska svarstiden och bidrar till att förbättra prestanda för frågor för rapporter och analyser.,

Data warehouse system är också känt med följande namn:

• Decision Support System (DSS)
• Executive Information System
• Management Information System
• Business Intelligence Solution
• Analytic Application
• Data Warehouse

historik över Datawarehouse

Datawarehouse gynnar användarna att förstå och förbättra organisationens prestanda., Behovet av att lagra data utvecklats som datorsystem blev mer komplex och behövs för att hantera ökande mängder Information. Datalagring är dock inte en ny sak.

här är några viktiga händelser i utvecklingen av Data Warehouse –

• 1960 – Dartmouth och General Mills i ett gemensamt forskningsprojekt, utveckla termer dimensioner och fakta.

• 1970 – a Nielsen och IRI introducerar dimensionella data marts för detaljhandeln.,
• 1983 – Tera Data Corporation introducerar ett databashanteringssystem som är speciellt utformat för beslutsstöd

• datalagring startade i slutet av 1980-talet när IBM-arbetaren Paul Murphy och Barry Devlin utvecklade Affärsdatalagret.

• det verkliga konceptet gavs dock av Inmon Bill. Han betraktades som en far till datalager. Han hade skrivit om en mängd olika ämnen för byggnad, användning och underhåll av lagret & Corporate Information Factory.

hur Datawarehouse fungerar?,

ett datalager fungerar som ett centralt datalager där information kommer från en eller flera datakällor. Data strömmar in i ett datalager från transaktionssystemet och andra relationsdatabaser.

Data kan vara:

1. strukturerad
2. Semi-strukturerad
3. ostrukturerade data

data bearbetas, transformeras och intas så att användarna kan komma åt de bearbetade uppgifterna i datalagret via Business Intelligence-verktyg, SQL-klienter och kalkylblad., Ett datalager sammanfogar information som kommer från olika källor till en omfattande databas.

genom att slå samman all denna information på ett ställe kan en organisation analysera sina kunder mer holistiskt. Detta bidrar till att säkerställa att den har övervägt all tillgänglig information. Datalagring gör datautvinning möjlig. Data mining letar efter mönster i data som kan leda till högre försäljning och vinst.

typer av datalager

tre huvudtyper av datalager (DWH) är:

1., Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) är ett centraliserat lager. Det ger beslutsstödstjänst över hela företaget. Det erbjuder ett enhetligt tillvägagångssätt för att organisera och representera data. Det ger också möjlighet att klassificera data enligt ämnet och ge tillgång enligt dessa avdelningar.

2. Operativ datalagring:

Operativ datalagring, som också kallas ODS, är inget annat än datalagring som krävs när varken datalager eller OLTP-system stöder organisationers rapporteringsbehov., I ODS uppdateras datalagret i realtid. Därför är det allmänt föredraget för rutinaktiviteter som att lagra register över de anställda.

3. Data Mart:

en data mart är en delmängd av datalagret. Den är särskilt utformad för en viss bransch, såsom försäljning, finans, försäljning eller finans. I en oberoende data mart kan data samla in direkt från källor.

allmänna stadier av datalager

tidigare började organisationer relativt enkel användning av datalagring. Men med tiden började mer sofistikerad användning av datalagring.,

Följande är allmänna användningsfaser för datalagret (DWH):

Offline Operativ databas:

i detta skede kopieras data bara från ett operativt system till en annan server. På så sätt påverkar inte lastning, bearbetning och rapportering av de kopierade uppgifterna det operativa systemets prestanda.

Offline Data Warehouse:

Data i Datawarehouse uppdateras regelbundet från den operativa databasen. Uppgifterna i Datawarehouse kartläggs och omvandlas för att uppfylla Datawarehouse-målen.,

datalager i realtid:

i detta skede uppdateras datalager när någon transaktion äger rum i operativ databas. Till exempel flyg-eller järnvägsbokningssystem.

integrerat datalager:

i detta skede uppdateras datalager kontinuerligt när det operativa systemet utför en transaktion. Datawarehouse genererar sedan transaktioner som skickas tillbaka till det operativa systemet.

komponenter i datalager

fyra komponenter i datalager är:

Load manager: Load manager kallas också den främre komponenten., Den utför med alla operationer i samband med utvinning och belastning av data i lageret. Dessa operationer inkluderar omvandlingar för att förbereda data för att komma in i datalagret.

Warehouse Manager: Warehouse manager utför operationer i samband med hanteringen av data i lageret. Den utför operationer som analys av data för att säkerställa konsekvens, skapande av index och vyer, generering av denormalisering och aggregat, omvandling och sammanslagning av källdata och arkivering och bakningsdata.,

Query Manager: Query manager är också känd som backend komponent. Den utför alla operationer relaterade till hanteringen av användarfrågor. Driften av dessa datalager komponenter är direkta frågor till lämpliga tabeller för schemaläggning av utförandet av frågor.

Slutanvändaråtkomstverktyg:

detta kategoriseras i fem olika grupper som 1. Datarapportering 2. Frågeverktyg 3. Verktyg för applikationsutveckling 4. EIS verktyg, 5. OLAP verktyg och data mining verktyg.

Vem behöver datalager?,

DWH (data warehouse) behövs för alla typer av användare som:

• beslutsfattare som förlitar sig på massmängd av data
• användare som använder anpassade, komplexa processer för att få information från flera datakällor.
• Det används också av de personer som vill ha enkel teknik för att få tillgång till data
• Det är också viktigt för de personer som vill ha ett systematiskt tillvägagångssätt för att fatta beslut.
• Om användaren vill ha snabb prestanda på en stor mängd data som är en nödvändighet för rapporter, galler eller diagram, visar datalager användbar.,
• datalager är ett första steg om du vill upptäcka ”dolda mönster” av dataflöden och grupperingar.

vad används ett datalager för?

här är de vanligaste sektorerna där datalager används:

flygbolag:

i Flygbolagssystemet används det för operationsändamål som besättningsuppgift, analyser av ruttlönsamhet, frekventa flygprogram kampanjer etc.

Bank:

det används ofta inom banksektorn för att hantera de resurser som finns tillgängliga på skrivbordet effektivt., Få banker använde också för marknadsundersökningar, prestandaanalys av produkten och verksamheten.

hälso-och sjukvård:

hälso-och sjukvårdssektorn använde också datalager för att strategisera och förutsäga resultat, generera patientens behandlingsrapporter, dela data med tie-in försäkringsbolag, medicinsk hjälp, etc.

offentlig sektor:

i den offentliga sektorn används datalager för underrättelseinsamling. Det hjälper myndigheter att upprätthålla och analysera skatteregister, hälsopolitiska poster, för varje individ.,

investerings-och försäkringssektorn:

i denna sektor används lagren främst för att analysera datamönster, kundtrender och för att spåra marknadsrörelser.

behåll kedja:

i detaljhandelskedjor används datalager i stor utsträckning för distribution och marknadsföring. Det bidrar också till att spåra objekt, kund köpa mönster, kampanjer och även används för att bestämma prispolitik.

telekommunikation:

ett datalager används inom denna sektor för produktkampanjer, säljbeslut och för att fatta distributionsbeslut.,

besöksnäringen:

den här branschen använder warehouse Tjänster för att utforma samt uppskatta deras reklam och kampanjer där de vill rikta kunder baserat på deras feedback och resemönster.

steg för att implementera datalager

det bästa sättet att hantera affärsrisken i samband med en Datawarehouse-implementering är att använda en treprong-strategi enligt nedan

1. företagsstrategi: här identifierar vi teknisk inklusive aktuell arkitektur och verktyg. Vi identifierar också fakta, dimensioner och attribut., Datamappning och omvandling är också godkänd.
2. stegvis leverans: Datawarehouse-implementeringen bör fasas baserat på ämnesområden. Relaterade affärsenheter som bokning och fakturering bör först genomföras och sedan integreras med varandra.
3. iterativ prototypning: i stället för en big bang-strategi för implementering bör Datawarehouse utvecklas och testas iterativt.

här är viktiga steg i Datawarehouse-implementeringen tillsammans med dess resultat.,ntegration Map

8 utveckla Data Warehouse databasdesign d/w databasdesign 9 extrahera Data från operativ datalagring integrerad D/W Dataextrakt

10 ladda datalager Initial data Load 11 underhålla datalager pågående dataåtkomst och efterföljande belastningar

bästa praxis för att implementera ett datalager

• besluta om en plan för att testa uppgifternas konsistens, noggrannhet och integritet.,
• datalagret måste vara väl integrerat, väldefinierat och tidsstämplat.
• när du utformar Datawarehouse se till att du använder rätt verktyg, hålla sig till livscykel, ta hand om datakonflikter och redo att lära dig att du är dina misstag.
• ersätt aldrig operativa system och rapporter
• spendera inte för mycket tid på att extrahera, rengöra och ladda data.
• se till att involvera alla intressenter, inklusive affärspersonal i Datawarehouse-implementeringsprocessen. Fastställa att datalagring är ett gemensamt / lagprojekt., Du vill inte skapa datalager som inte är användbart för slutanvändarna.
• utarbeta en utbildningsplan för slutanvändarna.

Varför behöver vi datalager? Fördelar & nackdelar

fördelar med datalager (DWH):

• datalager gör det möjligt för företagsanvändare att snabbt komma åt kritiska data från vissa källor på ett ställe.
• datalager ger konsekvent information om olika tvärfunktionella aktiviteter. Den stöder också Ad hoc-rapportering och frågor.,
• datalager hjälper till att integrera många datakällor för att minska stressen på produktionssystemet.
• datalager bidrar till att minska den totala vändningstiden för analys och rapportering.
• omstrukturering och Integration gör det lättare för användaren att använda för rapportering och analys.
• datalager tillåter användare att komma åt kritiska data från antalet källor på ett enda ställe. Därför, det sparar användarens tid att hämta data från flera källor.
• datalager lagrar en stor mängd historiska data., Detta hjälper användare att analysera olika tidsperioder och trender för att göra framtida förutsägelser.

nackdelar med datalager:

• inte ett idealiskt alternativ för ostrukturerade data.
• skapande och genomförande av datalager är säkert tid förvirrande affär.
• datalager kan vara inaktuellt relativt snabbt
• svårt att göra ändringar i datatyper och intervall, datakällschema, index och frågor.
• datalagret kan verka enkelt, men det är faktiskt för komplext för de genomsnittliga användarna.,
• trots bästa ansträngningar på projektledning kommer datalagringsprojektets omfattning alltid att öka.
• någon gång lager användare kommer att utveckla olika affärsregler.
• organisationer måste spendera mycket av sina resurser för utbildning och genomförande ändamål.

framtiden för datalagring

• förändring av regleringsbegränsningar kan begränsa möjligheten att kombinera källa till olika data. Dessa olika källor kan omfatta ostrukturerade data som är svåra att lagra.,
• när databasernas storlek växer fortsätter uppskattningarna av vad som utgör en mycket stor databas att växa. Det är komplext att bygga och köra datalager system som alltid ökar i storlek. Hårdvaru-och programresurserna är tillgängliga idag tillåter inte att hålla en stor mängd data online.
• multimediadata kan inte lätt manipuleras som textdata, medan textinformation kan hämtas av relationsprogramvaran som finns tillgänglig idag. Detta kan vara ett forskningsämne.,

Data Warehouse Tools

det finns många Datalagringsverktyg tillgängliga på marknaden. Här är några mest framträdande:

1. MarkLogic:

MarkLogic är användbar datalagringslösning som gör dataintegrationen enklare och snabbare med hjälp av en rad företagsfunktioner. Detta verktyg hjälper till att utföra mycket komplexa sökoperationer. Det kan fråga olika typer av data som dokument, relationer och metadata.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle är den branschledande databasen., Det erbjuder ett brett utbud av datalager lösningar för både på plats och i molnet. Det bidrar till att optimera kundupplevelser genom att öka operativ effektivitet.

https://www.oracle.com/index.html

3. Amazon Rödförskjutning:

Amazon Rödförskjutning är Data warehouse verktyg. Det är ett enkelt och kostnadseffektivt verktyg för att analysera alla typer av data med hjälp av standard SQL och befintliga BI-verktyg. Det gör det också möjligt att köra komplexa frågor mot petabyte av strukturerade data, med hjälp av tekniken för frågeoptimering.,

https://aws.amazon.com/redshift/?nc2=h_m1

här är en komplett lista över användbara Datawarehouse verktyg.

key LEARNING

• Data Warehouse (DWH), är också känd som ett Enterprise Data Warehouse (EDW).
• ett datalager definieras som ett centralt datalager där information kommer från en eller flera datakällor.
• tre huvudtyper av datalager är Enterprise Data Warehouse (EDW), Operational Data Store och Data Mart.,
• allmäntillstånd i ett datawarehouse är Offline Operativ databas, Offline datalager, realtid datalager och integrerade datalager.
• fyra huvudkomponenter i Datawarehouse är Load manager, Warehouse Manager, Query Manager, End-user access tools
• Datawarehouse används i olika branscher som flygbolag, Bank, sjukvård, försäkring, detaljhandel etc.
• implementera Datawarehosue är en 3 prong strategi viz. Företagsstrategi, stegvis leverans och iterativ prototypning.,
• datalager tillåter företagsanvändare att snabbt komma åt kritiska data från vissa källor på ett ställe.