Hvad er datalagring?
en data Warehousingarehousing (D.) er en proces til indsamling og styring af data fra forskellige kilder for at give meningsfuld forretningsindsigt. Et data warehousearehouse bruges typisk til at forbinde og analysere forretningsdata fra heterogene kilder. Data warehousearehouse er kernen i BI-systemet, som er bygget til dataanalyse og rapportering.
det er en blanding af teknologier og komponenter, der hjælper den strategiske brug af data., Det er elektronisk opbevaring af en stor mængde information af en virksomhed, der er designet til forespørgsel og analyse i stedet for transaktionsbehandling. Det er en proces med at omdanne data til information og gøre dem tilgængelige for brugerne rettidigt for at gøre en forskel.
I dette Data Warehouse (DWH) tutorial, vil du lære mere om-
- Historie af Datawarehouse
- Hvordan Datawarehouse virker?
- typer af data Warehousearehouse (D ?h)
- generelle stadier af data Warehousearehouse
- komponenter af data warehousearehouse
- Hvem har brug for data warehousearehouse?,
- hvad bruges et datavarehus til?
- trin til implementering af data Warehousearehouse
- bedste praksis til implementering af et data Warehousearehouse
- Hvorfor har vi brug for data ?arehouse? Fordele & Ulemper
- Fremtiden for Data Warehousing
- Data Warehouse Værktøjer
beslutningsstøtte database (Data Warehouse) holdes adskilt fra organisationens operationelle database. Data warehousearehouse er dog ikke et produkt, men et miljø., Det er en arkitektonisk konstruktion af et informationssystem, der giver brugerne nuværende og historiske beslutningsstøtteinformation, som er vanskelig at få adgang til eller til stede i det traditionelle operationelle datalager.
Du mange ved, at en 3NF-designet database for et lagersystem mange har tabeller relateret til hinanden. For eksempel kan en rapport om aktuelle lageroplysninger omfatte mere end 12 sammenføjede betingelser. Dette kan hurtigt bremse svartiden for forespørgslen og rapporten., Et data warehousearehouse giver et nyt design, som kan bidrage til at reducere responstiden og hjælper med at forbedre ydeevnen af forespørgsler til rapporter og analyser.,
Data warehouse-system, der også er kendt under følgende navn:
- decision Support System (DSS)
- Executive Information System
- Management Information System
- Business Intelligence-Løsning
- Analytisk Anvendelse
- Data Warehouse
Historie af Datawarehouse
Den Datawarehouse fordele brugerne til at forstå og forbedre deres organisations præstationer., Behovet for lagerdata udviklede sig, da computersystemer blev mere komplekse og nødvendige for at håndtere stigende mængder Information. Datalagring er dog ikke en ny ting.
Her er nogle vigtige begivenheder i udviklingen af Data Warehousearehouse –
- 1960 – Dartmouth og General Mills i et fælles forskningsprojekt Udvikler begreberne dimensioner og fakta.1970 – a Nielsen og iri introducerer dimensionelle datamarkeder for detailsalg.,
- 1983 – Tera Data Corporation introducerer en database management system, som er specielt designet til beslutningsstøtte
- Data warehousing startede i slutningen af 1980’erne, hvor IBM arbejdstager Paul Murphy og Barry Devlin udviklet virksomhedens Data Warehouse.
- Imidlertid blev det virkelige koncept givet af Inmon Bill. Han blev betragtet som far til data warehousearehouse. Han havde skrevet om en række emner til bygning, brug og vedligeholdelse af lageret & virksomhedens Informationsfabrik.
hvordan Datarehousearehouse fungerer?,
et data Warehousearehouse fungerer som et centralt lager, hvor information kommer fra en eller flere datakilder. Data strømmer ind i et data warehousearehouse fra transaktionssystemet og andre relationelle databaser.
Data kan være:
- Struktureret
- Semi-struktureret
- Ustrukturerede data
De data, der er behandlet, omdannes, og den indtages således, at brugerne kan få adgang til de forarbejdede data i Data Warehouse gennem Business Intelligence-værktøjer, SQL kunder, og regneark., Et data warehousearehouse fusionerer oplysninger fra forskellige kilder i en omfattende database.
Ved at fusionere alle disse oplysninger på Onet sted kan en organisation analysere sine kunder mere holistisk. Dette er med til at sikre, at det har overvejet alle de tilgængelige oplysninger. Data warehousingarehousing gør data mining muligt. Data mining er på udkig efter mønstre i de data, der kan føre til højere salg og overskud.
typer af data Warehousearehouse
tre hovedtyper af data Warehousesarehouses (D .h) er:
1., Enterprise Data Dataarehouse (ed.):
Enterprise Data Dataarehouse (ED.) er et centraliseret lager. Det giver beslutningsstøtte på tværs af virksomheden. Det tilbyder en samlet tilgang til organisering og repræsentation af data. Det giver også mulighed for at klassificere data efter emnet og give adgang i henhold til disse divisioner.
2. Operationel datalager:
operationel datalager, der også kaldes ODS, er intet andet end datalager, der kræves, når hverken datalager eller OLTP-systemer understøtter organisationer, der rapporterer behov., I ODS opdateres data warehousearehouse i realtid. Derfor er det meget foretrukket for rutinemæssige aktiviteter som lagring af registreringer af medarbejderne.
3. Data Mart:
en data mart er en delmængde af data warehousearehouse. Det er specielt designet til en bestemt branche, såsom salg, finansiering, salg eller finansiering. I en uafhængig data mart, data kan indsamle direkte fra kilder.
generelle stadier af data Warehousearehouse
tidligere begyndte organisationer relativt enkel brug af datalagring. Men over tid, mere sofistikeret brug af data warehousingarehousing begyndt.,
Følgende er generelle stadier af brug af data warehousearehouse (D .h):
Offline operationel Database:
i dette trin kopieres data bare fra et operativt system til en anden server. På denne måde påvirker indlæsning, behandling og rapportering af de kopierede data ikke driftssystemets ydeevne.
Offline Data Warehousearehouse:
Data i Datarehousearehouse opdateres regelmæssigt fra den operationelle Database. Dataene i Datarehousearehouse er kortlagt og omdannet til at opfylde data .arehouse mål.,
Real time Data Dataarehouse:
i denne fase opdateres data warehousesarehouses, når en transaktion finder sted i operationel database. For eksempel flyselskab eller jernbane booking system.
integreret data Warehousearehouse:
i dette trin opdateres data Warehousesarehouses kontinuerligt, når driftssystemet udfører en transaktion. Datarehousearehouse genererer derefter transaktioner, der sendes tilbage til det operationelle system.
komponenter i Data warehousearehouse
fire komponenter i data Warehousesarehouses er:
Load manager: Load manager kaldes også den forreste komponent., Det udfører med alle de operationer, der er forbundet med udvinding og belastning af data i lageret. Disse operationer omfatter transformationer til at forberede dataene til at komme ind i datalageret.
Warehouse Manager: Warehouse manager udfører operationer i forbindelse med forvaltningen af data i lageret. Det udfører operationer som analyse af data for at sikre konsistens, oprettelse af indekser og visninger, generering af denormalisering og aggregeringer, transformation og sammenlægning af kildedata og arkivering og bagning-up data., Queryuery Manager: Queryuery manager er også kendt som backend component. Det udfører alle operationer i forbindelse med styring af brugerforespørgsler. Driften af disse data warehousearehouse komponenter er direkte forespørgsler til de relevante tabeller til planlægning af udførelsen af forespørgsler.
slutbrugeradgangsværktøjer:
Dette er kategoriseret i fem forskellige grupper som 1. Indberetning Af Data 2. Forespørgselsværktøjer 3. Ansøgning udviklingsværktøjer 4. EIS værktøj, 5. OLAP værktøjer og data mining værktøjer.
Hvem har brug for data warehousearehouse?,
DWH (Data warehouse) er nødvendig for alle typer af brugere som:
- beslutningstagere, der er afhængige af større mængde data
- Brugere, der bruger tilpassede, komplekse processer til at indhente oplysninger fra flere datakilder.
- det bruges også af de mennesker, der ønsker enkel teknologi til at få adgang til dataene
- det er også vigtigt for de mennesker, der ønsker en systematisk tilgang til beslutninger.
- hvis brugeren ønsker hurtig ydeevne på en enorm mængde data, hvilket er en nødvendighed for rapporter, gitter eller diagrammer, viser Data warehousearehouse sig nyttigt.,
- data warehousearehouse er et første skridt, hvis du vil opdage ‘skjulte mønstre’ af datastrømme og grupperinger.
Hvad bruges et datavarehus til?
Her er de mest almindelige sektorer, hvor Data warehouse er anvendt:
Flyselskab:
I Airline system, der er anvendt til drift formål som besætning opgave, analyser af rute rentabilitet, frequent flyer-program, kampagner osv.
Bank:
det bruges i vid udstrækning i banksektoren til effektivt at styre de ressourcer, der er tilgængelige på skrivebordet., Få banker også brugt til markedsundersøgelser, performance analyse af produktet og operationer.
sundhedspleje:
sundhedssektoren brugte også data warehousearehouse til at strategisere og forudsige resultater, generere patientens behandlingsrapporter, dele data med tilknyttede forsikringsselskaber, lægehjælp mv.
offentlig sektor:
i den offentlige sektor anvendes data warehousearehouse til efterretningsindsamling. Det hjælper offentlige myndigheder med at opretholde og analysere skatteregistre, sundhedspolitiske poster, for hver enkelt person.,
investerings-og forsikringssektor:
i denne sektor bruges lagrene primært til at analysere datamønstre, kundetendenser og til at spore markedsbevægelser.
Behold kæde:
i detailkæder, data warehousearehouse er meget udbredt til distribution og markedsføring. Det hjælper også til at spore emner, kunde køber mønster, kampagner og også bruges til at bestemme prispolitik.
telekommunikation:
et datavarehus bruges i denne sektor til produktpromotioner, salgsbeslutninger og til at træffe distributionsbeslutninger.,
Hospitality Industry:
denne branche bruger lagertjenester til at designe såvel som estimere deres reklame-og promoveringskampagner, hvor de ønsker at målrette klienter baseret på deres feedback og rejsemønstre.
trin til implementering af data implementationarehouse
den bedste måde at tackle den forretningsrisiko, der er forbundet med en Datarehousearehouse-implementering, er at anvende en tre-prong strategi som nedenfor
- virksomhedsstrategi: her identificerer vi teknisk inklusive nuværende arkitektur og værktøjer. Vi identificerer også fakta, dimensioner og attributter., Datakortlægning og transformation er også bestået.
- faset levering: Datarehousearehouse implementering bør fases baseret på fagområder. Relaterede forretningsenheder som booking og fakturering skal først implementeres og derefter integreres med hinanden.
- iterativ Prototyping: i stedet for en big bang-tilgang til implementering, skal Datarehousearehouse udvikles og testes iterativt.
Her er vigtige trin i Datarehousearehouse implementering sammen med sine leverancer.,ntegration Kort
Bedste praksis for at implementere et Data Warehouse
- Beslutte en plan for at teste den konsekvens, nøjagtighed og integritet af data.,
- data warehousearehouse skal være godt integreret, veldefineret og tidsstemplet.
- mens du designer Datarehousearehouse, skal du sørge for at bruge det rigtige værktøj, holde dig til livscyklus, passe på datakonflikter og klar til at lære, at du er dine fejl.
- udskift aldrig operationelle systemer og rapporter
- brug ikke for meget tid på at udtrække, rengøre og indlæse data.
- sørg for at involvere alle interessenter, herunder forretningspersonale, i Datarehousearehouse implementeringsprocessen. Fastslå, at data warehousingarehousing er et fælles / team projekt., Du ønsker ikke at oprette data warehousearehouse, der ikke er nyttigt for slutbrugerne.
- Forbered en træningsplan for slutbrugerne.
Hvorfor har vi brug for data Warehousearehouse? Fordele & Ulemper
Fordele af Data Warehouse (DWH):
- Data warehouse giver mulighed for business-brugere til hurtigt at få adgang til kritiske data fra nogle kilder, alle på ét sted.
- data Dataarehouse giver konsistente oplysninger om forskellige tværfunktionelle aktiviteter. Det understøtter også ad hoc-rapportering og forespørgsel.,
- data Dataarehouse hjælper med at integrere mange datakilder for at reducere stress på produktionssystemet.
- data Dataarehouse hjælper med at reducere den samlede ekspeditionstid for analyse og rapportering.
- omstrukturering og Integration gør det lettere for brugeren at bruge til rapportering og analyse.
- data Dataarehouse giver brugerne adgang til kritiske data fra antallet af kilder på et enkelt sted. Derfor sparer det brugerens tid til at hente data fra flere kilder.
- data warehousearehouse gemmer en stor mængde Historiske data., Dette hjælper brugerne med at analysere forskellige tidsperioder og tendenser for at gøre fremtidige forudsigelser.
ulemper ved data Warehousearehouse:
- ikke en ideel mulighed for ustrukturerede data.
- oprettelse og implementering af data Warehousearehouse er helt sikkert tid forvirrende affære.
- data Warehousearehouse kan være forældet relativt hurtigt
- vanskeligt at foretage ændringer i datatyper og intervaller, datakildeskema, indekser og forespørgsler.
- datavarehuset kan virke let, men faktisk er det for komplekst for de gennemsnitlige brugere.,
- på trods af den bedste indsats på Projektledelse, vil data warehousingarehousing projekt omfang altid stige.
- engang lager brugere vil udvikle forskellige forretningsregler.
- organisationer har brug for at bruge masser af deres ressourcer til uddannelse og implementering formål.
fremtiden for datalagring
- ændring i regulatoriske begrænsninger kan begrænse evnen til at kombinere kilde til forskellige data. Disse forskellige kilder kan omfatte ustrukturerede data, som er vanskelige at gemme.,
- efterhånden som databasernes størrelse vokser, fortsætter estimaterne af, hvad der udgør en meget stor database. Det er komplekst at opbygge og køre Data warehousearehouse systemer, som altid stiger i størrelse. Hard .are-og soft .areressourcerne er tilgængelige i dag tillader ikke at holde en stor mængde data online.multimediedata kan ikke let manipuleres som tekstdata, mens tekstinformation kan hentes af den relationelle soft .are, der er tilgængelig i dag. Dette kunne være et forskningsemne.,
data Warehousearehouse Tools
Der er mange data Warehousingarehousing værktøjer er tilgængelige på markedet. Her er nogle mest fremtrædende:
1. MarkLogic:
MarkLogic er nyttig datalagringsløsning, der gør dataintegration lettere og hurtigere ved hjælp af en række virksomhedsfunktioner. Dette værktøj hjælper med at udføre meget komplekse søgeoperationer. Det kan forespørge forskellige typer data som dokumenter, relationer og metadata.
https://www.marklogic.com/product/getting-started/
2. Oracle:
Oracle er branchens førende database., Det tilbyder en bred vifte af valg af data warehousearehouse-løsninger til både lokale og i skyen. Det hjælper med at optimere kundeoplevelser ved at øge driftseffektiviteten.
https://www.oracle.com/index.html
3. Ama .on RedShift:
Ama .on Redshift er data warehousearehouse værktøj. Det er et enkelt og omkostningseffektivt værktøj til at analysere alle typer data ved hjælp af standard S .l og eksisterende BI-værktøjer. Det giver også mulighed for at køre komplekse forespørgsler mod petabyte af strukturerede data ved hjælp af teknikken til forespørgselsoptimering.,
https://aws.amazon.com/redshift/?nc2=h_m1
Her er en komplet liste over nyttige Datarehousearehouse værktøjer.
KEY LEARNING
- Data Dataarehouse (D .h), er også kendt som en Enterprise Data Warehousearehouse (ed.).
- et data Warehousearehouse er defineret som et centralt lager, hvor oplysninger kommer fra en eller flere datakilder.
- tre hovedtyper af data warehousesarehouses er Enterprise Data EDAREHOUSE (ed.), operationelle datalager, og data Mart.,
- generelle tilstand af en datarehousearehouse er Offline operationel Database, Offline Data Warehousearehouse, Real time data Warehousearehouse og integreret data Warehousearehouse.fire hovedkomponenter i Datarehousearehouse er Load manager, Warehousearehouse Manager, Queryuery Manager, Slutbrugeradgangsværktøjer
- data .arehouse bruges i forskellige brancher som flyselskab, Bank, sundhedspleje, forsikring, detailhandel osv.
- gennemførelse af Datareharehosue er en 3 gren strategi nemlig. Enterprise strategi, trinvis levering og iterativ Prototyping.,
- Data Dataarehouse giver forretningsbrugere mulighed for hurtigt at få adgang til kritiske data fra nogle kilder alt på .t sted.