Hva er Data Warehousing?
Et datavarehus (DW) er prosessen for å samle inn og behandle data fra varierte kilder for å gi meningsfull virksomhet innsikt. En Data warehouse brukes vanligvis for å koble til og analysere business data fra heterogene kilder. Data warehouse er kjernen i BI-systemet som er bygget for data-analyse og rapportering.
Det er en blanding av teknologi og komponenter som hjelpemidler for den strategiske bruken av data., Det er elektronisk lagring av store mengder informasjon ved en virksomhet som er designet for spørring og analyse i stedet for behandling av transaksjoner. Det er prosessen med å transformere data til informasjon og gjøre den tilgjengelig for brukere på en riktig måte for å gjøre en forskjell.
I denne datavarehus (DWH) opplæringen vil du lære mer om-
– >
- Historie Datawarehouse
- Hvordan Datawarehouse fungerer?
- Typer Data Warehouse (DWH)
- Generelle stadier av Data Lager
- Komponenter av Data lager
- Som trenger Data warehouse?,
- Hva Er en Data Warehouse Brukt Til?
- Trinnene for å Implementere Data Warehouse
- Beste praksis for å gjennomføre en Data Warehouse
- Hvorfor Trenger Vi Data Warehouse? Fordelene & Ulemper
- Fremtiden av Data Warehousing
- Data Warehouse Verktøy
beslutningen om støtte database (Data Warehouse) opprettholdes separat fra organisasjonens operative database. Men, datavarehus er ikke et produkt, men et miljø., Det er et arkitektonisk konstruksjon av et informasjonssystem som gir brukere med nåværende og historiske beslutningsstøtte informasjon som er vanskelig å få tilgang til eller er til stede i den tradisjonelle operasjonelle data butikken.
Du mange vet at en 3NF utformet database for et lagersystem for mange har tabeller som er relatert til hverandre. For eksempel, en rapport på nåværende inventar informasjon kan inneholde mer enn 12 sluttet forhold. Dette kan fort tregere responstid for spørringer og rapporter., En data warehouse gir en ny design som kan bidra til å redusere responstiden og bidrar til å forbedre resultatene av søk for rapporter og analyser.,
datavarehus system er også kjent med følgende navn:
- beslutningsstøtte System (DSS)
- Ledende Information System
- Management Information System
- Business Intelligence-Løsning
- Analytisk Program
- Data Warehouse
Historie Datawarehouse
Den Datawarehouse fordeler for brukerne å forstå og forbedre organisasjonens ytelse., Behovet for å warehouse data utviklet seg som datasystemer ble mer komplekse og nødvendig for å håndtere økende mengder Informasjon. Imidlertid, datavarehus, er ikke en ny ting.
Her er noen viktige hendelser i utviklingen av datavarehus-
– >
- 1960 – Dartmouth og General Mills i et felles forskningsprosjekt, utvikle begreper, mål og fakta.
- 1970 – A Nielsen og IRI introduserer dimensjonale data marts for salg.,
- 1983 – Tera Data Corporation lanserer et database management system som er spesielt utviklet for beslutningsstøtte
- datavarehus startet på slutten av 1980-tallet, da IBM arbeidstaker Paul Murphy og Barry Devlin utviklet Business Data Warehouse.
- Men, den virkelige konseptet ble gitt av Inmon Bill. Han ble ansett som en far til data warehouse. Han hadde skrevet om en rekke emner for bygging, bruk og vedlikehold av lageret & Bedriftens Opplysninger Fabrikken.
Hvordan Datawarehouse fungerer?,
En Data Warehouse fungerer som et sentralt oppbevaringssted hvor informasjonen kommer fra én eller flere datakilder. Data strømmer inn en data warehouse fra transaksjons-systemet og andre relasjonsdatabaser.
Data kan være:
- Strukturert
- Semi-strukturert
- Ustrukturerte data
dataene er behandlet, transformert, og svelget, slik at brukere kan få tilgang til de behandlede data i Data Warehouse gjennom Business Intelligence verktøy, SQL kunder, og regneark., En data warehouse å samle informasjon fra ulike kilder inn i en omfattende database.
Ved å slå sammen all denne informasjonen på ett sted, en organisasjon kan analysere sine kunder mer helhetlig. Dette bidrar til å sikre at det har vurdert all tilgjengelig informasjon. Datavarehus gjør data mining mulig. Data mining er på jakt etter mønstre i data som kan føre til økt omsetning og fortjeneste.
Typer Data Warehouse
Tre hovedtyper av Data Varehus (DWH) er:
1., Enterprise Data Warehouse (EDW):
Enterprise Data Warehouse (EDW) er et sentralt lager. Det gir beslutningsstøtte service på tvers av virksomheten. Det tilbyr en helhetlig tilnærming for å organisere og representere data. Det gir også muligheten til å klassifisere data i henhold til faget og gi tilgang i henhold til de avdelinger.
2. Operasjonelle Data Butikken:
Operasjonelle Data Butikken, som også kalles ODS, er ingenting, men datalageret nødvendig når verken Data warehouse heller OLTP-systemer støtter organisasjoner rapportering behov., I ODS, datavarehus oppdateres i sanntid. Derfor, det er mye foretrukket for rutinemessige aktiviteter som lagring av poster av de Ansatte.
3. Data Mart:
En data mart er et delsett av data warehouse. Det som er spesielt utformet for en bestemt linje av virksomhet, for eksempel salg, finans, salg eller økonomi. I en uavhengig data mart data kan samle inn direkte fra kildene.
Generelle stadier av Data Warehouse
Tidligere, organisasjoner startet relativt enkel bruk av data warehousing. Men, over tid, mer avansert bruk av data warehousing begynt.,
følgende er generelle stadier av bruk av data warehouse (DWH):
Frakoblet Operativ Database:
I denne fasen, data er bare kopiert fra en operativ system til en annen server. På denne måten, lasting, behandling og rapportering av de kopierte dataene ikke påvirke operativ systemets ytelse.
Frakoblet Data Warehouse:
Data i Datawarehouse er jevnlig oppdatert fra Operativ Database. Dataene i Datawarehouse er kartlagt og forvandlet til å møte Datawarehouse mål.,
Real time Data Warehouse:
I denne fasen, Data varehus er oppdatert hver gang en transaksjon finner sted i operativ database. For eksempel, Fly eller jernbane reservasjonssystem.
Integrerte Data Warehouse:
I denne fasen, Data Varehus oppdateres kontinuerlig når den operative system utfører en transaksjon. Den Datawarehouse deretter genererer transaksjoner som er gått tilbake til den operative system.
Komponenter av Data warehouse
Fire komponenter av Data Varehus er:
Legg manager: Legg manager er også kalt foran komponent., Det fungerer med alle operasjoner forbundet med utvinning og legge data inn i lageret. Disse operasjonene inkluderer transformasjoner for å forberede data for å taste inn Data warehouse.
Warehouse Manager: Warehouse manager utfører operasjoner knyttet til forvaltning av data i galleriet. Den utfører operasjoner som analyse av data for å sikre konsistens, opprettelse av indekser og synspunkter generasjon av denormalization og grupper celler, transformasjon og sammenslåing av kilde for data og arkivering og baking-up data.,
Spørring Manager: Spørring manager er også kjent som backend komponent. Utfører all drift virksomhet knyttet til forvaltning av brukersøk. Driften av dette datavarehus komponenter som er direkte forespørsler til aktuelle tabeller for planlegging og gjennomføring av spørringer.
End-user tilgang til verktøy:
Dette er kategorisert i fem forskjellige grupper som 1. Data Rapportering 2. Spørring Verktøy 3. Application development verktøy 4. EIS-verktøy, 5. OLAP-verktøy og data mining-verktøy.
Som trenger Data warehouse?,
DWH (datavarehus) er nødvendig for alle typer brukere, som:
- beslutningstakere som er avhengige av masse mengden av data
- Brukere som bruker tilpassede, komplekse prosesser for å innhente informasjon fra flere datakilder.
- Det er også brukt av folk som vil ha enkel teknologi for å få tilgang til data
- Det er også viktig for de menneskene som ønsker en systematisk tilnærming for å fatte beslutninger.
- Dersom brukeren ønsker rask ytelse på en stor mengde data som er en nødvendighet for rapporter, nett eller diagrammer, da Data warehouse viser seg nyttig.,
- Data warehouse er et første trinn Hvis du ønsker å oppdage skjulte mønstre » av data-strømmer og grupperinger.
Hva Er en Data Warehouse Brukt Til?
Her er de vanligste sektorer der Data warehouse er brukt:
Airline:
I Airline system, det er brukt til drift formål som mannskap oppdrag, analyser av ruten lønnsomhet, frequent flyer program kampanjer, etc.
Bank:
Det er mye brukt i banksektoren for å administrere ressurser som er tilgjengelig på skrivebordet effektivt., Noen banker også brukt til markedsundersøkelser, ytelse analyse av produktet og operasjoner.
Helse:
Helse-og omsorgssektoren også brukt Data warehouse å legge strategier og forutsi resultater, generere pasientens behandling rapporter, dele data med tie-i forsikring, medisinsk hjelp-tjenester, etc.
Offentlig sektor:
I offentlig sektor, datavarehus brukes for etterretningsinnsamling. Det hjelper offentlige etater for å opprettholde og analysere skatt poster, helsepolitikk poster, for hver enkelt.,
Investering og Forsikring sektor:
I denne sektoren, de lager er primært brukes til å analysere data mønstre, kunde trender, og til å spore markedsbevegelser.
Beholde chain:
I kjeder, datavarehus er mye brukt for distribusjon og markedsføring. Det hjelper også å spore elementer, som kjøper mønster, kampanjer og også brukt for å bestemme prispolitikk.
Telekommunikasjon:
En data warehouse er brukt i denne sektoren for produktet kampanjer, salg beslutninger og for å gjøre fordelingen beslutninger.,
serveringsbransjen:
Denne Bransjen benytter lager tjenester til design så vel som estimat deres reklame og kampanjer hvor de ønsker å målrette kunder basert på deres tilbakemeldinger og reise mønstre.
Trinnene for å Implementere Data Warehouse
Den beste måten å møte de forretningsmessige risiko forbundet med et Datawarehouse implementering er å ansette en tre-pols-strategi som under
- Enterprise strategy: Her kan vi identifisere tekniske, inkludert nåværende arkitektur og verktøy. Vi kan også identifisere fakta, dimensjoner og egenskaper., Data kartlegging og transformasjon er også vedtatt.
- Faset levering: Datawarehouse gjennomføringen bør fases basert på fagområder. Relaterte foretak som booking og fakturering bør først og implementert, og deretter integreres med hverandre.
- Iterativ Prototyping: Snarere enn en big bang tilnærming til implementeringen, Datawarehouse bør være utviklet og testet iterativt.
Her er de viktigste trinnene i Datawarehouse implementering sammen med leveransen.,ntegration Kart
Beste praksis for å gjennomføre en Data Warehouse
- Bestemme en plan for å teste konsistens, nøyaktighet og integritet av data.,
- data warehouse skal være godt integrert, godt definert og tidsangivelse.
- Mens utforme Datawarehouse kontroller at du bruker riktig verktøy, holde seg til levetid, ta hånd om data konflikter og klar til å lære deg er din feil.
- Aldri erstatte operativ systemer og rapporter
- Trenger du ikke bruke for mye tid på å trekke, rengjøring og lasting av data.
- Sørge for å involvere alle interessenter, inkludert business personell i Datawarehouse implementeringsprosessen. Fastslå at Data warehousing er en joint/ team prosjektet., Ønsker du ikke å opprette Data warehouse det er ikke nyttig til sluttbrukerne.
- Utarbeide en opplæringsplan for sluttbrukere.
Hvorfor Trenger Vi Data Warehouse? Fordelene & Ulemper
Fordeler med Data Warehouse (DWH):
- Data warehouse gjør business-brukere å raskt få tilgang til kritiske data fra noen kilder på ett sted.
- Data warehouse gir konsistent informasjon på ulike cross-funksjonelle aktiviteter. Det er også støtte for ad-hoc rapportering og spørring.,
- Data Warehouse bidrar til å integrere mange kilder til data for å redusere stress på produksjon systemet.
- Data warehouse bidrar til å redusere total behandlingstid for analyse og rapportering.
- Restrukturering og Integrering gjøre det enklere for brukeren å bruke for rapportering og analyse.
- Data warehouse tillater brukere å få tilgang til kritiske data fra flere kilder på ett sted. Derfor, det sparer brukeren for tid for å hente data fra flere kilder.
- Data warehouse lagrer store mengder historiske data., Dette hjelper brukerne til å analysere ulike tidsperioder og trender å gjøre fremtidige spådommer.
Ulemper for Data Warehouse:
- Ikke et ideelt alternativ for ustrukturerte data.
- Etablering og Implementering av datavarehus er sikkert tid forvirrende affære.
- Data Warehouse kan være utdatert relativt raskt
- Vanskelig å gjøre endringer i data typer og prisklasser, data kilde tabel, og spørringer.
- data warehouse kan virke enkelt, men faktisk, det er for komplisert for den gjennomsnittlige brukere.,
- til Tross for beste innsats i prosjektledelse, datavarehus prosjekt omfang vil alltid øke.
- en Gang lager brukere vil utvikle ulike regelsett.
- Organisasjoner trenger å bruke mye av sine ressurser for opplæring og Implementering hensikt.
Fremtiden av Data Warehousing
- Endring i Regulatoriske nøder kan begrense muligheten til å kombinere kilde av ulike data. Disse ulike kilder kan omfatte ustrukturerte data som er vanskelig å lagre.,
- Som størrelsen av databaser vokser, vurderinger av hva som utgjør en svært stor database fortsette å vokse. Det er komplekst å bygge og drive data warehouse systemer som er alltid å øke i størrelse. Maskinvare og programvare ressursene som er tilgjengelige i dag ikke tillater å holde en stor mengde data på nettet.
- Multimedia data kan ikke være lett manipulert som tekst, data, mens tekstlig informasjon kan hentes ut av relasjons-programvare tilgjengelig i dag. Dette kan være en forskning emne.,
Data Warehouse Verktøy
Det er mange datavarehus verktøy er tilgjengelig i markedet. Her er noen mest fremtredende en:
1. MarkLogic:
MarkLogic er nyttig datavarehus løsning som gjør data integration enklere og raskere med et stort utvalg av enterprise funksjoner. Dette verktøyet hjelper til å utføre svært komplekse søk operasjoner. Det kan spørring ulike typer data som dokumenter, relasjoner, og metadata.
https://www.marklogic.com/product/getting-started/
2. Oracle:
Oracle er bransjens ledende database., Det tilbyr et bredt spekter av valg for data warehouse løsninger for både lokalt og i skyen. Det bidrar til å optimalisere kundeopplevelser ved å øke operasjonell effektivitet.
https://www.oracle.com/index.html
3. Amazon «Rødforskyvning»:
Amazon «Rødforskyvning» er Data warehouse verktøyet. Det er en enkel og kostnadseffektiv verktøyet til å analysere alle typer data ved hjelp av standard SQL og eksisterende BI-verktøy. Den gjør det også mulig å kjøre komplekse spørringer mot petabyte av strukturerte data, ved hjelp av teknikken søk optimalisering.,
https://aws.amazon.com/redshift/?nc2=h_m1
Her er en komplett liste over nyttige Datawarehouse Verktøy.
– TASTEN for å LÆRE
- Data Warehouse (DWH), er også kjent som en Enterprise Data Warehouse (EDW).
- En Data Warehouse er definert som et sentralt oppbevaringssted hvor informasjonen kommer fra én eller flere datakilder.
- Tre hovedtyper av Data varehus er Enterprise Data Warehouse (EDW), Operasjonelle Data Butikken, og Data Mart.,
- Generelle tilstanden av et datawarehouse er Frakoblet Operativ Database, Frakoblede Data Warehouse, Real time Data Warehouse og Integrert Data Warehouse.
- Fire viktigste komponentene i Datawarehouse er Legg manager, Lager Manager, Spørring Manager, sluttbrukeren tilgang til verktøy
- Datawarehouse er brukt i ulike bransjer som Airline, Bank, Helsevesen, Forsikring, Retail m.m.
- Gjennomføre Datawarehosue er et 3-pols strategi viz. Enterprise strategy, Faset levering og Iterativ Prototyping.,
- Data warehouse gjør business-brukere å raskt få tilgang til kritiske data fra noen kilder på ett sted.