Wat is Data Warehousing?
Een Data Warehousing (DW) is een proces voor het verzamelen en beheren van gegevens uit verschillende bronnen om zinvolle zakelijke inzichten te bieden. Een datawarehouse wordt meestal gebruikt om zakelijke gegevens uit heterogene bronnen aan te sluiten en te analyseren. Het datawarehouse is de kern van het BI-systeem dat is gebouwd voor data-analyse en rapportage.
het is een combinatie van technologieën en componenten die het strategisch gebruik van gegevens ondersteunt., Het is elektronische opslag van een grote hoeveelheid informatie door een bedrijf dat is ontworpen voor query en analyse in plaats van transactieverwerking. Het is een proces van het omzetten van gegevens in informatie en het tijdig beschikbaar stellen aan gebruikers om een verschil te maken.
In deze tutorial Data Warehouse (DWH) leert u meer over-
- geschiedenis van datawarehouse
- Hoe werkt Datawarehouse?
- typen datawarehouse (DWH)
- Algemene stadia van datawarehouse
- componenten van datawarehouse
- Wie heeft datawarehouse nodig?,
- waarvoor wordt een datawarehouse gebruikt?
- stappen om datawarehouse te implementeren
- Best practices om een datawarehouse te implementeren
- Waarom hebben we datawarehouse nodig? Voordelen & nadelen
- de toekomst van Data Warehouse
- Data Warehouse Tools
De beslissingsondersteunende database (Data Warehouse) wordt gescheiden van de operationele database van de organisatie onderhouden. Het datawarehouse is echter geen product, maar een omgeving., Het is een architectonische constructie van een informatiesysteem dat gebruikers voorziet van actuele en historische beslissingsondersteunende informatie die moeilijk toegankelijk is of aanwezig is in de traditionele operationele gegevensopslag.
u weet dat een door 3NF ontworpen database voor een inventarisatiesysteem vele tabellen met elkaar hebben. Een rapport over actuele inventarisinformatie kan bijvoorbeeld meer dan 12 samengevoegde voorwaarden bevatten. Dit kan de responstijd van de query en het rapport snel vertragen., Een datawarehouse biedt een nieuw ontwerp dat kan helpen om de responstijd te verminderen en helpt om de prestaties van query ‘ s voor rapporten en analytics te verbeteren.,
Data warehouse systeem is ook bekend onder de volgende naam:
- Decision Support System (DSS)
- Executive Information System
- Management Informatie Systeem
- Business Intelligence Oplossing
- Analyse-Applicatie
- Data Warehouse
Geschiedenis van Datawarehouse
Het Datawarehouse voordelen de gebruikers te begrijpen en verbeteren van hun organisatie., De behoefte aan opslaggegevens evolueerde naarmate computersystemen complexer werden en steeds meer informatie moesten verwerken. Data Warehousing is echter niet nieuw.
Hier zijn enkele belangrijke gebeurtenissen in de evolutie van datawarehouse –
- 1960 – Dartmouth en General Mills ontwikkelen in een gezamenlijk onderzoeksproject de termen dimensies en feiten.1970-A Nielsen en IRI introduceren dimensionale gegevens voor de detailhandel., 1983 – Tera Data Corporation introduceert een databasemanagementsysteem dat speciaal is ontworpen voor beslissingsondersteuning
- Data warehousing begon eind jaren tachtig toen IBM-medewerker Paul Murphy en Barry Devlin het Business Data Warehouse ontwikkelden.
- het echte concept werd echter gegeven door Inmon Bill. Hij werd beschouwd als een vader van data warehouse. Hij schreef over verschillende onderwerpen voor het bouwen, gebruiken en onderhouden van het magazijn & the Corporate Information Factory.
Hoe werkt Datawarehouse?,
een datawarehouse werkt als een centrale opslagplaats waar informatie uit een of meer gegevensbronnen komt. Gegevens stromen vanuit het transactionele systeem en andere relationele databases naar een datawarehouse.
gegevens kunnen zijn:
- gestructureerd
- Semi-gestructureerd
- ongestructureerde gegevens
de gegevens worden verwerkt, getransformeerd en ingenomen zodat gebruikers toegang hebben tot de verwerkte gegevens in het datawarehouse via Business Intelligence tools, SQL-clients en spreadsheets., Een datawarehouse voegt informatie uit verschillende bronnen samen in één uitgebreide database.
door al deze informatie op één plaats samen te voegen, kan een organisatie haar klanten meer holistisch analyseren. Dit draagt ertoe bij dat zij alle beschikbare informatie in aanmerking heeft genomen. Data warehousing maakt datamining mogelijk. Data mining is op zoek naar patronen in de gegevens die kunnen leiden tot een hogere omzet en winst.
soorten datawarehouse
drie belangrijke soorten datawarehouses (DWH) zijn:
1., Enterprise Data Warehouse (EDW):
Enterprise Data Warehouse (EDW) is een gecentraliseerd magazijn. Het biedt beslissingsondersteunende dienst in de hele onderneming. Het biedt een uniforme aanpak voor het organiseren en vertegenwoordigen van gegevens. Het biedt ook de mogelijkheid om gegevens te classificeren volgens het onderwerp en toegang te geven volgens deze afdelingen.
2. Operational Data Store:
Operational Data Store, ook wel ODS genoemd, is niets anders dan dataopslag vereist wanneer noch Data warehouse noch OLTP-systemen organisaties ondersteunen met rapportagebehoeften., In ODS wordt datawarehouse in realtime vernieuwd. Vandaar, het is algemeen de voorkeur voor routine-activiteiten zoals het opslaan van gegevens van de werknemers.
3. Data Mart:
een data mart is een subset van het Data warehouse. Het speciaal ontworpen voor een bepaalde branche, zoals sales, finance, sales of finance. In een onafhankelijke datamart kunnen gegevens rechtstreeks uit bronnen worden verzameld.
Algemene stadia van datawarehouse
eerder begonnen organisaties relatief eenvoudig gebruik te maken van datawarehousing. Echter, na verloop van tijd, meer geavanceerde gebruik van data warehousing begonnen.,
de volgende fasen van het gebruik van het datawarehouse (DWH) zijn:
Offline operationele Database:
in deze fase worden gegevens gewoon gekopieerd van een operationeel systeem naar een andere server. Op deze manier hebben het laden, verwerken en rapporteren van de gekopieerde gegevens geen invloed op de prestaties van het operationele systeem.
Offline Data Warehouse:
gegevens in het Datawarehouse worden regelmatig bijgewerkt vanuit de operationele Database. De data in datawarehouse wordt in kaart gebracht en getransformeerd om te voldoen aan de Datawarehouse-doelstellingen.,
Real time Data Warehouse:
in deze fase worden datawarehouses bijgewerkt wanneer een transactie plaatsvindt in de operationele database. Bijvoorbeeld, luchtvaartmaatschappij of spoorweg boekingssysteem.
geïntegreerd datawarehouse:
in deze fase worden datawarehouses continu bijgewerkt wanneer het operationele systeem een transactie uitvoert. Het Datawarehouse genereert dan transacties die worden doorgegeven aan het operationele systeem.
componenten van datawarehouse
vier componenten van datawarehouses zijn:
Load manager: Load manager wordt ook wel de frontcomponent genoemd., Het voert met alle bewerkingen in verband met de extractie en het laden van gegevens in het magazijn. Deze operaties omvatten transformaties om de gegevens voor te bereiden op het invoeren in het datawarehouse.
Warehouse Manager: Warehouse manager voert activiteiten uit die verband houden met het beheer van de gegevens in het magazijn. Het voert operaties uit zoals analyse van gegevens om consistentie te garanderen, het creëren van indexen en weergaven, het genereren van denormalisatie en aggregaties, transformatie en samenvoeging van brongegevens en archivering en bakken-up data.,
Query Manager: Query manager is ook bekend als backend component. Het voert alle bewerkingen uit die verband houden met het beheer van gebruikersquery ‘ s. De activiteiten van deze data warehouse componenten zijn directe query ’s naar de juiste tabellen voor het plannen van de uitvoering van query’ s.
hulpprogramma ‘ s voor Eindgebruikerstoegang:
Dit is onderverdeeld in vijf verschillende groepen zoals 1. Rapportage Van Gegevens 2. Zoekhulpmiddelen 3. Application development tools 4. EIS hulpmiddelen, 5. OLAP tools en data mining tools.
Wie heeft datawarehouse nodig?,
DWH (Data warehouse) is nodig voor alle soorten gebruikers, zoals:
- besluitvormers die vertrouwen op een massa aan gegevens
- gebruikers die aangepaste, complexe processen gebruiken om informatie uit meerdere gegevensbronnen te verkrijgen.
- het wordt ook gebruikt door mensen die eenvoudige technologie willen om toegang te krijgen tot de gegevens
- het is ook essentieel voor mensen die een systematische aanpak voor het nemen van beslissingen willen.
- als de gebruiker snelle prestaties wil op een enorme hoeveelheid data, wat een noodzaak is voor rapporten, rasters of grafieken, dan is Data warehouse nuttig.,
- Data warehouse is een eerste stap als u ‘verborgen patronen’ van gegevensstromen en groepen wilt ontdekken.
waarvoor wordt een datawarehouse gebruikt?
Hier zijn de meest voorkomende sectoren waar datawarehouse wordt gebruikt:
luchtvaartmaatschappij:
In het luchtvaartsysteem wordt het gebruikt voor operationele doeleinden zoals toewijzing van bemanning, analyses van winstgevendheid van routes, promoties van frequent flyer-programma ‘ s, enz.
Bankieren:
Het wordt veel gebruikt in de banksector om de beschikbare middelen op de desk effectief te beheren., Weinig banken ook gebruikt voor het marktonderzoek, prestatie-analyse van het product en de activiteiten.
gezondheidszorg:
gezondheidszorg gebruikte ook Data warehouse om de resultaten te strategiseren en te voorspellen, behandelrapporten van patiënten te genereren, gegevens te delen met aangesloten verzekeringsmaatschappijen, medische hulpdiensten, enz.
publieke sector:
in de publieke sector wordt datawarehouse gebruikt voor het verzamelen van inlichtingen. Het helpt overheidsinstanties bij het bijhouden en analyseren van fiscale records, het gezondheidsbeleid records, voor elk individu.,
investerings-en verzekeringssector:
in deze sector worden de magazijnen voornamelijk gebruikt om datapatronen, klanttrends en marktbewegingen te analyseren.
behouden keten:
in winkelketens wordt datawarehouse veel gebruikt voor distributie en marketing. Het helpt ook om items te volgen, klant kopen patroon, promoties en ook gebruikt voor het bepalen van het prijsbeleid.
Telecommunicatie:
een datawarehouse wordt in deze sector gebruikt voor productpromoties, verkoopbeslissingen en distributiebeslissingen.,
Hospitality Industry:
deze industrie maakt gebruik van warehouse services om hun reclame-en promotiecampagnes te ontwerpen en in te schatten waar ze zich op klanten willen richten op basis van hun feedback en reispatronen.
stappen om datawarehouse te implementeren
De beste manier om het bedrijfsrisico van een datawarehouse implementatie aan te pakken is door een drieledige strategie te gebruiken zoals hieronder
- ondernemingsstrategie: hier identificeren we technische, inclusief huidige architectuur en tools. We identificeren ook feiten, dimensies en attributen., Data mapping en transformatie wordt ook doorgegeven.
- gefaseerde levering: implementatie van Datawarehouse moet gefaseerd gebeuren op basis van vakgebieden. Gerelateerde zakelijke entiteiten zoals boeking en facturering moeten eerst worden geïmplementeerd en vervolgens met elkaar worden geïntegreerd.
- iteratieve Prototyping: in plaats van een big bang benadering van implementatie, zou het Datawarehouse iteratief moeten worden ontwikkeld en getest.
Hier zijn belangrijke stappen in de implementatie van Datawarehouse samen met de deliverables.,ntegration Kaart
Best practices voor het implementeren van een Data Warehouse
- Beslissen over een plan voor het testen van de consistentie, nauwkeurigheid en integriteit van de gegevens.,
- het datawarehouse moet goed geïntegreerd zijn, goed gedefinieerd en voorzien zijn van een tijdstempel.
- Tijdens het ontwerpen van datawarehouse zorg ervoor dat je de juiste tool gebruikt, houd je aan de levenscyclus, zorg voor data conflicten en klaar om te leren dat je je fouten bent.
- vervang nooit operationele systemen en rapporten
- besteden niet te veel tijd aan het extraheren, opschonen en laden van gegevens.
- ervoor zorgen dat alle belanghebbenden, inclusief bedrijfspersoneel, worden betrokken bij het implementatieproces van Datawarehouse. Vaststellen dat data warehousing een gezamenlijk/ teamproject is., U wilt geen datawarehouse maken dat niet nuttig is voor de eindgebruikers.
- Maak een opleidingsplan voor de eindgebruikers.
Waarom hebben we datawarehouse nodig? Voordelen & nadelen
voordelen van datawarehouse (DWH):
- datawarehouse stelt zakelijke gebruikers in staat om snel toegang te krijgen tot kritieke gegevens uit sommige bronnen, allemaal op één plaats.
- Data warehouse biedt consistente informatie over verschillende cross-functionele activiteiten. Het ondersteunt ook ad-hoc rapportage en query.,
- Data Warehouse helpt bij de integratie van vele gegevensbronnen om de stress op het productiesysteem te verminderen.
- Data warehouse helpt de totale doorlooptijd voor analyse en rapportage te verkorten.
- herstructurering en integratie maken het gemakkelijker voor de gebruiker om te gebruiken voor rapportage en analyse.
- Data warehouse stelt gebruikers in staat om toegang te krijgen tot kritieke gegevens uit het aantal bronnen op een enkele plaats. Daarom bespaart de gebruiker tijd van het ophalen van gegevens uit meerdere bronnen.
- Data warehouse slaat een grote hoeveelheid historische gegevens op., Dit helpt gebruikers om verschillende perioden en trends te analyseren om toekomstige voorspellingen te maken.
nadelen van datawarehouse:
- geen ideale optie voor ongestructureerde gegevens.
- creatie en implementatie van Data Warehouse is zeker tijd verwarrende aangelegenheid.
- Data Warehouse kan relatief snel verouderd zijn
- moeilijk om wijzigingen aan te brengen in gegevenstypen en bereiken, schema van gegevensbronnen, indexen en queries.
- het datawarehouse lijkt misschien eenvoudig, maar eigenlijk is het te complex voor de gemiddelde gebruikers.,
- ondanks de beste inspanningen op het gebied van projectmanagement, zal de omvang van datawarehousing altijd toenemen.
- soms zullen warehouse-gebruikers verschillende bedrijfsregels ontwikkelen.
- organisaties moeten veel van hun middelen besteden aan opleiding en implementatie.
de toekomst van Data Warehousing
- veranderingen in de regelgeving kunnen de mogelijkheid beperken om bronnen van ongelijksoortige gegevens te combineren. Deze ongelijksoortige bronnen kunnen ongestructureerde gegevens bevatten die moeilijk op te slaan zijn.,
- naarmate de omvang van de databases toeneemt, blijven de schattingen van wat een zeer grote database is, groeien. Het is complex om datawarehouse-systemen te bouwen en uit te voeren die steeds groter worden. De hardware en software bronnen zijn beschikbaar vandaag niet mogelijk om een grote hoeveelheid gegevens online te houden.
- multimediagegevens kunnen niet gemakkelijk worden gemanipuleerd als tekstgegevens, terwijl tekstuele informatie kan worden opgehaald door de relationele software die vandaag beschikbaar is. Dit kan een onderzoeksonderwerp zijn.,
Data Warehouse Tools
Er zijn veel Data Warehousing tools beschikbaar in de markt. Hier zijn enkele meest prominente:
1. MarkLogic:
MarkLogic is een nuttige oplossing voor gegevensopslag die de integratie van gegevens eenvoudiger en sneller maakt met behulp van een reeks bedrijfsfuncties. Deze tool helpt om zeer complexe zoekoperaties uit te voeren. Het kan verschillende soorten gegevens opvragen, zoals documenten, relaties en metadata.
https://www.marklogic.com/product/getting-started/
2. Oracle:
Oracle is de toonaangevende database., Het biedt een breed scala aan oplossingen voor datawarehouses, zowel op locatie als in de cloud. Het helpt om klantervaringen te optimaliseren door de operationele efficiëntie te verhogen.
https://www.oracle.com/index.html
3. Amazon RedShift:
Amazon Redshift is datawarehouse tool. Het is een eenvoudige en kosteneffectieve tool om alle soorten gegevens te analyseren met behulp van standaard SQL en bestaande BI-tools. Het maakt ook het uitvoeren van complexe query ‘ s tegen petabytes van gestructureerde gegevens, met behulp van de techniek van query optimalisatie.,
https://aws.amazon.com/redshift/?nc2=h_m1
Hier is een complete lijst van nuttige datawarehouse Tools.
KEY LEARNING
- Data Warehouse (DWH), is ook bekend als een Enterprise Data Warehouse (EDW).
- een datawarehouse wordt gedefinieerd als een centrale opslagplaats waar informatie afkomstig is van een of meer gegevensbronnen.
- drie hoofdtypen van datawarehouses zijn Enterprise Data Warehouse( EDW), Operational Data Store en Data Mart.,
- algemene toestand van een datawarehouse zijn Offline operationele Database, Offline Data Warehouse, Real time Data Warehouse en Integrated Data Warehouse.
- vier hoofdcomponenten van Datawarehouse zijn Load manager, Warehouse Manager, Query Manager, End-user access tools
- Datawarehouse wordt gebruikt in diverse industrieën zoals luchtvaart, bankwezen, gezondheidszorg, Verzekeringen, Retail etc.
- implementatie van Datawarehosue is een driepuntsstrategie: Bedrijfsstrategie, gefaseerde levering en iteratieve Prototyping.,
- Data warehouse stelt zakelijke gebruikers in staat om snel toegang te krijgen tot kritieke gegevens uit sommige bronnen, allemaal op één plaats.