Che cos’è il Data Warehousing?
Un Data Warehousing (DW) è un processo per la raccolta e la gestione di dati da varie fonti per fornire informazioni aziendali significative. Un data warehouse viene in genere utilizzato per collegare e analizzare i dati aziendali da fonti eterogenee. Il data warehouse è il nucleo del sistema BI che è costruito per l’analisi dei dati e reporting.
È una miscela di tecnologie e componenti che aiuta l’uso strategico dei dati., È l’archiviazione elettronica di una grande quantità di informazioni da parte di un’azienda progettata per query e analisi anziché per l’elaborazione delle transazioni. È un processo di trasformazione dei dati in informazioni e di messa a disposizione degli utenti in modo tempestivo per fare la differenza.
In questo tutorial di Data Warehouse (DWH), imparerai di più su-
- Storia di Datawarehouse
- Come funziona Datawarehouse?
- Tipi di Data Warehouse (DWH)
- Fasi generali del Data Warehouse
- Componenti del Data warehouse
- Chi ha bisogno di Data warehouse?,
- A cosa serve un Data Warehouse?
- Passi per implementare Data Warehouse
- Best practice per implementare un Data Warehouse
- Perché abbiamo bisogno di Data Warehouse? Vantaggi & Svantaggi
- Il futuro del Data Warehousing
- Strumenti di Data Warehouse
Il database di supporto alle decisioni (Data Warehouse) viene mantenuto separatamente dal database operativo dell’organizzazione. Tuttavia, il data warehouse non è un prodotto ma un ambiente., È un costrutto architettonico di un sistema informativo che fornisce agli utenti informazioni di supporto alle decisioni attuali e storiche che sono difficili da accedere o presenti nell’archivio dati operativo tradizionale.
Molti sanno che un database progettato da 3NF per un sistema di inventario molti hanno tabelle correlate tra loro. Ad esempio, un rapporto sulle informazioni di inventario correnti può includere più di 12 condizioni unite. Ciò può rallentare rapidamente il tempo di risposta della query e del report., Un data warehouse fornisce un nuovo design che può aiutare a ridurre i tempi di risposta e aiuta a migliorare le prestazioni delle query per report e analisi.,
sistema di Data warehouse è conosciuto anche con il nome seguente:
- Sistema di Supporto alle Decisioni (DSS)
- Executive Information System
- Sistema di Gestione dell’Informazione;
- la Soluzione di Business Intelligence
- analisi
- Data Warehouse
Storia di Datawarehouse
Il Datawarehouse benefici agli utenti di capire e di migliorare le loro prestazioni dell’organizzazione., La necessità di immagazzinare i dati si è evoluta man mano che i sistemi informatici diventavano più complessi e necessari per gestire quantità crescenti di informazioni. Tuttavia, il data Warehousing non è una cosa nuova.
Ecco alcuni eventi chiave nell’evoluzione del Data Warehouse –
- 1960 – Dartmouth e General Mills in un progetto di ricerca congiunto, sviluppano i termini dimensioni e fatti.
- 1970 – A Nielsen e IRI introducono data mart dimensionali per le vendite al dettaglio.,
- 1983 – Tera Data Corporation introduce un sistema di gestione di database che è specificamente progettato per il supporto alle decisioni
- Data warehousing iniziato alla fine del 1980 quando IBM lavoratore Paul Murphy e Barry Devlin sviluppato il Data Warehouse aziendale.
- Tuttavia, il vero concetto è stato dato da Inmon Bill. Era considerato come un padre di data warehouse. Aveva scritto su una varietà di argomenti per la costruzione, l’utilizzo e la manutenzione del magazzino & la fabbrica di informazioni aziendali.
Come funziona Datawarehouse?,
Un Data Warehouse funziona come un repository centrale in cui le informazioni arrivano da una o più origini dati. I dati confluiscono in un data warehouse dal sistema transazionale e da altri database relazionali.
I dati possono essere:
- Strutturati
- Semi-strutturati
- Dati non strutturati
I dati vengono elaborati, trasformati e ingeriti in modo che gli utenti possano accedere ai dati elaborati nel Data Warehouse attraverso strumenti di Business Intelligence, client SQL e fogli di calcolo., Un data warehouse unisce le informazioni provenienti da diverse fonti in un unico database completo.
Unendo tutte queste informazioni in un unico luogo, un’organizzazione può analizzare i propri clienti in modo più olistico. Questo aiuta a garantire che ha considerato tutte le informazioni disponibili. Il data warehousing rende possibile il data mining. Data mining è alla ricerca di modelli nei dati che possono portare a maggiori vendite e profitti.
Tipi di Data Warehouse
Tre tipi principali di Data Warehouse (DWH) sono:
1., Enterprise Data Warehouse (EDW):
Enterprise Data Warehouse (EDW) è un magazzino centralizzato. Fornisce un servizio di supporto alle decisioni in tutta l’azienda. Offre un approccio unificato per l’organizzazione e la rappresentazione dei dati. Fornisce inoltre la capacità di classificare i dati in base al soggetto e dare accesso in base a tali divisioni.
2. Archivio dati operativo:
L’archivio dati operativo, chiamato anche ODS, non è altro che un archivio dati richiesto quando né il Data warehouse né i sistemi OLTP supportano le esigenze di reporting delle organizzazioni., In ODS, il data warehouse viene aggiornato in tempo reale. Quindi, è ampiamente preferito per le attività di routine come la memorizzazione di record dei dipendenti.
3. Data Mart:
Un data mart è un sottoinsieme del data warehouse. E ‘ appositamente progettato per una particolare linea di business, come le vendite, finanza, vendite o finanza. In un data mart indipendente, i dati possono essere raccolti direttamente dalle fonti.
Fasi generali del Data Warehouse
In precedenza, le organizzazioni hanno iniziato un uso relativamente semplice del data warehousing. Tuttavia, nel corso del tempo, l’uso più sofisticato di data warehousing iniziato.,
Le seguenti sono le fasi generali di utilizzo del data warehouse (DWH):
Database operativo offline:
In questa fase, i dati vengono semplicemente copiati da un sistema operativo a un altro server. In questo modo, il caricamento, l’elaborazione e la segnalazione dei dati copiati non influiscono sulle prestazioni del sistema operativo.
Data Warehouse offline:
I dati nella Datawarehouse vengono regolarmente aggiornati dal database operativo. I dati in Datawarehouse vengono mappati e trasformati per soddisfare gli obiettivi di Datawarehouse.,
Real time Data Warehouse:
In questa fase, i data warehouse vengono aggiornati ogni volta che una transazione avviene nel database operativo. Ad esempio, sistema di prenotazione aerea o ferroviaria.
Data Warehouse integrato:
In questa fase, i Data Warehouse vengono aggiornati continuamente quando il sistema operativo esegue una transazione. Il Datawarehouse genera quindi transazioni che vengono trasferite al sistema operativo.
Componenti di Data warehouse
Quattro componenti di Data Warehouse sono:
Load manager: Load manager è anche chiamato il componente anteriore., Esegue tutte le operazioni associate all’estrazione e al carico dei dati nel magazzino. Queste operazioni includono trasformazioni per preparare i dati per entrare nel Data warehouse.
Warehouse Manager: Warehouse manager esegue le operazioni associate alla gestione dei dati nel magazzino. Esegue operazioni come l’analisi dei dati per garantire la coerenza, la creazione di indici e viste, la generazione di denormalizzazione e aggregazioni, la trasformazione e la fusione dei dati di origine e l’archiviazione e la cottura dei dati.,
Query Manager: Query manager è anche conosciuto come componente backend. Esegue tutte le operazioni operative relative alla gestione delle query degli utenti. Le operazioni di questi componenti di Data warehouse sono query dirette alle tabelle appropriate per la pianificazione dell’esecuzione delle query.
Strumenti di accesso dell’utente finale:
Questo è classificato in cinque diversi gruppi come 1. Comunicazione dei dati 2. Strumenti di query 3. Strumenti di sviluppo di applicazioni 4. Strumenti EIS, 5. Strumenti OLAP e strumenti di data mining.
Chi ha bisogno di Data warehouse?,
DWH (Data warehouse) è necessario per tutti i tipi di utenti come:
- Decisori che si affidano a quantità di massa di dati
- Utenti che utilizzano processi personalizzati e complessi per ottenere informazioni da più fonti di dati.
- E ‘utilizzato anche dalle persone che vogliono la tecnologia semplice per accedere ai dati
- E’ anche essenziale per quelle persone che vogliono un approccio sistematico per prendere decisioni.
- Se l’utente desidera prestazioni veloci su un’enorme quantità di dati che è una necessità per report, griglie o grafici, il Data warehouse si rivela utile.,
- Data warehouse è un primo passo Se si desidera scoprire ‘modelli nascosti’ di flussi di dati e raggruppamenti.
A cosa serve un Data Warehouse?
Qui, sono i settori più comuni in cui viene utilizzato il data warehouse:
Compagnia aerea:
Nel sistema delle compagnie aeree, viene utilizzato per scopi operativi come assegnazione dell’equipaggio, analisi della redditività del percorso, promozioni del programma frequent flyer, ecc.
Banking:
E ‘ ampiamente utilizzato nel settore bancario per gestire le risorse disponibili sulla scrivania in modo efficace., Poche banche utilizzati anche per le ricerche di mercato, analisi delle prestazioni del prodotto e le operazioni.
Healthcare:
Settore sanitario utilizzato anche Data warehouse per strategizzare e prevedere i risultati, generare rapporti di trattamento del paziente, condividere i dati con le compagnie di assicurazione tie-in, servizi di assistenza medica, ecc.
Settore pubblico:
Nel settore pubblico, il data warehouse viene utilizzato per la raccolta di informazioni. Aiuta le agenzie governative a mantenere e analizzare i record fiscali, i record di politica sanitaria, per ogni individuo.,
Settore degli investimenti e delle assicurazioni:
In questo settore, i magazzini sono utilizzati principalmente per analizzare i modelli di dati, le tendenze dei clienti e per tracciare i movimenti del mercato.
Retain chain:
Nelle catene di vendita al dettaglio, il data warehouse è ampiamente utilizzato per la distribuzione e il marketing. Aiuta anche a tenere traccia degli elementi, modello di acquisto del cliente, promozioni e utilizzato anche per determinare la politica dei prezzi.
Telecomunicazioni:
Un data warehouse viene utilizzato in questo settore per promozioni di prodotti, decisioni di vendita e per prendere decisioni di distribuzione.,
Settore alberghiero:
Questo settore utilizza i servizi di magazzino per progettare e stimare le loro campagne pubblicitarie e promozionali dove vogliono indirizzare i clienti in base al loro feedback e modelli di viaggio.
Passi per implementare Data Warehouse
Il modo migliore per affrontare il rischio aziendale associato a un’implementazione di Datawarehouse è quello di impiegare una strategia a tre poli come di seguito
- Strategia aziendale: qui identifichiamo l’architettura e gli strumenti attuali. Identifichiamo anche fatti, dimensioni e attributi., Anche la mappatura e la trasformazione dei dati vengono passate.
- Consegna graduale: l’implementazione di Datawarehouse dovrebbe essere graduale in base alle aree tematiche. Le entità aziendali correlate come la prenotazione e la fatturazione dovrebbero essere prima implementate e quindi integrate tra loro.
- Prototipazione iterativa: piuttosto che un approccio big bang all’implementazione, la Datawarehouse dovrebbe essere sviluppata e testata iterativamente.
Qui, sono i passaggi chiave nell’implementazione di Datawarehouse insieme ai suoi deliverable.,ntegration Mappa
Best practice per l’implementazione di un Data Warehouse
- Decidere un piano per verificare la coerenza, la precisione e l’integrità dei dati.,
- Il data warehouse deve essere ben integrato, ben definito e timestamp.
- Durante la progettazione Datawarehouse assicurarsi di utilizzare lo strumento giusto, attenersi al ciclo di vita, prendersi cura di conflitti di dati e pronto a imparare sei i tuoi errori.
- Non sostituire mai sistemi operativi e report
- Non dedicare troppo tempo all’estrazione, alla pulizia e al caricamento dei dati.
- Garantire di coinvolgere tutte le parti interessate, compreso il personale aziendale nel processo di implementazione di Datawarehouse. Stabilire che il data warehousing è un progetto congiunto / team., Non si desidera creare Data warehouse che non è utile per gli utenti finali.
- Preparare un piano di formazione per gli utenti finali.
Perché abbiamo bisogno di Data Warehouse? Vantaggi& Svantaggi
Vantaggi del Data Warehouse (DWH):
- Data warehouse consente agli utenti aziendali di accedere rapidamente ai dati critici da alcune fonti in un unico luogo.
- Data warehouse fornisce informazioni coerenti su varie attività interfunzionali. Supporta anche report e query ad hoc.,
- Data Warehouse aiuta a integrare molte fonti di dati per ridurre lo stress sul sistema di produzione.
- Data warehouse aiuta a ridurre i tempi di consegna totali per analisi e reporting.
- La ristrutturazione e l’integrazione rendono più facile l’uso da parte dell’utente per la reportistica e l’analisi.
- Data warehouse consente agli utenti di accedere ai dati critici dal numero di fonti in un unico luogo. Pertanto, consente di risparmiare tempo dell’utente di recuperare i dati da più fonti.
- Data warehouse memorizza una grande quantità di dati storici., Questo aiuta gli utenti ad analizzare diversi periodi di tempo e tendenze per fare previsioni future.
Svantaggi del Data Warehouse:
- Non è un’opzione ideale per i dati non strutturati.
- La creazione e l’implementazione del Data Warehouse è sicuramente un affare confuso nel tempo.
- Data Warehouse può essere obsoleto in tempi relativamente brevi
- Difficile apportare modifiche a tipi di dati e intervalli, schema di origine dati, indici e query.
- Il data warehouse può sembrare facile, ma in realtà è troppo complesso per gli utenti medi.,
- Nonostante i migliori sforzi nella gestione dei progetti, l’ambito del progetto di data warehousing aumenterà sempre.
- A volte gli utenti del magazzino svilupperanno diverse regole aziendali.
- Le organizzazioni devono spendere molte delle loro risorse per scopi di formazione e implementazione.
Il futuro del Data Warehousing
- La modifica dei vincoli normativi potrebbe limitare la possibilità di combinare fonti di dati disparate. Queste fonti disparate possono includere dati non strutturati che è difficile da memorizzare.,
- Man mano che la dimensione dei database cresce, le stime di ciò che costituisce un database molto grande continuano a crescere. È complesso costruire ed eseguire sistemi di data warehouse che aumentano sempre di dimensioni. Le risorse hardware e software disponibili oggi non consentono di mantenere una grande quantità di dati online.
- I dati multimediali non possono essere facilmente manipolati come dati di testo, mentre le informazioni testuali possono essere recuperate dal software relazionale disponibile oggi. Questo potrebbe essere un argomento di ricerca.,
Strumenti di Data Warehouse
Ci sono molti strumenti di Data Warehousing sono disponibili sul mercato. Ecco alcuni dei più importanti:
1. MarkLogic:
MarkLogic è utile soluzione di data warehousing che rende l’integrazione dei dati più facile e veloce utilizzando una serie di funzionalità aziendali. Questo strumento aiuta a eseguire operazioni di ricerca molto complesse. Può interrogare diversi tipi di dati come documenti, relazioni e metadati.
https://www.marklogic.com/product/getting-started/
2. Oracle:
Oracle è il database leader del settore., Offre una vasta gamma di soluzioni di data warehouse sia on-premise che nel cloud. Aiuta a ottimizzare le esperienze dei clienti aumentando l’efficienza operativa.
https://www.oracle.com/index.html
3. Amazon RedShift:
Amazon Redshift è uno strumento di Data warehouse. Si tratta di uno strumento semplice ed economico per analizzare tutti i tipi di dati utilizzando SQL standard e strumenti di BI esistenti. Consente inoltre di eseguire query complesse contro petabyte di dati strutturati, utilizzando la tecnica dell’ottimizzazione delle query.,
https://aws.amazon.com/redshift/?nc2=h_m1
Ecco un elenco completo di strumenti Datawarehouse utili.
APPRENDIMENTO CHIAVE
- Data Warehouse (DWH), è anche conosciuto come Enterprise Data Warehouse (EDW).
- Un Data Warehouse è definito come un repository centrale in cui le informazioni provengono da una o più origini dati.
- Tre tipi principali di Data warehouse sono Enterprise Data Warehouse (EDW), Operational Data Store e Data Mart.,
- Stato generale di un datawarehouse sono Offline Database operativo, Offline Data Warehouse, Data Warehouse in tempo reale e Data Warehouse integrato.
- Quattro componenti principali di Datawarehouse sono Load manager, Warehouse Manager, Query Manager, strumenti di accesso dell’utente finale
- Datawarehouse è utilizzato in diversi settori come compagnia aerea, bancario, sanitario, assicurativo, vendita al dettaglio ecc.
- L’implementazione di Datawarehosue è una strategia a 3 poli. Strategia aziendale, consegna graduale e prototipazione iterativa.,
- Data warehouse consente agli utenti aziendali di accedere rapidamente ai dati critici da alcune fonti in un unico luogo.