Ce este depozitul de date? Tipuri, definiție și exemplu

mulți știu că o bază de date proiectată 3NF pentru un sistem de inventar multe au tabele legate între ele. De exemplu, un raport privind informațiile curente despre inventar poate include mai mult de 12 condiții asociate. Acest lucru poate încetini rapid timpul de răspuns al interogării și raportului., Un depozit de date oferă un nou design care poate ajuta la reducerea timpului de răspuns și ajută la îmbunătățirea performanței interogărilor pentru rapoarte și analize.,

depozit de Date de sistem este, de asemenea, cunoscut sub următoarele nume:

• Sistem Suport de Decizie (DSS)
• Executivă a Sistemului de Informații
• Sistemul de Management al Informației
• Soluție de Business Intelligence
• Analitice de Aplicare
• Depozit de Date

Istorie de Datawarehouse

Datawarehouse beneficii utilizatorilor să înțeleagă și să-și îmbunătățească performanța organizației., Nevoia de stocare a datelor a evoluat pe măsură ce sistemele informatice au devenit mai complexe și au fost necesare pentru a gestiona cantități tot mai mari de informații. Cu toate acestea, stocarea datelor nu este un lucru nou.

iată câteva evenimente cheie în evoluția Data Warehouse –

• 1960-Dartmouth și General Mills într-un proiect comun de cercetare, să dezvolte termenii dimensiuni și fapte.

• 1970-a Nielsen și IRI introduce piețele de date dimensionale pentru vânzările cu amănuntul.,
• 1983-Tera Data Corporation introduce un sistem de gestionare a bazelor de date care este conceput special pentru suportul decizional

• depozitarea datelor a început la sfârșitul anilor 1980, când lucrătorul IBM Paul Murphy și Barry Devlin au dezvoltat depozitul de date pentru afaceri.

• Cu toate acestea, conceptul real a fost dat de Inmon Bill. El a fost considerat ca un tată al depozitului de date. El a scris despre o varietate de subiecte pentru construirea, utilizarea și întreținerea depozitului & Fabrica de informații corporative.

cum funcționează Datawarehouse?,

un depozit de date funcționează ca un depozit central de unde sosesc informații din una sau mai multe surse de date. Fluxurile de date într-un depozit de date din sistemul tranzacțional și alte baze de date relaționale.

Date pot fi:

1. Structurat
2. Semi-structurat
3. date Nestructurate

datele sunt prelucrate, transformate, și ingerate, astfel încât utilizatorii pot accesa datele prelucrate în Depozitul de Date prin instrumente de Business Intelligence, clientii SQL, și foi de calcul., Un depozit de date îmbină informațiile provenite din diferite surse într-o bază de date cuprinzătoare. prin îmbinarea tuturor acestor informații într-un singur loc, o organizație își poate analiza clienții mai holistic. Acest lucru ajută la asigurarea faptului că a luat în considerare toate informațiile disponibile. Depozitarea datelor face posibilă extragerea datelor. Data mining caută modele în date care pot duce la vânzări și profituri mai mari.

tipuri de depozite de date

trei tipuri principale de depozite de date (DWH) sunt:

1., Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) este un depozit centralizat. Oferă servicii de asistență pentru decizii în întreaga întreprindere. Oferă o abordare unificată pentru organizarea și reprezentarea datelor. De asemenea, oferă posibilitatea de a clasifica datele în funcție de subiect și de a oferi acces în funcție de aceste diviziuni.

2. Stocarea datelor operaționale:

stocarea datelor operaționale, care se mai numește ODS, nu sunt altceva decât stocarea datelor necesare atunci când nici depozitul de date, nici sistemele OLTP nu acceptă nevoile de raportare ale organizațiilor., În ODS, Data warehouse este actualizat în timp real. Prin urmare, este preferat pe scară largă pentru activități de rutină, cum ar fi stocarea înregistrărilor angajaților.

3. Data Mart:

o data mart este un subset al depozitului de date. Este special conceput pentru o anumită linie de afaceri, cum ar fi vânzări, finanțe, vânzări sau finanțe. Într-o piață de date independentă, datele pot fi colectate direct din surse.

etapele generale ale depozitului de date

anterior, organizațiile au început utilizarea relativ simplă a depozitului de date. Cu toate acestea, în timp, a început utilizarea mai sofisticată a depozitării datelor.,

următoarele sunt etapele generale de utilizare a depozitului de date (DWH):

baza de date operațională Offline:

în această etapă, datele sunt doar copiate dintr-un sistem operațional pe un alt server. În acest fel, încărcarea, prelucrarea și raportarea datelor copiate nu afectează performanța sistemului operațional.

depozit de date Offline:

datele din Datawarehouse sunt actualizate periodic din Baza de date operațională. Datele din Datawarehouse sunt mapate și transformate pentru a îndeplini obiectivele Datawarehouse., în această etapă, depozitele de date sunt actualizate ori de câte ori are loc o tranzacție în baza de date operațională. De exemplu, sistemul de rezervare aeriană sau feroviară. în această etapă, depozitele de date sunt actualizate continuu atunci când sistemul operațional efectuează o tranzacție. Datawarehouse generează apoi tranzacții care sunt transmise înapoi la sistemul operațional.

componentele depozitului de date

patru componente ale depozitelor de date sunt:

Load manager: Load manager este numit și componenta frontală., Se efectuează cu toate operațiunile asociate cu extragerea și încărcarea datelor în depozit. Aceste operațiuni includ transformări pentru pregătirea datelor pentru intrarea în depozitul de date. managerul depozitului: managerul depozitului efectuează operațiuni asociate cu gestionarea datelor din depozit. Se efectuează operațiuni cum ar fi analiza datelor pentru a asigura coerența, crearea de indici și puncte de vedere, generarea de denormalizare și agregări, transformarea și fuzionarea datelor sursă și arhivare și coacere-up de date.,

Query Manager: Query manager este, de asemenea, cunoscut sub numele de componenta backend. Efectuează toate operațiunile de operare legate de gestionarea interogărilor utilizatorilor. Operațiunile acestor componente ale depozitului de date sunt interogări directe către tabelele corespunzătoare pentru programarea executării interogărilor.

instrumente de acces pentru utilizatorii finali:

aceasta este clasificată în cinci grupuri diferite, cum ar fi 1. Raportarea Datelor 2. Instrumente De Interogare 3. Instrumente de dezvoltare a aplicațiilor 4. Instrumente EIS, 5. Instrumente OLAP și instrumente de extragere a datelor.

Cine are nevoie de depozit de date?,DWH (Data warehouse) este necesar pentru toate tipurile de utilizatori, cum ar fi:

• factorii de decizie care se bazează pe cantitatea de date în masă
• utilizatorii care folosesc procese personalizate, complexe pentru a obține informații din mai multe surse de date.
• este, de asemenea, utilizat de persoanele care doresc o tehnologie simplă pentru a accesa datele
• de asemenea, esențial pentru acei oameni care doresc o abordare sistematică pentru luarea deciziilor.
• dacă utilizatorul dorește performanță rapidă pe o cantitate imensă de date, ceea ce este o necesitate pentru rapoarte, grile sau diagrame, atunci Data warehouse se dovedește util.,
• Data warehouse este un prim pas dacă doriți să descoperiți „modele ascunse” de fluxuri de date și grupări.

pentru ce se utilizează un depozit de date?

Aici, sunt cele mai frecvente sectoare în care depozitul de Date este folosit:

compania Aeriană:

În Avion sistem, acesta este utilizat pentru funcționarea scopul ca echipajul de atribuire, analize de traseu rentabilitatea, programul de fidelizare promotii, etc. acesta este utilizat pe scară largă în sectorul bancar pentru a gestiona resursele disponibile pe birou în mod eficient., Puține bănci, de asemenea, utilizate pentru cercetarea de piață, Analiza performanței produsului și a operațiunilor. sectorul sănătății a folosit, de asemenea, depozitul de date pentru a strategiza și prezice rezultatele, pentru a genera rapoartele de tratament ale pacientului, pentru a partaja date cu companiile de asigurări, serviciile de ajutor medical etc. sectorul Public: în sectorul public, depozitul de date este utilizat pentru colectarea de informații. Ajută agențiile guvernamentale să mențină și să analizeze înregistrările fiscale, înregistrările politicii de sănătate, pentru fiecare persoană., sectorul investițiilor și asigurărilor: în acest sector, depozitele sunt utilizate în principal pentru a analiza tiparele de date, tendințele clienților și pentru a urmări mișcările pieței. în lanțurile de vânzare cu amănuntul, depozitul de date este utilizat pe scară largă pentru distribuție și marketing. De asemenea, ajută la urmărirea articolelor, a modelului de cumpărare a clienților, a promoțiilor și, de asemenea, utilizat pentru determinarea politicii de prețuri. un depozit de date este utilizat în acest sector pentru promoții de produse, decizii de vânzare și pentru a lua decizii de distribuție., această industrie utilizează servicii de depozitare pentru a proiecta, precum și pentru a estima campaniile de publicitate și promovare unde doresc să vizeze clienții pe baza feedback-ului și a modelelor de călătorie. cel mai bun mod de a aborda riscul de afaceri asociat cu o implementare Datawarehouse este de a utiliza o strategie de trei-prong ca mai jos

1. strategia de întreprindere: aici vom identifica tehnice, inclusiv arhitectura actuală și instrumente. De asemenea, identificăm fapte, dimensiuni și atribute., Maparea și transformarea datelor sunt, de asemenea, transmise.
2. livrare pe etape: implementarea Datawarehouse ar trebui să fie etapizată pe baza domeniilor vizate. Entitățile de afaceri conexe, cum ar fi rezervarea și facturarea, ar trebui mai întâi implementate și apoi integrate între ele.
3. prototipuri Iterative: mai degrabă decât o abordare big bang a implementării, Datawarehouse ar trebui să fie dezvoltat și testat iterativ.

aici, sunt pași cheie în implementarea Datawarehouse împreună cu rezultatele sale.,integrarea Hartă

8 Dezvolta Depozitul de Date proiectarea bazelor de Date D/W Proiectare de baze de Date 9 Extrage Date din Datele Operaționale Magazin Integrat D/W Extracte de Date 10 Încărcare Depozit de Date Date Inițiale de Încărcare 11 Menține Depozit de Date curs de Acces la Date și Sarcini Ulterioare

cele mai Bune practici pentru implementarea unui Depozit de Date

• Decide un plan pentru a testa coerența, acuratețea și integritatea datelor.,
• depozitul de date trebuie să fie bine integrat, bine definit și timbrat.
• în timp ce proiectarea Datawarehouse asigurați-vă că utilizați instrumentul potrivit, stick la ciclul de viață, să aibă grijă de conflictele de date și gata să învețe că ești greșelile tale.
• nu înlocuiți niciodată sistemele operaționale și rapoartele
• nu petreceți prea mult timp pentru extragerea, curățarea și încărcarea datelor.
• asigurați-vă că implicați toate părțile interesate, inclusiv personalul de afaceri, în procesul de implementare a Datawarehouse. Stabiliți că stocarea datelor este un proiect comun / de echipă., Nu doriți să creați depozit de date care nu este util pentru utilizatorii finali.
• pregătiți un plan de instruire pentru utilizatorii finali.

De ce avem nevoie de Data Warehouse? Avantaje & Dezavantaje

Avantaje de Depozit de Date (DWH):

• depozit de Date permite utilizatorilor de afaceri pentru a accesa rapid datele critice din unele surse într-un singur loc.
• Data warehouse oferă informații coerente cu privire la diverse activități inter-funcționale. De asemenea, sprijină raportarea și interogarea ad-hoc.,
• Data Warehouse ajută la integrarea multor surse de date pentru a reduce stresul asupra sistemului de producție.
• Data warehouse ajută la reducerea timpului total de răspuns pentru analiză și raportare.
• restructurarea și integrarea facilitează utilizarea utilizatorului pentru raportare și analiză.
• Data warehouse permite utilizatorilor să acceseze date critice din numărul de surse într-un singur loc. Prin urmare, economisește timpul utilizatorului de a prelua date din mai multe surse.
• depozitul de date stochează o cantitate mare de Date istorice., Acest lucru ajută utilizatorii să analizeze diferite perioade de timp și tendințe pentru a face predicții viitoare.dezavantajele depozitului de date:
  • nu este o opțiune ideală pentru datele nestructurate.
  • crearea și punerea în aplicare a depozitului de date este cu siguranță timp afacere confuz.
  • depozit de date pot fi depășite relativ repede
  • dificil de a face modificări în tipuri de date și intervale, schema sursă de date, indici, și interogări.
  • depozitul de date poate părea ușor, dar, de fapt, este prea complex pentru utilizatorii obișnuiți.,
  • în ciuda celor mai bune eforturi la managementul de proiect, domeniul de aplicare al proiectului de depozitare a datelor va crește întotdeauna.
  • uneori utilizatorii depozitului vor dezvolta reguli de afaceri diferite.
  • organizațiile trebuie să cheltuiască o mulțime de resurse pentru instruire și implementare.

  viitorul depozitării datelor

  • schimbarea constrângerilor de reglementare poate limita capacitatea de a combina sursa de date disparate. Aceste surse disparate pot include date nestructurate care sunt dificil de stocat.,
  • Pe măsură ce dimensiunea bazelor de date crește, estimările a ceea ce constituie o bază de date foarte mare continuă să crească. Este complex să construiți și să rulați sisteme de depozite de date care cresc mereu în dimensiune. Resursele hardware și software disponibile astăzi nu permit păstrarea online a unei cantități mari de date.
  • datele Multimedia nu pot fi ușor manipulate ca date text, în timp ce informațiile textuale pot fi preluate de software-ul relațional disponibil astăzi. Acesta ar putea fi un subiect de cercetare.,

  instrumente de depozit de date

  există multe instrumente de depozitare a datelor sunt disponibile pe piață. Iată câteva dintre cele mai proeminente:

  1. MarkLogic este o soluție utilă de depozitare a datelor care face integrarea datelor mai ușoară și mai rapidă folosind o serie de caracteristici ale întreprinderii. Acest instrument vă ajută să efectuați operațiuni de căutare foarte complexe. Poate interoga diferite tipuri de date, cum ar fi documente, relații și metadate.

  https://www.marklogic.com/product/getting-started/

  2. Oracle:

  Oracle este baza de date lider în industrie., Acesta oferă o gamă largă de soluții de depozitare a datelor, atât la nivel local, cât și în cloud. Ajută la optimizarea experiențelor clienților prin creșterea eficienței operaționale.

  https://www.oracle.com/index.html

  3. Amazon RedShift:

  Amazon Redshift este instrument de depozit de date. Este un instrument simplu și rentabil pentru a analiza toate tipurile de date folosind SQL standard și instrumente BI existente. De asemenea, permite rularea interogări complexe împotriva petabytes de date structurate, folosind tehnica de optimizare interogare.,

  https://aws.amazon.com/redshift/?nc2=h_m1

  Iată o listă completă de instrumente utile Datawarehouse.

  învățarea cheilor

  • Data Warehouse (DWH), este, de asemenea, cunoscut sub numele de Enterprise Data Warehouse (EDW).
  • un depozit de date este definit ca un depozit central în care informațiile provin de la una sau mai multe surse de date.trei tipuri principale de depozite de date sunt Enterprise Data Warehouse (EDW), Operational Data Store și Data Mart.,
  • starea generală a unui datawarehouse sunt baze de date operaționale Offline, depozit de date Offline, depozit de date în timp Real și depozit de date integrat.
  • patru componente principale ale Datawarehouse sunt Load manager, Warehouse Manager, Query Manager, end-user access tools
  • Datawarehouse este utilizat în diverse industrii, cum ar fi compania aeriană, bancar, asistență medicală, asigurări, Retail etc.
  • punerea în aplicare a Datawarehosue este o strategie de 3 prong viz. Strategia întreprinderii, livrarea pe etape și prototiparea iterativă.,
  • Data warehouse permite utilizatorilor business să acceseze rapid date critice din anumite surse, toate într-un singur loc.