Czym jest hurtownia danych? Typy, Definicja i przykład

jest to mieszanka technologii i komponentów, które wspomagają strategiczne wykorzystanie danych., Jest to elektroniczne przechowywanie dużej ilości informacji przez firmę, która jest przeznaczona do zapytań i analiz zamiast przetwarzania transakcji. Jest to proces przekształcania danych w informacje i udostępniania ich użytkownikom w odpowiednim czasie w celu dokonania zmian.

w tym tutorialu hurtowni danych (DWH) dowiesz się więcej o –

• Historia Datawarehouse
• Jak działa Datawarehouse?
• typy hurtowni danych (DWH)
• ogólne etapy hurtowni danych
• Komponenty hurtowni danych
• kto potrzebuje hurtowni danych?,
• do czego służy Hurtownia danych?
• kroki wdrożenia hurtowni danych
• najlepsze praktyki wdrożenia hurtowni danych
• Dlaczego potrzebujemy hurtowni danych? Zalety& wady
• przyszłość hurtowni danych
• narzędzia hurtowni danych

baza danych wspomagania decyzji (Hurtownia danych) jest utrzymywana oddzielnie od operacyjnej bazy danych organizacji. Hurtownia danych to jednak nie produkt, lecz środowisko., Jest to architektoniczna konstrukcja systemu informatycznego, który dostarcza użytkownikom aktualnych i historycznych informacji wspomagających decyzje, które są trudne do uzyskania lub obecne w tradycyjnym magazynie danych operacyjnych.

wielu wie, że zaprojektowana przez 3NF baza danych dla systemu inwentaryzacji wielu ma tabele ze sobą powiązane. Na przykład raport na temat bieżących informacji o stanie inwentarza może zawierać więcej niż 12 połączonych warunków. Może to szybko spowolnić czas odpowiedzi zapytania i raportu., Hurtownia danych oferuje nowy projekt, który może pomóc skrócić czas odpowiedzi i poprawić wydajność zapytań do raportów i analiz.,

System hurtowni danych jest również znany pod następującą nazwą:

• System wspomagania decyzji (DSS)
• System Informacji wykonawczej
• System Informacji Zarządczej
• rozwiązanie Business Intelligence
• aplikacja analityczna
• Hurtownia danych

historia datawarehouse

DataWarehouse korzyści Użytkowników zrozumieć i zwiększyć wydajność ich organizacji., Potrzeba magazynowania danych ewoluowała, gdy systemy komputerowe stały się bardziej złożone i potrzebne do obsługi rosnącej ilości informacji. Hurtownia danych nie jest jednak niczym nowym.

oto kilka kluczowych wydarzeń w ewolucji hurtowni danych –

• 1960 – Dartmouth i General Mills we wspólnym projekcie badawczym, opracowanie terminów wymiary i fakty.

• 1970-a Nielsen i IRI wprowadzają dane wymiarowe do sprzedaży detalicznej.,
• 1983 – Tera Data Corporation wprowadza system zarządzania bazami danych, który jest specjalnie zaprojektowany do wspomagania decyzji

• Hurtownia danych rozpoczęła się pod koniec lat 80., gdy pracownik IBM Paul Murphy i Barry Devlin opracowali Business Data Warehouse.

• jednak prawdziwą koncepcję podał Inmon Bill. Był uważany za ojca hurtowni danych. Pisał na różne tematy związane z budową, użytkowaniem i utrzymaniem magazynu & zakład informacji korporacyjnej.

jak działa Datawarehouse?,

Hurtownia danych działa jako centralne repozytorium, w którym informacje docierają z jednego lub więcej źródeł danych. Dane przepływają do hurtowni danych z systemu transakcyjnego i innych relacyjnych baz danych.

dane mogą być:

1. strukturyzowane
2. częściowo strukturyzowane
3. dane nieustrukturyzowane

dane są przetwarzane, przekształcane i przyjmowane, dzięki czemu użytkownicy mogą uzyskać dostęp do przetworzonych danych w hurtowni danych za pomocą narzędzi Business Intelligence, klientów SQL i arkuszy kalkulacyjnych., Hurtownia danych łączy informacje pochodzące z różnych źródeł w jedną kompleksową bazę danych.

łącząc wszystkie te informacje w jednym miejscu, organizacja może analizować swoich klientów bardziej holistycznie. Pomaga to zapewnić, że Komisja uwzględniła wszystkie dostępne informacje. Hurtownia danych umożliwia eksplorację danych. Eksploracja danych szuka wzorców w danych, które mogą prowadzić do wyższej sprzedaży i zysków.

typy hurtowni danych

trzy główne typy hurtowni danych (DWH) to:

1., Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) jest scentralizowanym magazynem. Świadczy usługi wsparcia decyzji w całym przedsiębiorstwie. Oferuje ujednolicone podejście do organizowania i reprezentowania danych. Zapewnia również możliwość klasyfikacji danych według tematu i daje dostęp zgodnie z tymi działami.

2. Operational Data Store:

Operational Data Store, który jest również nazywany ODS, to nic innego jak magazyn danych wymagany, gdy ani Hurtownia danych, ani systemy OLTP nie obsługują potrzeb organizacji w zakresie raportowania., W ODS hurtownia danych jest odświeżana w czasie rzeczywistym. W związku z tym jest powszechnie preferowane do rutynowych czynności, takich jak przechowywanie dokumentacji pracowników.

3. Data Mart:

data mart jest podzbiorem hurtowni danych. Jest specjalnie zaprojektowany dla konkretnej branży, takiej jak sprzedaż, finanse, sprzedaż lub Finanse. W niezależnym data mart dane mogą być zbierane bezpośrednio ze źródeł.

ogólne etapy hurtowni danych

wcześniej organizacje zaczęły stosunkowo proste korzystanie z hurtowni danych. Jednak z czasem zaczęto bardziej wyrafinowane korzystanie z hurtowni danych.,

poniżej przedstawiono ogólne etapy korzystania z hurtowni danych (DWH):

operacyjna baza danych Offline:

na tym etapie dane są po prostu kopiowane z systemu operacyjnego na inny serwer. W ten sposób Ładowanie, przetwarzanie i raportowanie skopiowanych danych nie wpływa na wydajność systemu operacyjnego.

Offline Data Warehouse:

dane w Datawarehouse są regularnie aktualizowane z operacyjnej bazy danych. Dane w Datawarehouse są mapowane i przekształcane w celu spełnienia celów Datawarehouse.,

Hurtownia danych w czasie rzeczywistym:

na tym etapie hurtownie danych są aktualizowane za każdym razem, gdy transakcja odbywa się w operacyjnej bazie danych. Na przykład system rezerwacji linii lotniczych lub kolejowych.

zintegrowany magazyn danych:

na tym etapie Hurtownie danych są aktualizowane w sposób ciągły, gdy system operacyjny wykonuje transakcję. Następnie Datawarehouse generuje transakcje, które są przekazywane z powrotem do systemu operacyjnego.

Komponenty hurtowni danych

cztery komponenty Hurtowni Danych to:

Menedżer obciążenia: Menedżer obciążenia nazywany jest również komponentem frontowym., Wykonuje wszystkie operacje związane z ekstrakcją i załadowaniem danych do magazynu. Operacje te obejmują przekształcenia w celu przygotowania danych do wprowadzenia do hurtowni danych.

Warehouse Manager: Warehouse manager wykonuje operacje związane z zarządzaniem danymi w magazynie. Wykonuje takie operacje jak analiza danych w celu zapewnienia spójności, tworzenie indeksów i widoków, generowanie denormalizacji i agregacji, przekształcanie i łączenie danych źródłowych oraz archiwizacja i archiwizacja danych.,

Menedżer zapytań: Menedżer zapytań jest również znany jako komponent zaplecza. Wykonuje wszystkie operacje operacyjne związane z zarządzaniem zapytaniami użytkowników. Operacje tego komponentu hurtowni danych są bezpośrednimi zapytaniami do odpowiednich tabel do planowania wykonywania zapytań.

Narzędzia dostępu Użytkownika Końcowego:

jest to podzielone na pięć różnych grup, takich jak 1. Raportowanie Danych 2. Narzędzia Zapytań 3. Narzędzia do tworzenia aplikacji 4. Narzędzia EIS, 5. Narzędzia OLAP i data mining.

komu potrzebna Hurtownia danych?,

DWH (Hurtownia danych) jest potrzebna dla wszystkich typów użytkowników, takich jak:

• decydenci, którzy polegają na masowej ilości danych
• użytkownicy, którzy korzystają z niestandardowych, złożonych procesów w celu uzyskania informacji z wielu źródeł danych.
• jest również używany przez ludzi, którzy chcą prostej technologii dostępu do danych
• jest również niezbędny dla tych ludzi, którzy chcą systematyczne podejście do podejmowania decyzji.
• Jeśli użytkownik chce szybkiej wydajności na ogromnej ilości danych, która jest koniecznością dla raportów, siatek lub Wykresów, hurtownia danych okazuje się przydatna.,
• Hurtownia danych jest pierwszym krokiem, jeśli chcesz odkryć „ukryte wzorce” przepływów i grup danych.

do czego służy Hurtownia danych?

oto najczęściej używane sektory, w których wykorzystywana jest hurtownia danych:

linia lotnicza:

w systemie linii lotniczych wykorzystywana jest do celów operacyjnych, takich jak przypisanie załogi, analiza opłacalności trasy, promocje w programie frequent flyer itp.

Bankowość:

jest szeroko stosowany w sektorze bankowym do efektywnego zarządzania zasobami dostępnymi na biurku., Kilka banków wykorzystało również do badania rynku, analizy wydajności produktu i operacji.

Opieka zdrowotna:

sektor opieki zdrowotnej wykorzystywał również hurtownię danych do opracowywania strategii i przewidywania wyników, generowania raportów dotyczących leczenia pacjentów, udostępniania danych firmom ubezpieczeniowym, usługom pomocy medycznej itp.

Sektor publiczny:

w sektorze publicznym hurtownia danych służy do gromadzenia danych wywiadowczych. Pomaga agencjom rządowym w utrzymaniu i analizie rejestrów podatkowych, rejestrów polityki zdrowotnej, dla każdej osoby.,

Sektor inwestycji i Ubezpieczeń:

w tym sektorze magazyny są wykorzystywane przede wszystkim do analizy wzorców danych, trendów klientów i śledzenia ruchów rynkowych.

w sieciach detalicznych hurtownia danych jest szeroko stosowana do dystrybucji i marketingu. Pomaga również śledzić przedmioty, wzór zakupów klientów, promocje, a także służy do ustalania polityki cenowej.

Telekomunikacja:

hurtownia danych jest wykorzystywana w tym sektorze do promocji produktów, podejmowania decyzji sprzedażowych i podejmowania decyzji dystrybucyjnych.,

Branża hotelarska:

ta branża wykorzystuje usługi magazynowe do projektowania, a także szacowania kampanii reklamowych i promocyjnych, w których chcą kierować swoje kampanie do klientów na podstawie ich opinii i wzorców podróży.

kroki wdrożenia hurtowni danych

najlepszym sposobem rozwiązania ryzyka biznesowego związanego z wdrożeniem hurtowni danych jest zastosowanie strategii trzypunktowej, jak poniżej

1. Strategia przedsiębiorstwa: tutaj identyfikujemy techniczne, w tym aktualną architekturę i narzędzia. Identyfikujemy również fakty, wymiary i atrybuty., Przekazywane jest również mapowanie i transformacja danych.
2. dostawa fazowa: wdrożenie Datawarehouse powinno być realizowane etapowo w oparciu o tematykę. Powiązane podmioty gospodarcze, takie jak rezerwacja i fakturowanie, powinny być najpierw wdrożone, a następnie zintegrowane ze sobą.
3. Prototypowanie iteracyjne: zamiast podejścia big bang do implementacji, Datawarehouse powinien być rozwijany i testowany iteracyjnie.

oto kluczowe kroki implementacji Datawarehouse wraz z jej rezultatami.,Mapa integracji

8 opracowanie projektu bazy danych hurtowni danych projektowanie bazy danych D/w 9 wyodrębnienie danych z magazynu danych operacyjnych zintegrowane wyciągi danych D/w 10 załadowanie magazynu danych początkowe ładowanie danych 11 utrzymanie hurtowni danych stały dostęp do danych i kolejne ładunki

najlepsze praktyki wdrażania hurtowni danych

• decydowanie o planie testowania spójności, dokładności i integralności danych Data.,
• hurtownia danych musi być dobrze zintegrowana, dobrze zdefiniowana i oznaczona czasem.
• projektując Datawarehouse upewnij się, że używasz odpowiedniego narzędzia, trzymasz się cyklu życia, dbasz o konflikty danych i jesteś gotowy, aby nauczyć się, że popełniasz błędy.
• nigdy nie wymieniaj systemów operacyjnych i raportów
• nie poświęcaj zbyt wiele czasu na wyodrębnianie, czyszczenie i ładowanie danych.
• zapewnienie zaangażowania wszystkich interesariuszy, w tym personelu biznesowego, w proces wdrażania Datawarehouse. Ustal, że hurtownia danych jest projektem wspólnym/ zespołowym., Nie chcesz tworzyć hurtowni danych, która nie jest przydatna dla użytkowników końcowych.
• przygotowanie planu treningowego dla użytkowników końcowych.

Dlaczego potrzebujemy hurtowni danych? Zalety& wady

zalety hurtowni danych (DWH):

• hurtownia danych umożliwia użytkownikom biznesowym szybki dostęp do krytycznych danych z niektórych źródeł w jednym miejscu.
• Hurtownia danych dostarcza spójnych informacji na temat różnych działań międzyfunkcyjnych. Obsługuje również raportowanie ad hoc i zapytania.,
• Hurtownia danych pomaga zintegrować wiele źródeł danych, aby zmniejszyć obciążenie systemu produkcyjnego.
• Hurtownia danych pomaga skrócić całkowity czas realizacji analiz i raportowania.
• Restrukturyzacja i integracja ułatwiają użytkownikowi korzystanie z raportów i analiz.
• Hurtownia danych umożliwia użytkownikom dostęp do krytycznych danych z wielu źródeł w jednym miejscu. Dzięki temu oszczędza czas pobierania danych z wielu źródeł.
• Hurtownia danych przechowuje dużą ilość danych historycznych., Pomaga to użytkownikom analizować różne okresy i trendy w celu tworzenia prognoz na przyszłość.

wady hurtowni danych:

• nie jest to idealna opcja dla danych nieustrukturyzowanych.
• Tworzenie i implementacja hurtowni danych to z pewnością sprawa czasowa.
• Hurtownia danych może być stosunkowo szybko przestarzała
• trudne do wprowadzenia zmiany typów i zakresów danych, schematu źródła danych, indeksów i zapytań.
• hurtownia danych może wydawać się łatwa, ale w rzeczywistości jest zbyt złożona dla przeciętnych użytkowników.,
• pomimo dołożenia wszelkich starań w zarządzaniu projektami, zakres projektu hurtowni danych zawsze będzie wzrastał.
• Czasami użytkownicy magazynu będą opracowywać różne reguły biznesowe.
• organizacje muszą przeznaczyć wiele swoich zasobów na szkolenia i wdrożenia.

przyszłość hurtowni danych

• Zmiana ograniczeń regulacyjnych może ograniczyć możliwość łączenia źródeł różnych danych. Te różne źródła mogą obejmować dane nieustrukturyzowane, które są trudne do przechowywania.,
• wraz ze wzrostem wielkości baz danych, szacunki tego, co stanowi bardzo dużą bazę danych, wciąż rosną. Budowanie i uruchamianie systemów hurtowni danych jest skomplikowane, a ich wielkość stale rośnie. Dostępne dziś zasoby sprzętowe i programowe nie pozwalają na przechowywanie dużej ilości danych w Internecie.
• dane multimedialne nie mogą być łatwo manipulowane jako dane tekstowe, podczas gdy informacje tekstowe mogą być pobierane przez dostępne obecnie oprogramowanie relacyjne. To może być temat badawczy.,

narzędzia hurtowni danych

na rynku dostępnych jest wiele narzędzi hurtowni danych. Oto kilka najważniejszych:

1. MarkLogic:

MarkLogic to przydatne rozwiązanie do hurtowni danych, które ułatwia i przyspiesza integrację danych za pomocą szeregu funkcji korporacyjnych. Narzędzie to pomaga wykonywać bardzo złożone operacje wyszukiwania. Może wyszukiwać różne typy danych, takie jak dokumenty, relacje i metadane.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle jest wiodącą w branży bazą danych., Oferuje szeroki wybór rozwiązań hurtowni danych zarówno lokalnych, jak i w chmurze. Pomaga zoptymalizować doświadczenia klientów poprzez zwiększenie wydajności operacyjnej.

https://www.oracle.com/index.html

3. Amazon RedShift:

Amazon Redshift to narzędzie hurtowni danych. Jest to proste i ekonomiczne narzędzie do analizy wszystkich typów danych przy użyciu standardowych narzędzi SQL i istniejących narzędzi BI. Umożliwia również uruchamianie złożonych zapytań przeciwko petabajtom ustrukturyzowanych danych, wykorzystując technikę optymalizacji zapytań.,

https://aws.amazon.com/redshift/?nc2=h_m1

oto pełna lista przydatnych narzędzi do obsługi danych.

KEY LEARNING

• Data Warehouse (DWH), jest również znany jako Enterprise Data Warehouse (EDW).
• Hurtownia danych jest zdefiniowana jako centralne repozytorium, w którym informacje pochodzą z jednego lub więcej źródeł danych.
• trzy główne typy hurtowni danych to Enterprise Data Warehouse( EDW), Operational Data Store i Data Mart.,
• ogólny stan magazynu danych to operacyjna baza danych w trybie Offline, Hurtownia danych w trybie Offline, Hurtownia danych w czasie rzeczywistym i zintegrowana Hurtownia danych.
• cztery główne komponenty Datawarehouse to menedżer obciążenia, kierownik magazynu, Menedżer zapytań, Narzędzia dostępu dla użytkowników końcowych
• Datawarehouse jest używany w różnych branżach, takich jak Linie Lotnicze, Bankowość, Opieka zdrowotna, Ubezpieczenia, Handel detaliczny itp.
• implementacja Datawarehosue jest strategią 3 prong. Strategia przedsiębiorstwa, etapowe dostarczanie i iteracyjne Prototypowanie.,
• Hurtownia danych umożliwia użytkownikom biznesowym szybki dostęp do krytycznych danych z niektórych źródeł w jednym miejscu.