Co je datový sklad? Typy, Definice A Příklad:

jedná se o směs technologií a komponent, která napomáhá strategickému využití dat., Jedná se o elektronické ukládání velkého množství informací firmou, která je určena pro dotaz a analýzu namísto zpracování transakcí. Jedná se o proces transformace dat na informace a jejich včasné zpřístupnění uživatelům, aby se změnil.

v tomto tutoriálu datového skladu (DWH) se dozvíte více o –

• historie Datawarehouse
• jak Datawarehouse funguje?
• Typy Datového Skladu (DWH)
• Obecné etapy Datového Skladu
• Komponenty Datového skladu
• Kdo potřebuje Datový sklad?,
• k čemu se datový sklad používá?
• kroky k implementaci datového skladu
• osvědčené postupy pro implementaci datového skladu
• proč potřebujeme datový sklad? Výhody & Nevýhody
• Datové Sklady
• Datový Sklad Nástroje

Na podporu rozhodování databáze (Datový Sklad) je udržována odděleně od organizace provozní databáze. Datový sklad však není produktem, ale prostředím., Jedná se o architektonický konstrukt informačního systému, který poskytuje uživatelům aktuální a historické informace o podpoře rozhodování, které jsou obtížně přístupné nebo přítomné v tradičním provozním úložišti dat.

mnoho z vás ví, že databáze navržená pro inventární systém 3NF má mnoho tabulek vzájemně propojených. Například zpráva o aktuálních inventárních informacích může obsahovat více než 12 Spojených podmínek. To může rychle zpomalit dobu odezvy dotazu a zprávy., Datový sklad poskytuje nový design, který může pomoci zkrátit dobu odezvy a pomáhá zvýšit výkon dotazů pro zprávy a analytiku.,

Data warehouse systém je také známý tím, že následující název:

• Systém pro Podporu Rozhodování (DSS)
• Výkonný Informační Systém
• Manažerský Informační Systém
• Business Intelligence Řešení
• Analytické Aplikace
• Datové sklady

Historie Datawarehouse

Datawarehouse výhody uživatelům pochopit a zvýšení jejich výkonnosti organizace., Potřeba skladovat data se vyvíjela, protože počítačové systémy se staly složitějšími a potřebnějšími pro zpracování rostoucího množství informací. Skladování dat však není nová věc.

Zde jsou některé klíčové události ve vývoji Datového Skladu-

• 1960 – Dartmouth a General Mills ve společném výzkumném projektu, vytvořit podmínky dimenze a fakta.

• 1970-a Nielsen a IRI zavádí rozměrová datová Marta pro maloobchodní prodej.,
• 1983 – Tera Data Corporation zavádí systém řízení databáze, který je speciálně navržen pro podporu rozhodování

• Datové sklady začal v pozdní 1980, kdy IBM pracovník Paul Murphy a Barry Devlin rozvinutý Obchod Datového Skladu.

• skutečný koncept však dal Inmon Bill. Byl považován za otce datového skladu. On psal o různých tématech pro stavbu, použití a údržbu skladu & Firemní Informace Továrny.

jak Datawarehouse funguje?,

datový sklad funguje jako centrální úložiště, kde informace přicházejí z jednoho nebo více datových zdrojů. Data proudí do datového skladu z transakčního systému a dalších relačních databází.

Data mohou být:

1. Strukturovaný
2. Semi-strukturovaný
3. Nestrukturovaných dat

údaje jsou zpracovávány, transformovány, a požití, takže uživatelé mohou přístup zpracovaná data v datovém Skladu prostřednictvím nástroje Business Intelligence, SQL klienty, a tabulky., Datový sklad spojuje informace pocházející z různých zdrojů do jedné komplexní databáze.

sloučením všech těchto informací na jednom místě může organizace analyzovat své zákazníky holističtěji. To pomáhá zajistit, aby zvážila všechny dostupné informace. Skladování dat umožňuje dolování dat. Data mining hledá vzory v datech, které mohou vést k vyšším prodejům a ziskům.

typy datových skladů

tři hlavní typy datových skladů (DWH) jsou:

1., Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) je centralizovaný sklad. Poskytuje službu podpory rozhodování v celém podniku. Nabízí jednotný přístup pro organizaci a reprezentaci dat. Poskytuje také možnost klasifikovat data podle subjektu a umožnit přístup podle těchto divizí.

2. Operační úložiště dat:

operační úložiště dat, které se také nazývá ODS, není nic jiného než ukládání dat, když ani datový sklad, ani systémy OLTP nepodporují organizace vykazující potřeby., V ODS je datový sklad obnovován v reálném čase. Proto je široce preferován pro rutinní činnosti, jako je ukládání záznamů zaměstnanců.

3. Datový Mart:

datový mart je podmnožinou datového skladu. Je speciálně navržen pro určitou oblast podnikání, jako je prodej, finance, prodej nebo finance. V nezávislém datovém mart mohou data shromažďovat přímo ze zdrojů.

obecné fáze datového skladu

dříve organizace zahájily relativně jednoduché používání datových skladů. Postupem času však začalo sofistikovanější využívání datových skladů.,

následující jsou obecné fáze použití datového skladu (DWH):

Offline operační databáze:

v této fázi jsou data zkopírována z operačního systému na jiný server. Načítání, zpracování a vykazování kopírovaných dat tímto způsobem neovlivňuje výkon operačního systému.

Offline Data Warehouse:

Data v Datawarehouse jsou pravidelně aktualizována z operační databáze. Data v Datawarehouse jsou mapována a transformována tak, aby splňovala cíle Datawarehouse.,

datový sklad v reálném čase:

v této fázi jsou datové sklady aktualizovány vždy, když dojde k jakékoli transakci v provozní databázi. Například letecký nebo železniční rezervační systém.

integrovaný datový sklad:

v této fázi jsou datové sklady průběžně aktualizovány, když operační systém provádí transakci. Datawarehouse pak generuje transakce, které jsou předány zpět do operačního systému.

komponenty datového skladu

čtyři komponenty datových skladů jsou:

Správce zatížení: Správce zatížení se také nazývá přední komponenta., Provádí se všemi operacemi spojenými s extrakcí a načtením dat do skladu. Tyto operace zahrnují transformace pro přípravu dat pro vstup do datového skladu.

Warehouse Manager: Warehouse manager provádí operace spojené se správou dat ve skladu. Provádí operace, jako je analýza dat, aby zajistily soudržnost, vytváření indexů a pohledů, generace denormalizované a agregace, transformace a sloučení zdroje dat a archivaci a pečení-up data.,

Správce dotazů: Správce dotazů je také známý jako komponenta backend. Provádí všechny operace související se správou uživatelských dotazů. Operace těchto komponent datového skladu jsou přímé dotazy do příslušných tabulek pro plánování provádění dotazů.

nástroje pro přístup koncového uživatele:

toto je rozděleno do pěti různých skupin, jako je 1. Vykazování Dat 2. Dotazovací Nástroje 3. Nástroje pro vývoj aplikací 4. EIS, 5. Nástroje OLAP a nástroje pro dolování dat.

kdo potřebuje datový sklad?,

DWH (Data warehouse) je potřebné pro všechny typy uživatelů, jako:

• Rozhodovací pravomocí, kteří spoléhají na masové množství dat
• Uživatelé, kteří používají vlastní, složité procesy, jak získat informace z více datových zdrojů.
• je také používán lidmi, kteří chtějí jednoduchý technologie pro přístup k datům
• Je rovněž nezbytný pro ty lidi, kteří chtějí systematický přístup k rozhodování.
• Pokud uživatel chce rychlý výkon na obrovské množství dat, což je nutnost pro zprávy, mřížky nebo grafy, pak datový sklad ukáže užitečné.,
• datový sklad je prvním krokem, pokud chcete objevit „skryté vzory“ datových toků a seskupení.

k čemu se datový sklad používá?

Zde jsou nejčastější odvětví, kde Datového skladu se používá:

Letecké společnosti,

V Airline system, se používá pro provoz účel jako posádka úkol, analýzy trasy ziskovosti, věrnostní program, propagace, atd.

bankovnictví:

v bankovním sektoru je široce používán pro efektivní správu zdrojů dostupných na stole., Jen málo bank také používá pro průzkum trhu, analýzu výkonnosti produktu a operací.

Healthcare:

Healthcare sector také používal datový sklad pro strategizaci a předpovídání výsledků, generování zpráv o léčbě pacientů, sdílení dat s pojišťovnami, službami lékařské pomoci atd.

veřejný sektor:

ve veřejném sektoru se datový sklad používá pro shromažďování zpravodajských informací. Pomáhá vládním agenturám udržovat a analyzovat daňové záznamy, záznamy o zdravotní politice, pro každého jednotlivce.,

sektor investic a pojištění:

v tomto sektoru se sklady používají především k analýze datových vzorců, trendů zákazníků a ke sledování pohybů na trhu.

zachovat řetězec:

v maloobchodních řetězcích je datový sklad široce používán pro distribuci a marketing. Pomáhá také sledovat položky, vzor nákupu zákazníků, propagační akce a také se používá pro stanovení cenové politiky.

Telekomunikace:

datový sklad se v tomto odvětví používá pro propagaci produktů, rozhodnutí o prodeji a rozhodování o distribuci.,

Pohostinství:

Tento Průmysl využívá skladové služby pro design, stejně jako odhad jejich reklamní a propagační kampaně, kde se chtějí zaměřit klienty na základě jejich zpětné vazby a cestovní vzory.

Kroky k Implementaci Datového Skladu

nejlepší způsob, jak řešit obchodní riziko spojené s Datawarehouse realizace je zaměstnat tři-špice strategie jako pod

1. Enterprise strategy: Tady jsme se identifikovat technické, včetně současné architektury a nářadí. Identifikujeme také fakta, rozměry a atributy., Mapování dat a transformace je také předán.
2. postupné dodávání: implementace Datawarehouse by měla být postupně založena na předmětech. Související podnikatelské subjekty, jako je rezervace a fakturace, by měly být nejprve implementovány a poté vzájemně integrovány.
3. iterativní prototypování: spíše než přístup velkého třesku k implementaci by měl být datawarehouse vyvíjen a testován iterativně.

zde jsou klíčové kroky implementace Datawarehouse spolu s jeho výstupy.,ntegration Mapy

8 Vytvořit Datový Sklad Databáze design D/W Návrh Databáze 9 Extrahovat Data z Operační Úložiště Dat Integrovaný D/W Data Výtažky 10 Načíst Data Warehouse Počáteční načítání Dat

11 Udržovat Datový Sklad probíhající Přístup k Údajům a jejich Následné Zatížení

Nejlepší praktiky pro implementaci Datového Skladu

• Rozhodnout, plán testování konzistence, přesnosti a integrity údajů.,
• datový sklad musí být dobře integrován, dobře definován a opatřen časovým razítkem.
• Při navrhování Datawarehouse ujistěte se, že používáte správný nástroj, držet se životní cyklus, postarat se o data konflikty a připraveni se učit, že jsi své chyby.
• nikdy nenahrazujte operační systémy a zprávy
• netrávíte příliš mnoho času na extrahování, čištění a načítání dat.
• zajistěte zapojení všech zúčastněných stran včetně obchodního personálu do procesu implementace Datawarehouse. Zjistěte, že skladování dat je společný/ týmový projekt., Nechcete vytvářet datový sklad, který není užitečný pro koncové uživatele.
• připravte tréninkový plán pro koncové uživatele.

proč potřebujeme datový sklad? Výhody & Nevýhody

Výhody Datového Skladu (DWH):

• Datový sklad umožňuje business uživatelům rychlý přístup k důležitá data z některých zdrojů, vše na jednom místě.
• datový sklad poskytuje konzistentní informace o různých cross-funkčních aktivitách. Podporuje také ad-hoc reporting a dotaz.,
• datový sklad pomáhá integrovat mnoho zdrojů dat, aby se snížilo napětí na výrobním systému.
• datový sklad pomáhá snížit celkovou dobu obratu pro analýzu a vykazování.
• restrukturalizace a integrace usnadňují uživateli použití pro vykazování a analýzu.
• datový sklad umožňuje uživatelům přístup k kritickým datům z počtu zdrojů na jednom místě. Proto šetří čas uživatele načítání dat z více zdrojů.
• datový sklad ukládá velké množství historických dat., To pomáhá uživatelům analyzovat různá časová období a trendy, aby se budoucí předpovědi.

nevýhody datového skladu:

• není ideální volbou pro nestrukturovaná data.
• vytvoření a implementace datového skladu je jistě časově matoucí záležitost.
• datový sklad může být poměrně rychle zastaralý
• obtížné provádět změny datových typů a rozsahů, schématu zdroje dat, indexů a dotazů.
• datový sklad se může zdát snadný, ale ve skutečnosti je pro průměrné uživatele příliš složitý.,
• navzdory nejlepšímu úsilí v oblasti projektového řízení se rozsah projektu skladování dat vždy zvýší.
• někdy uživatelé skladu budou vyvíjet různá obchodní pravidla.
• organizace musí utratit spoustu svých zdrojů za účelem školení a implementace.

budoucnost skladování dat

• změna regulačních omezení může omezit schopnost kombinovat zdroj nesourodých dat. Tyto nesourodé zdroje mohou zahrnovat nestrukturovaná data, která je obtížné ukládat.,
• vzhledem k tomu, že velikost databází roste, odhady toho, co tvoří velmi rozsáhlou databázi, stále rostou. Je složité vytvářet a spouštět datové skladové systémy,které se neustále zvětšují. Hardwarové a softwarové zdroje jsou dnes k dispozici, neumožňují udržovat velké množství dat online.
• multimediální data nelze snadno manipulovat jako textová data, zatímco textové informace lze získat pomocí relačního softwaru, který je dnes k dispozici. To by mohlo být předmětem výzkumu.,

nástroje pro datové sklady

na trhu je k dispozici mnoho nástrojů pro skladování dat. Zde jsou některé nejvýznamnější:

1. MarkLogic:

MarkLogic je užitečné údaje skladové řešení, které umožňuje integraci dat jednodušší a rychlejší pomocí pole podnikové funkce. Tento nástroj pomáhá provádět velmi složité vyhledávací operace. Může dotazovat různé typy dat, jako jsou dokumenty, vztahy a metadata.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle je špičková databáze., Nabízí širokou škálu řešení datových skladů jak v prostorách, tak v cloudu. Pomáhá optimalizovat zkušenosti zákazníků zvýšením provozní efektivity.

https://www.oracle.com/index.html

3. Amazon RedShift:

Amazon Redshift je nástroj pro ukládání dat. Jedná se o jednoduchý a nákladově efektivní nástroj pro analýzu všech typů dat pomocí standardních nástrojů SQL a stávajících nástrojů BI. Umožňuje také spouštět složité dotazy proti petabajtům strukturovaných dat pomocí techniky optimalizace dotazů.,

https://aws.amazon.com/redshift/?nc2=h_m1

zde je kompletní seznam užitečných nástrojů Datawarehouse.

key LEARNING

• Data Warehouse (DWH), je také známý jako Enterprise Data Warehouse (EDW).
• datový sklad je definován jako centrální úložiště, kde informace pocházejí z jednoho nebo více datových zdrojů.
• tři hlavní typy datových skladů jsou Enterprise Data Warehouse (EDW), Operational Data Store a Data Mart.,
• obecný stav datového skladu jsou offline operační databáze, Offline datový sklad, datový sklad v reálném čase a integrovaný datový sklad.
• Čtyři hlavní složky Datawarehouse jsou Zatížení manager, Warehouse Manager, Query Manager, End-user přístup nástroje
• Datawarehouse se používá v různých průmyslových odvětvích, jako je Letecká, Bankovnictví, Zdravotnictví, Pojišťovnictví, Maloobchodu atd.
• implementace Datawarehosue je 3 prong strategie viz. Podniková strategie, postupné dodávání a iterativní prototypování.,
• datový sklad umožňuje podnikovým uživatelům rychlý přístup k kritickým datům z některých zdrojů na jednom místě.