Was ist Data Warehouse? Types, Definition & Beispiel

Es ist eine Mischung aus Technologien und Komponenten, die die strategische Nutzung von Daten unterstützt., Es ist die elektronische Speicherung einer großen Menge an Informationen durch ein Unternehmen, das für die Abfrage und Analyse anstelle der Transaktionsverarbeitung ausgelegt ist. Es ist ein Prozess, Daten in Informationen umzuwandeln und den Benutzern zeitnah zur Verfügung zu stellen, um einen Unterschied zu machen.

In diesem Data Warehouse (DWH) Tutorial erfahren Sie mehr über-

• Geschichte von Datawarehouse
• Wie Datawarehouse funktioniert?
• Typen des Data Warehouse (DWH)
• Allgemeine Phasen des Data Warehouse
• Komponenten des Data Warehouse
• Wer benötigt Data Warehouse?,
• Wofür wird ein Data Warehouse verwendet?
• Schritte zur Implementierung von Data Warehouse
• Best Practices zur Implementierung eines Data Warehouse
• Warum benötigen wir Data Warehouse? Vorteile & Nachteile
• Die Zukunft des Data Warehousing
• Data Warehouse-Tools

Die Entscheidung support-Datenbank (Data Warehouse) ist getrennt von der Organisation der operativen Datenbank. Das Data Warehouse ist jedoch kein Produkt, sondern eine Umgebung., Es ist ein architektonisches Konstrukt eines Informationssystems, das Benutzern aktuelle und historische Entscheidungsunterstützungsinformationen zur Verfügung stellt, die schwer zugänglich sind oder im traditionellen Betriebsdatenspeicher vorhanden sind.

Viele wissen, dass eine von 3NF entworfene Datenbank für ein Inventarsystem viele Tabellen hat, die miteinander verwandt sind. Beispielsweise kann ein Bericht über aktuelle Bestandsinformationen mehr als 12 verknüpfte Bedingungen enthalten. Dies kann die Antwortzeit der Abfrage und des Berichts schnell verlangsamen., Ein Data Warehouse bietet ein neues Design, mit dem die Reaktionszeit verkürzt und die Leistung von Abfragen für Berichte und Analysen verbessert werden kann.,

Data-warehouse-system ist auch bekannt unter folgenden Namen:

• Decision Support System (DSS)
• Executive Information System
• Management-Informations-System
• Business-Intelligence-Lösung
• Analyse-Anwendung
• Data Warehouse

Geschichte des data Warehouse

Die data Warehouse-Vorteile, die Nutzer zu verstehen, und verbessern Sie Ihre Unternehmens-performance., Die Notwendigkeit, Daten zu lagern, entwickelte sich, als Computersysteme komplexer wurden und mit zunehmenden Informationsmengen umgehen mussten. Data Warehousing ist jedoch keine neue Sache.

Hier sind einige Schlüsselereignisse in der Entwicklung des Data Warehouse –

• 1960-Dartmouth und General Mills entwickeln in einem gemeinsamen Forschungsprojekt die Begriffe Dimensionen und Fakten.

• 1970 – A Nielsen und IRI führt dimensionale data marts für den Einzelhandel.,
• 1983-Tera Data Corporation führt ein Datenbankmanagementsystem ein, das speziell für die Entscheidungsunterstützung entwickelt wurde

• Data Warehousing begann Ende der 1980er Jahre, als IBM-Mitarbeiter Paul Murphy und Barry Devlin das Business Data Warehouse entwickelten.

• Das eigentliche Konzept wurde jedoch von Inmon Bill gegeben. Er galt als Vater von Data Warehouse. Er hatte über eine Vielzahl von Themen für den Aufbau, die Nutzung und Wartung des Lagers & the Corporate Information Factory geschrieben.

Wie Datawarehouse funktioniert?,

Ein Data Warehouse fungiert als zentrales Repository, in dem Informationen aus einer oder mehreren Datenquellen eingehen. Daten fließen aus dem Transaktionssystem und anderen relationalen Datenbanken in ein Data Warehouse.

Daten können sein:

1. Strukturiert
2. Halb strukturiert
3. Unstrukturierte Daten

Die Daten werden verarbeitet, transformiert und aufgenommen, sodass Benutzer über Business Intelligence-Tools, SQL-Clients und Tabellenkalkulationen auf die verarbeiteten Daten im Data Warehouse zugreifen können., Ein Data Warehouse führt Informationen aus verschiedenen Quellen in einer umfassenden Datenbank zusammen.

Durch die Zusammenführung all dieser Informationen an einem Ort kann eine Organisation ihre Kunden ganzheitlicher analysieren. Dies trägt dazu bei, dass alle verfügbaren Informationen berücksichtigt werden. Data warehousing macht data mining möglich. Data Mining sucht nach Mustern in den Daten, die zu höheren Umsätzen und Gewinnen führen können.

Typen von Data Warehouse

Drei Haupttypen von Data Warehouses (DWH) sind:

1., Enterprise Data Warehouse (EDW):

Enterprise Data Warehouse (EDW) ist ein zentrales Lager. Es bietet Entscheidungsunterstützung im gesamten Unternehmen. Es bietet einen einheitlichen Ansatz für die Organisation und Darstellung von Daten. Es bietet auch die Möglichkeit, Daten nach dem Thema zu klassifizieren und den Zugang nach diesen Abteilungen zu ermöglichen.

2. Operational Data Store:

Operational Data Store, auch ODS genannt, sind nur Datenspeicher erforderlich, wenn weder Data Warehouse noch OLTP-Systeme die Berichtsanforderungen von Organisationen unterstützen., In ODS wird Data Warehouse in Echtzeit aktualisiert. Daher wird es häufig für Routineaktivitäten wie das Speichern von Datensätzen der Mitarbeiter bevorzugt.

3. Data-Mart -:

Ein data mart ist eine Teilmenge des data warehouse. Es wurde speziell für einen bestimmten Geschäftsbereich wie Vertrieb, Finanzen, Vertrieb oder Finanzen entwickelt. In einem unabhängigen Data Mart können Daten direkt aus Quellen gesammelt werden.

Allgemeine Phasen des Data Warehouse

Früher begannen Organisationen mit der relativ einfachen Verwendung von Data Warehousing. Im Laufe der Zeit begann jedoch eine anspruchsvollere Nutzung des Data Warehousing.,

Es folgen allgemeine Nutzungsstufen des Data Warehouse (DWH):

Offline Operational Database:

In diesem Stadium werden Daten einfach von einem Betriebssystem auf einen anderen Server kopiert. Auf diese Weise hat das Laden, Verarbeiten und Melden der kopierten Daten keinen Einfluss auf die Leistung des Betriebssystems.

Offline Data Warehouse:

Die Daten im Datawarehouse werden regelmäßig aus der Betriebsdatenbank aktualisiert. Die Daten in Datawarehouse werden abgebildet und transformiert, um die Datawarehouse-Ziele zu erreichen.,

Echtzeit Data Warehouse:

In dieser Phase werden Data Warehouses aktualisiert, wenn eine Transaktion in einer Datenbank stattfindet. Zum Beispiel, Fluggesellschaft oder Bahn-Buchungssystem.

Integriertes Data Warehouse:

In dieser Phase werden Data Warehouses kontinuierlich aktualisiert, wenn das Betriebssystem eine Transaktion durchführt. Das Datawarehouse generiert dann Transaktionen, die an das Betriebssystem zurückgegeben werden.

Komponenten von Data warehouse

Vier Komponenten von Data Warehouses sind:

Load-manager: Laden-manager wird auch als front-Komponente., Es führt alle Vorgänge aus, die mit dem Extrahieren und Laden von Daten in das Lager verbunden sind. Diese Vorgänge umfassen Transformationen zur Vorbereitung der Daten für die Eingabe in das Data Warehouse.

Warehouse Manager: Warehouse Manager führt Vorgänge aus, die mit der Verwaltung der Daten im Lager verbunden sind. Es führt Vorgänge wie die Analyse von Daten durch, um Konsistenz, Erstellung von Indizes und Ansichten, Erzeugung von Denormalisierung und Aggregationen, Transformation und Zusammenführung von Quelldaten sowie Archivierung und Back-up-Daten sicherzustellen.,

Query Manager: Query Manager wird auch als Backend-Komponente bezeichnet. Es führt alle Operationen im Zusammenhang mit der Verwaltung von Benutzerabfragen aus. Die Operationen dieser Data Warehouse-Komponenten sind direkte Abfragen an die entsprechenden Tabellen zur Planung der Ausführung von Abfragen.

Endbenutzer-Zugriffstools:

Dies ist in fünf verschiedene Gruppen wie 1 unterteilt. Daten Berichterstattung 2. Abfrage-Tools 3. Anwendungsentwicklungs-Tools 4. EIS-tools, 5. OLAP-tools und data-mining-tools.

Wer braucht Data Warehouse?,

DWH (Data Warehouse) wird für alle Arten von Benutzern benötigt, z. B.:

• Entscheidungsträger, die auf eine große Datenmenge angewiesen sind
• Benutzer, die benutzerdefinierte, komplexe Prozesse verwenden, um Informationen aus mehreren Datenquellen zu erhalten.
• Es wird auch von den Menschen verwendet, die eine einfache Technologie für den Zugriff auf die Daten wünschen
• Es ist auch wichtig für diejenigen, die einen systematischen Ansatz für Entscheidungen wünschen.
• Wenn der Benutzer eine schnelle Leistung bei einer großen Datenmenge wünscht, die für Berichte, Raster oder Diagramme erforderlich ist, erweist sich Data Warehouse als nützlich.,
• Data Warehouse ist ein erster Schritt, wenn Sie „versteckte Muster“ von Datenflüssen und Gruppierungen entdecken möchten.

Wofür wird ein Data Warehouse verwendet?

Hier sind die häufigsten Sektoren, in denen Data Warehouse verwendet wird:

Fluggesellschaft:

Im Airline-System wird es für Betriebszwecke wie Besatzungszuweisung, Analysen der Routenrentabilität, Vielfliegerprogrammaktionen usw. verwendet.

Banking:

Es wird im Bankensektor häufig verwendet, um die auf dem Schreibtisch verfügbaren Ressourcen effektiv zu verwalten., Nur wenige Banken auch für die Marktforschung, Leistungsanalyse des Produkts und Operationen verwendet.

Gesundheitswesen:

Der Gesundheitssektor verwendete auch Data Warehouse, um Ergebnisse zu strategisieren und vorherzusagen, Behandlungsberichte von Patienten zu erstellen, Daten mit verbundenen Versicherungsunternehmen, medizinischen Hilfsdiensten usw. auszutauschen.

Öffentlicher Sektor:

Im öffentlichen Sektor wird Data Warehouse für die Erfassung von Nachrichtendiensten verwendet. Es hilft Regierungsbehörden, Steuerunterlagen und gesundheitspolitische Aufzeichnungen für jeden Einzelnen zu verwalten und zu analysieren.,

Investitions-und Versicherungssektor:

In diesem Sektor werden die Lager hauptsächlich zur Analyse von Datenmustern, Kundentrends und zur Verfolgung von Marktbewegungen verwendet.

Aufbewahrungskette:

In Einzelhandelsketten wird Data Warehouse häufig für Vertrieb und Marketing verwendet. Es hilft auch, Artikel, Kunden Kaufmuster, Aktionen zu verfolgen und auch für die Bestimmung der Preispolitik verwendet.

Telekommunikation:

In diesem Bereich wird ein Data Warehouse für Produktwerbung, Verkaufsentscheidungen und Vertriebsentscheidungen eingesetzt.,

Hotellerie:

Diese Branche nutzt Lagerdienstleistungen, um ihre Werbe-und Werbekampagnen dort zu entwerfen und abzuschätzen, wo sie Kunden ansprechen möchten basierend auf ihrem Feedback und Reisemuster.

Schritte zur Implementierung von Data Warehouse

Der beste Weg, um das mit einer Datawarehouse-Implementierung verbundene Geschäftsrisiko anzugehen, besteht darin, eine dreigleisige Strategie wie folgt anzuwenden

1. Unternehmensstrategie: Hier identifizieren wir technische einschließlich der aktuellen Architektur und Tools. Wir identifizieren auch Fakten, Dimensionen und Attribute., Datenzuordnung und-transformation werden ebenfalls übergeben.
2. Phased delivery: Die Implementierung von Datawarehouse sollte auf der Grundlage von Themenbereichen schrittweise erfolgen. Verwandte Geschäftseinheiten wie Buchung und Abrechnung sollten zuerst implementiert und dann miteinander integriert werden.
3. Iteratives Prototyping: Statt eines Urknallansatzes für die Implementierung sollte das Datawarehouse iterativ entwickelt und getestet werden.

Hier sind die wichtigsten Schritte in Datawarehouse Implementierung zusammen mit seinen Leistungen.,ntegration Karte

8 Entwickeln Data Warehouse Datenbank design D/W Datenbank Design 9 Extrakt Daten aus Betriebs Daten Speicher Integrierte D/W Daten Extrakte 10 Load Data Warehouse Initial Daten Last 11 Data Warehouse pflegen Laufender Datenzugriff und nachfolgende Ladungen

Best Practices zur Implementierung eines Data Warehouse

• Legen Sie einen Plan fest, um die Konsistenz, Genauigkeit und Integrität der Daten zu testen.,
• Das Data Warehouse muss gut integriert, gut definiert und zeitstempelt sein.
• Stellen Sie beim Entwerfen von Datawarehouse sicher, dass Sie das richtige Werkzeug verwenden, sich an den Lebenszyklus halten, sich um Datenkonflikte kümmern und bereit sind, Ihre Fehler zu erkennen.
• Ersetzen Sie niemals Betriebssysteme und Berichte
• Verbringen Sie nicht zu viel Zeit mit dem Extrahieren, Bereinigen und Laden von Daten.
• Stellen Sie sicher, dass alle Stakeholder einschließlich des Geschäftspersonals in den Implementierungsprozess von Datawarehouse einbezogen werden. Stellen Sie fest, dass Data Warehousing ein gemeinsames/ Teamprojekt ist., Sie möchten kein Data Warehouse erstellen, das für die Endbenutzer nicht nützlich ist.
• Erstellen Sie einen Trainingsplan für die Endbenutzer.

Warum Brauchen Wir Data Warehouse? Vorteile & Nachteile

Vorteile des Data Warehouse (DWH):

• Das Data Warehouse ermöglicht es Geschäftsbenutzern, schnell von einigen Quellen aus auf kritische Daten zuzugreifen an einem Ort.
• Data Warehouse liefert konsistente Informationen zu verschiedenen funktionsübergreifenden Aktivitäten. Es unterstützt auch Ad-hoc-Berichte und Abfragen.,
• Data Warehouse hilft bei der Integration vieler Datenquellen, um die Belastung des Produktionssystems zu reduzieren.
• Data Warehouse hilft, die gesamte Bearbeitungszeit für Analyse und Reporting zu reduzieren.
• Restrukturierung und Integration erleichtern dem Anwender die Verwendung für Reporting und Analyse.
• Data Warehouse ermöglicht Benutzern den Zugriff auf kritische Daten aus der Anzahl der Quellen an einem einzigen Ort. Daher spart es dem Benutzer Zeit, Daten aus mehreren Quellen abzurufen.
• Data warehouse speichert eine große Menge von historischen Daten., Dies hilft Benutzern, verschiedene Zeiträume und Trends zu analysieren, um zukünftige Vorhersagen zu treffen.

Nachteile von Data Warehouse:

• Keine ideale Option für unstrukturierte Daten.
• Erstellung und Implementierung von Data Warehouse ist sicherlich eine verwirrende Angelegenheit.
• Data Warehouse kann relativ schnell veraltet sein
• Schwierig, Änderungen an Datentypen und Bereichen, Datenquellenschema, Indizes und Abfragen vorzunehmen.
• Das Data Warehouse mag einfach erscheinen, aber tatsächlich ist es für die durchschnittlichen Benutzer zu komplex.,
• Trotz bester Bemühungen im Projektmanagement wird der Data Warehousing-Projektumfang immer größer.
• Irgendwann werden Warehouse-Benutzer unterschiedliche Geschäftsregeln entwickeln.
• Organisationen müssen einen Großteil ihrer Ressourcen für Schulungen und Implementierungszwecke aufwenden.

Die Zukunft des Data Warehousing

• Änderungen der regulatorischen Beschränkungen können die Fähigkeit einschränken, unterschiedliche Datenquellen zu kombinieren. Diese unterschiedlichen Quellen können unstrukturierte Daten enthalten, die schwer zu speichern sind.,
• Wenn die Größe der Datenbanken zunimmt, wachsen die Schätzungen, was eine sehr große Datenbank ausmacht, weiter. Es ist komplex, Data Warehouse-Systeme zu erstellen und auszuführen, deren Größe immer größer wird. Die heute verfügbaren Hard-und Softwareressourcen erlauben es nicht, eine große Datenmenge online zu halten.
• Multimediadaten können nicht einfach als Textdaten manipuliert werden, wohingegen Textinformationen mit der heute verfügbaren relationalen Software abgerufen werden können. Dies könnte ein Forschungsthema sein.,

Data Warehouse Tools

Auf dem Markt gibt es viele Data Warehousing Tools. Hier sind einige der prominentesten:

1. MarkLogic:

MarkLogic ist eine nützliche Data Warehousing-Lösung, die die Datenintegration mithilfe einer Reihe von Unternehmensfunktionen einfacher und schneller macht. Dieses Tool hilft bei sehr komplexen Suchvorgängen. Es kann verschiedene Datentypen wie Dokumente, Beziehungen und Metadaten abfragen.

https://www.marklogic.com/product/getting-started/

2. Oracle:

Oracle ist die branchenführende Datenbank., Es bietet eine große Auswahl an Data Warehouse-Lösungen sowohl für On-Premises als auch für die Cloud. Es hilft, Kundenerlebnisse zu optimieren, indem es die betriebliche Effizienz erhöht.

https://www.oracle.com/index.html

3. Amazon RedShift:

Amazon Redshift ist Data-warehouse-tool. Es ist ein einfaches und kostengünstiges Tool zur Analyse aller Arten von Daten mit Standard-SQL und vorhandenen BI-Tools. Es ermöglicht auch die Ausführung komplexer Abfragen gegen Petabyte strukturierter Daten mit der Technik der Abfrageoptimierung.,

https://aws.amazon.com/redshift/?nc2=h_m1

Hier ist eine vollständige Liste nützlicher Datawarehouse-Tools.

KEY-LEARNING

• Data Warehouse (DWH), auch bekannt als Enterprise Data Warehouse (EDW).
• Ein Data Warehouse ist definiert als ein zentrales repository, in dem Informationen aus einer oder mehreren Datenquellen.
• Drei Haupttypen von Data Warehouses sind Enterprise Data Warehouse (EDW), Operational Data Store und Data Mart.,
• Allgemeiner Zustand eines Datawarehauses sind Offline-Betriebsdatenbank, Offline – Data Warehouse, Echtzeit-Data Warehouse und Integriertes Data Warehouse.
• Vier Hauptkomponenten von Datawarehouse sind Load Manager, Warehouse Manager, Query Manager, Endbenutzer-Zugriffstools
• Datawarehouse wird in verschiedenen Branchen wie Fluggesellschaften, Banken, Gesundheitswesen, Versicherungen, Einzelhandel usw. verwendet.
• Die Implementierung von Datawarehosue ist eine 3-Säulen-Strategie. Unternehmensstrategie, Phased Delivery und iteratives Prototyping.,
• Data Warehouse ermöglicht es Geschäftsbenutzern, schnell auf kritische Daten aus einigen Quellen an einem Ort zuzugreifen.