O que é Data Warehouse? Tipos, Definição e Exemplo,

o Que é Data Warehouse?

a Data Warehousing (DW) é um processo para a recolha e gestão de dados a partir de várias fontes para fornecer insights de negócios significativos. Um armazém de dados é normalmente usado para conectar e analisar dados de negócios a partir de fontes heterogêneas. O data warehouse é o núcleo do sistema BI que é construído para análise de dados e relatórios. é uma mistura de tecnologias e componentes que auxilia a utilização estratégica de dados., É o armazenamento eletrônico de uma grande quantidade de informação por uma empresa que é projetado para consulta e análise em vez de processamento de transação. Trata-se de um processo de transformação de dados em informação e de disponibilização aos utilizadores em tempo útil para fazer a diferença. neste tutorial de Data Warehouse (DWH), irá aprender mais sobre-

  • história da Datawarehouse
  • Como funciona a Datawarehouse? tipos de Data Warehouse (DWH) fases gerais do Data Warehouse componentes do Data warehouse quem precisa de Data warehouse?, para que serve um armazém de dados? medidas para implementar a Data Warehouse melhores práticas para implementar uma Data Warehouse por que precisamos de Data Warehouse? Vantagens & desvantagens
  • O Futuro do armazenamento de Dados Ferramentas De Armazenamento de dados

a base de dados de apoio à decisão (Data Warehouse) é mantida separadamente da base de dados operacional da organização. No entanto, o armazém de dados não é um produto, mas um ambiente., É uma construção arquitetônica de um sistema de informação que fornece aos usuários informações atuais e históricas de suporte à decisão que é difícil de acessar ou estar presente no armazenamento tradicional de dados operacionais.

ocê muitos sabem que uma base de dados 3NF projetada para um sistema de inventário muitos têm tabelas relacionadas uns com os outros. Por exemplo, um relatório sobre a informação actual do inventário pode incluir mais de 12 condições associadas. Isto pode reduzir rapidamente o tempo de Resposta da consulta e do relatório., Um armazém de dados fornece um novo design que pode ajudar a reduzir o tempo de resposta e ajuda a melhorar o desempenho das consultas para relatórios e análises.,

o sistema de armazém de Dados também é conhecida pelo nome seguinte:

  • Sistema de Apoio à Decisão (DSS)
  • Executivos do Sistema de Informação
  • Sistema de Informação de Gestão
  • Solução de Business Intelligence
  • Analítico Aplicação
  • Armazém de Dados

História do Datawarehouse

O Datawarehouse benefícios que os usuários a entender e melhorar o seu desempenho da organização., A necessidade de armazenar dados evoluiu à medida que os sistemas de computador se tornaram mais complexos e necessários para lidar com quantidades crescentes de informação. No entanto, o armazenamento de dados não é uma coisa nova.

Aqui estão alguns eventos chave na evolução do Data Warehouse –

  • 1960 – Dartmouth e General Mills em um projeto de pesquisa conjunta, desenvolver os Termos dimensões e fatos.1970-a Nielsen and IRI introduz dados dimensionais para as vendas a retalho., 1983-a Tera Data Corporation introduz um sistema de gestão de bases de dados que é especificamente concebido para o Suporte de decisão a Data warehousing começou no final dos anos 80, quando o trabalhador da IBM Paul Murphy e Barry Devlin desenvolveram o Business Data Warehouse.
  • No entanto, o conceito real foi dado por Inmon Bill. Ele foi considerado como um pai do data warehouse. Ele tinha escrito sobre uma variedade de tópicos para construção, uso e manutenção do armazém & A fábrica de informação corporativa. como funciona a Datawarehouse?,um armazém de dados funciona como um repositório central onde a informação chega de uma ou mais fontes de dados. Os dados fluem para um armazém de dados a partir do sistema transacional e de outras bases de dados relacionais.

    os Dados podem ser:

    1. Estruturada
    2. Semi-estruturadas
    3. dados não estruturados

    Os dados são processados, transformados e ingerido para que os utilizadores acedam a dados processados no Armazém de Dados através de ferramentas de Business Intelligence, clientes de SQL, e folhas de cálculo., Um armazém de dados reúne informações provenientes de diferentes fontes numa base de dados abrangente. ao reunir todas estas informações num só lugar, uma organização pode analisar os seus clientes de forma mais holística. Isto ajuda a garantir que tenha considerado todas as informações disponíveis. Armazenamento de dados torna possível a mineração de dados. A mineração de dados está procurando padrões nos dados que podem levar a maiores vendas e lucros.

    tipos de Data Warehouse

    três tipos principais de Data Warehouse (DWH) são:

    1., Enterprise Data Warehouse (EDW):

    Enterprise Data Warehouse (EDW) é um warehouse centralizado. Presta um serviço de apoio à decisão em toda a empresa. Oferece uma abordagem unificada para organizar e representar dados. Ele também fornece a capacidade de classificar os dados de acordo com o assunto e dar acesso de acordo com essas divisões. 2. Armazenamento de dados operacionais:

    armazenamento de Dados Operacionais, que também é chamado ODS, não são nada além de armazenamento de dados necessários quando nem Data warehouse nem OLTP sistemas de suporte organizações relatando necessidades., Em ODS, Data warehouse é atualizado em tempo real. Assim, é amplamente preferido para atividades rotineiras como o armazenamento de registros dos funcionários. 3. Data Mart: um data mart é um subconjunto do data warehouse. Especialmente concebido para uma determinada linha de negócio, tais como vendas, finanças, vendas ou finanças. Em um data mart independente, os dados podem coletar diretamente de fontes. anteriormente, as organizações começaram a utilizar de forma relativamente simples o armazenamento de dados. No entanto, ao longo do tempo, começou o uso mais sofisticado de armazenamento de dados.,

    as seguintes fases gerais de Utilização do data warehouse (DWH):

    base de dados Operacional Offline:

    nesta fase, os dados são copiados de um sistema operacional para outro servidor. Desta forma, o carregamento, processamento e comunicação dos dados copiados não afetam o desempenho do sistema operacional.

    Data Warehouse Offline:

    Data in The Datawarehouse is regularly updated from the Operational Database. Os dados na Datawarehouse são mapeados e transformados para atender aos objetivos da Datawarehouse., armazém de dados em tempo Real: nesta fase, os armazéns de dados são atualizados sempre que qualquer transação ocorre na base de dados Operacional. Por exemplo, o sistema de reservas de companhias aéreas ou ferroviárias. nesta fase, os armazéns de dados são atualizados continuamente quando o sistema operacional realiza uma transação. A Datawarehouse então gera transações que são passadas de volta para o sistema operacional.

    componentes do Data warehouse

    quatro componentes dos Data Warehouse São:

    Load manager: O Load manager também é chamado de componente frontal., Realiza-se com todas as operações associadas com a extração e a carga de dados para o armazém. Estas operações incluem transformações para preparar os dados para entrar no Armazém de dados.

    Warehouse Manager: Warehouse manager executa operações associadas com a gestão dos dados no warehouse. Realiza operações como a análise de dados para garantir consistência, criação de índices e vistas, geração de desnormalização e agregações, transformação e fusão de dados de origem e arquivo e cozimento de dados.,

    Gestor de pesquisas: o Gestor de pesquisas também é conhecido como componente de infra-estrutura. Realiza todas as operações de operação relacionadas com a gestão de consultas de usuário. As operações destes componentes de Data warehouse são consultas diretas às tabelas apropriadas para agendar a execução das consultas.

    ferramentas de acesso ao Utilizador Final:

    esta é categorizada em cinco grupos diferentes como 1. Comunicação De Dados 2. Ferramentas De Pesquisa 3. Ferramentas de desenvolvimento de aplicações 4. Ferramentas EIS, 5. Ferramentas OLAP e ferramentas de mineração de dados. quem precisa de um armazém de dados?,

    DWH (Data warehouse) é necessário para todos os tipos de utilizadores, como:

    • decisores que dependem da quantidade de massa de dados
    • utilizadores que utilizam processos complexos e personalizados para obter informações de várias fontes de dados.também é usado pelas pessoas que querem uma tecnologia simples para acessar os dados.também é essencial para as pessoas que querem uma abordagem sistemática para tomar decisões. se o usuário quer um desempenho rápido em uma enorme quantidade de dados que é uma necessidade de relatórios, tabelas ou gráficos, então o Data warehouse se revela útil.,
    • Data warehouse é um primeiro passo Se você quiser descobrir ‘padrões ocultos’ de fluxos de dados e agrupamentos. para que serve um armazém de dados?

      Aqui, são os setores mais comuns onde o Data warehouse é usado:

      companhia aérea:

      no sistema de companhias aéreas, ele é usado para fins de operação, como a atribuição da tripulação, análises de rentabilidade da rota, promoções de programas de passageiro frequente, etc. é amplamente utilizado no sector bancário para gerir eficazmente os recursos disponíveis em desk., Poucos bancos também foram utilizados para a pesquisa de mercado, análise de desempenho do produto e operações. o sector da saúde também usou Data warehouse para elaborar e prever os resultados, gerar relatórios de tratamento do doente, partilhar dados com companhias de Seguros, Serviços de assistência médica, etc. sector público: no sector público, o armazém de dados é utilizado para a recolha de informações. Ele ajuda as agências governamentais a manter e analisar registros fiscais, registros de políticas de saúde, para cada indivíduo., neste sector, os armazéns são utilizados principalmente para analisar os padrões de dados, as tendências dos clientes e para acompanhar os movimentos do mercado. cadeia de retenção: nas cadeias de venda a retalho, o Armazém de dados é amplamente utilizado para a distribuição e comercialização. Ele também ajuda a rastrear itens, padrão de compra do cliente, promoções e também usado para determinar a Política de preços. neste sector é utilizado um armazém de dados para promoções de produtos, decisões de vendas e decisões de distribuição., Indústria Hoteleira: Indústria Hoteleira: indústria hoteleira: indústria hoteleira: indústria hoteleira: Indústria Hoteleira: Indústria Hoteleira: indústria hoteleira: indústria hoteleira: indústria hoteleira: indústria hoteleira: indústria hoteleira: indústria hoteleira: indústria hoteleira

      medidas para implementar Data Warehouse

      a melhor maneira de lidar com o risco de negócio associado a uma implementação Datawarehouse é empregar uma estratégia de três frentes como abaixo

      1. estratégia de Empresa: Aqui identificamos a técnica, incluindo a arquitetura atual e ferramentas. Também identificamos fatos, dimensões e atributos., O mapeamento de dados e a transformação também são passados. entrega faseada: a implementação da casa de dados deve ser faseada com base em áreas temáticas. As Entidades de negócio relacionadas, como a reserva e a faturação, devem ser implementadas primeiro e, em seguida, integradas umas com as outras. prototipagem iterativa: em vez de uma abordagem big bang para a implementação, a Datawarehouse deve ser desenvolvida e testada iterativamente.

      aqui, são passos-chave na implementação Datawarehouse, juntamente com os seus produtos.,ntegration Mapa 8 Desenvolver Armazém de Dados de design de Banco de dados D/W Design de Banco de dados 9 Extrair Dados a partir de Dados Operacionais Store Integrado D/W Extrações de Dados 10 Load Data Warehouse Carga Inicial dos Dados 11 Manter o Armazém de Dados No curso de Acesso a Dados e Cargas Subsequentes

      as Melhores práticas para implementar um Armazém de Dados

      • Decidir um plano para testar a consistência, precisão e integridade dos dados.,o armazém de dados deve estar bem integrado, bem definido e carimbado.
      • Ao desenhar a Datawarehouse certifique-se de que utiliza a ferramenta certa, mantém o ciclo de vida, toma cuidado com os conflitos de dados e está pronto para aprender que são os seus erros. nunca substitua sistemas operacionais e relatórios não dedique muito tempo a extrair, limpar e carregar dados. assegurar a participação de todas as partes interessadas, incluindo o pessoal das empresas, no processo de implementação da Datawarehouse. Estabelecer que Data warehousing é um projeto conjunto / equipe., Você não quer criar Data warehouse que não é útil para os usuários finais. preparar um plano de formação para os utilizadores finais. para que precisamos do armazém de dados? Vantagens & desvantagens

        vantagens do Data Warehouse (DWH):

        • Data warehouse permite aos utilizadores das empresas acederem rapidamente a dados críticos de algumas fontes, Todos num único local. o Data warehouse fornece informações consistentes sobre várias actividades multifuncionais. Também apoia relatórios e consultas ad hoc., O Armazém de dados ajuda a integrar muitas fontes de dados para reduzir o stress no sistema de produção. o Armazém de dados ajuda a reduzir o tempo total de recuperação para análise e comunicação. a reestruturação e a integração facilitam a utilização do utilizador para a elaboração de relatórios e análises. o Armazém de dados permite aos utilizadores aceder aos dados críticos a partir do número de fontes num único local. Portanto, ele economiza o tempo do usuário de recuperar dados de várias fontes. Data warehouse armazena uma grande quantidade de dados históricos., Isso ajuda os usuários a analisar diferentes períodos de tempo e tendências para fazer previsões futuras.

        desvantagens do armazém de dados:

        • não é uma opção ideal para dados não estruturados.criação e implementação de Data Warehouse é certamente um assunto confuso.
        • Data Warehouse can be outdated relatively quickly
        • Difficult to make changes in data types and ranges, data source schema, indexes, and queries.o armazém de dados pode parecer fácil, mas, na verdade, é demasiado complexo para os utilizadores médios.,apesar dos melhores esforços na gestão de projectos, o âmbito do projecto de armazenamento de dados irá sempre aumentar. em algum momento os usuários do armazém desenvolverão diferentes regras de Negócio.as organizações têm de gastar muitos dos seus recursos para fins de formação e de execução.

        O Futuro do armazenamento de dados

        • a alteração das restrições regulamentares pode limitar a capacidade de combinar a fonte de dados díspares. Estas fontes díspares podem incluir dados não estruturados que são difíceis de armazenar.,à medida que o tamanho das bases de dados cresce, as estimativas do que constitui uma base de dados muito grande continuam a crescer. É complexo construir e executar sistemas de armazenamento de dados que estão sempre aumentando em tamanho. Os recursos de hardware e software estão disponíveis hoje não permitem manter uma grande quantidade de dados on-line.os dados multimídia não podem ser facilmente manipulados como dados de texto, enquanto a informação textual pode ser recuperada pelo software relacional disponível hoje. Isto pode ser um assunto de pesquisa.,

        Ferramentas De Armazenamento de dados

        Existem muitas ferramentas de armazenamento de dados disponíveis no mercado. Aqui, estão alguns dos mais proeminentes:

        1. MarkLogic:

        MarkLogic é uma solução útil de armazenamento de dados que torna a integração de dados mais fácil e mais rápida usando uma matriz de recursos empresariais. Esta ferramenta ajuda a realizar operações de busca muito complexas. Ele pode consultar diferentes tipos de dados, como documentos, relacionamentos e metadados.

        https://www.marklogic.com/product/getting-started/

        2. Oracle:

        Oracle é a base de dados líder na indústria., Oferece uma ampla gama de soluções de armazenamento de dados tanto nas instalações como na nuvem. Ajuda a otimizar as experiências dos clientes através do aumento da eficiência operacional.

        3. Amazon RedShift:

        Amazon Redshift é a ferramenta de armazenamento de dados. É uma ferramenta simples e econômica para analisar todos os tipos de dados usando SQL padrão e ferramentas BI existentes. Ele também permite executar consultas complexas contra petabytes de dados estruturados, usando a técnica de otimização de consultas.,

        https://aws.amazon.com/redshift/?nc2=h_m1

        Aqui está uma lista completa de ferramentas úteis Datawarehouse.

        KEY LEARNING

        • Data Warehouse( DWH), também conhecido como Enterprise Data Warehouse (EDW).um armazém de dados é definido como um repositório central onde as informações provêm de uma ou mais fontes de dados.três tipos principais de data warehouse são Enterprise Data Warehouse (EDW), Operational Data Store e Data Mart.,o estado geral de uma datawarehouse é um banco de dados Operacional Offline, um armazém de Dados Offline, um armazém de dados em tempo Real e um armazém de dados integrado.quatro componentes principais da Datawarehouse são: Gerente de carga, Gerente de armazém, Gerenciador de consultas, ferramentas de acesso ao usuário final
        • Datawarehouse é usado em diversas indústrias como companhias aéreas, bancos, Saúde, Seguros, varejo, etc.a implementação de Datawarehosue é uma estratégia de 3 pontos. Estratégia empresarial, entrega faseada e prototipagem iterativa.,
        • Data warehouse permite que os usuários de negócios acessem rapidamente os dados críticos de algumas fontes em um só lugar.

Leave a Comment