Slide 1 - BinDigital

INTELIGÊNCIA EMPRESARIAL
Aula 7 - Data Warehouse
INTELIGÊNCIA EMPRESARIAL
Conteúdo Programático desta aula
 Conceitos e principais características do
Data Warehouse
 Diferenças entre o Data Warehouse e os
Bancos de Dados que suportam o
ambiente operacional.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
SISTEMAS DE APOIO À DECISÃO
Os tomadores de decisão necessitam de informações confiáveis sobre
operações atuais , tendências e mudanças. Além disso, os dados
necessários para a tomada de decisão estão espalhados em diversas
áreas da empresa.
A integração e análise dos dados existentes nestes diferentes
sistemas, é uma tarefa difícil e necessita de muito tempo e recursos.
Por este motivo, surge a necessidade de um ambiente voltado para
os tomadores de decisão, que permita que estes analisem dados
confiáveis de forma eficiente e flexível.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
SISTEMAS DE APOIO À DECISÃO
Os bancos de dados que conseguem armazenar tais dados e
arquiteturas computacionais que podem processar estes dados
também são diferentes, assim como também são diferentes as
características dos sistemas que permitem a consulta a estas bases
de tomada de decisão.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE (DW)
“Um data warehouse é um conjunto de dados produzido para
oferecer suporte à tomada de decisões; é um repositório de dados
atuais e históricos de possível interesse aos gerentes de toda a
organização. Os dados normalmente são estruturados de modo a
estarem disponíveis em um formato pronto para as atividades de
processamento analítico. Portanto, um Data Warehouse é uma
coleção de dados orientada por assunto, integrada, variável no
tempo e não volátil, que proporciona suporte ao processo de tomada
de decisão”
(Turban E., Sharda R., Aronson J.E., King D: Business Intelligence – um enfoque gerencial para a inteligência do negócio)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE
 Banco de dados que armazena dados sobre as operações da
empresa, como vendas e compras, extraídos de uma fonte única
ou múltipla, oferecendo enfoque histórico, para permitir um
suporte efetivo à tomada de decisão.
 Dados integrados e históricos que servem desde a alta
direção, que necessita
de informações mais resumidas, até as
gerências de baixo nível, onde os
dados detalhados ajudam a
observar aspectos mais táticos da empresa.
“conjunto de dados baseado em assuntos, integrado, não
volátil e variável em relação o tempo, para dar suporte ao
processo gerencial de tomada de decisão.”
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE
Não volatil
Orientação por assunto
Não há atualização de registros
As alterações de informação são
armazenadas a partir da captura de um
novo retrato das informações
Organizado de acordo com as principais
areas de negocio da organização
Não orientado a aplicação, permitindo a
utilização dos dados de varias formas ao
longo do tempo
Informações detalhadas e
agregadas
Integração
Unificação fisica dos dados em um mesmo
repositório
Estruturas e formatos de dados comuns,
independente dos sistemas fonte
A integracao é feita através dos principais
processos de carrga
Variação temporal
Séries temporais de um conjunto de dados
Variações de estado (datas de mudança
de status)
Datas de eventos(chamadas,
faturas,pedidos, etc)
Data
Warehouse
Dados atômicos
Mantem a flexibilidade dos dados,
facilitando futuras mudanças no
negócio
Deve-se tomar cuidado para não se
tornar fonte de relatórios
operacionais
Visões agregadas montadas em função
das principais visões corporativas
Estruturas consolidadas de perfis –
utilizadas para facilitar analises de eventos
que são baseados em um grande volume
de dados
Adaptado de: Prof. Fernando Nimer
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
ORIENTAÇÃO POR ASSUNTO
Um DW sempre armazena dados importantes sobre temas específicos
da empresa de acordo com o interesse das pessoas que irão utilizálos.
(Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
VOLATILIDADE
Os dados não sofrem atualizações. Eles são carregados uma única vez e,
a partir desse momento, só podem ser consultados, pois representam as
informações em um determinado instante de tempo.
Os dados passam por filtros antes de entrarem no DW, com isso muitos
dados nunca saem do ambiente transacional e outros são resumidos de
certa forma que não são encontrados fora do DW.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
VARIAÇÃO NO TEMPO
Os dados são armazenados para fornecer informações de uma
perspectiva histórica. A cada mudança ocorrida num dado, uma nova
entrada é criada e não atualizada, como acontece nos sistemas
tradicionais
(Fonte: Adaptado de prof. Yomara Pires)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
INTEGRAÇÃO
Os dados necessários aos tomadores de decisão estão em diversas
áreas da empresa. Geralmente estes dados não estão padronizados e é
necessário integrar antes de carregarmos em um DW de forma que
passe a ter um único significado.
Como não existem padrões de codificação, cada analista pode definir a
mesma estrutura de dados de várias formas, fazendo com que dados
que representam a mesma informação sejam representados de
diversas maneiras dentro dos sistemas utilizados pela empresa o longo
dos anos
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
INTEGRAÇÃO
A maior parte do trabalho na construção de um DW está na análise dos
sistemas em operação e dos dados que ele contém.
(Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
LOCALIZAÇÃO
Os dados podem estar fisicamente armazenados de três formas:
centralizados, distribuídos e por níveis de detalhes.
Centralizados: solução muito utilizada, mas com o inconveniente de
requerer investimento em um servidor com alta capacidade de
processamento e armazenamento.
Distribuídos: dados armazenados em diferentes locais, chamados
“Datamarts”, de acordo com áreas de interesse (Exemplo:
financeiro, marketing).
Níveis de Detalhes: dados altamente consolidados/resumidos em um
servidor e dados detalhados em outro
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
CREDIBILIDADE DE DADOS
Para o sucesso de qualquer Data Warehouse é determinante a
credibilidade dos dados. Simples distorções podem causar sérios
problemas quando se quer extrair dados para suportar decisões
estratégicas para o negócio das empresas. Dados não confiáveis podem
resultar em relatórios inúteis, sem importância.
Por exemplo, um simples CEP errado não afetará uma simples transação
de compra e venda, mas poderá influenciar informações referentes a
uma cobertura geográfica ou uma expansão de rede de filiais.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
GRANULARIDADE DE DADOS
A granularidade diz respeito ao nível de detalhe dos dados existentes no
Data Warehouse. Quanto maior o nível de detalhe, menor o nível de
granularidade.
(Fonte: Adaptado de Oliveira, S.R. M - Data Warehouse: Arquitetura, Projeto e Abordagens de Implementação)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
PRINCIPAIS TAREFAS EFETUADAS PELO DW
 Obter dados dos BD’s operacionais e externos;
 Armazenar os dados;
 Fornecer informações para tomada de decisão;
 Administrar o sistema e os dados
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
PRINCIPAIS COMPONENTES DO DW
 Mecanismos para acessar e transformar dados;
 Mecanismo para armazenamento de dados;
 Ferramentas para análise de dados;
 Ferramentas de gerência.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
DATAMARTS
Muitas vezes, apesar do Data Warehouse possuir um grande volume de
dados de toda a empresa, é necessário trabalhar apenas com uma
parte destes dados, correspondente a um setor da empresa, ou fazer
a implantação do Data Warehouse de forma fracionada até se formar o
sistema corporativo.
Pode ser considerado como um subconjunto de dados que possui
regras de negócio e de cálculo específicas, sumarizados ou agregados
de um database maior.
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
UTILIZAÇÃO DE DATAMARTS
Um Datamart é um banco de dados de suporte à decisão construído para
utilização por um departamento ou grupo específico de uma empresa.
(Fonte: Adaptado de www.inf.ufsc.br/~frank/bd_unoesc/DataWarehouse.ppt, acesso em 08/jan/2011)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
UTILIZAÇÃO DE DATAMARTS
• “Pequenos” bancos de dados departamentais orientados por
assunto
• Solução “Tática” (possuem implementação mais simples)
• Menor tempo de desenvolvimento
• Atenção: a integração de DataMarts exige planejamento avançado
Observações:
 Dados podem estar repetidos em diversos Data Marts
 O mesmo dado pode ser representado com granularidade
diferente
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
ARQUITETURA DE UM DATA WAREHOUSE
(Fonte: Adaptado de Sun Expert Magazine)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE x BD OPERACIONAL
CARACTERÍSTICA
BD OPERACIONAL
DATA WAREHOUSE
Objetivo
Operações diárias do
negócio
Analisar o negócio
Uso
Operacional
Analítico
Tipo de
processamento
OLTP
OLAP
Unidade de trabalho
Inclusão, alteração,
exclusão
Inserção e consulta
Interação do usuário
Somente pré-definida
Pré-definida e ad-hoc
Volume
Megabytes – gigabytes
Gigabytes – terabytes
(Fonte: Adaptado de Han, J., Kamber, M., 2001, “Data mining”, Morgan Kaufmann Publishers, New York, USA)
INTELIGÊNCIA EMPRESARIAL – AULA 7
INTELIGÊNCIA EMPRESARIAL
DATA WAREHOUSE x BD OPERACIONAL
CARACTERÍSTICA
BD OPERACIONAL
DATA WAREHOUSE
Histórico
60 a 90 dias
5 a 10 anos
Granularidade
Detalhados
Detalhados e
resumidos
Redundância
Não ocorre
Ocorre
Atualização
Contínua (tempo real)
Periódica (em batch)
Integridade
Transação
A cada atualização
Intenção dos índices
Localizar um registro
Aperfeiçoar consultas
(Fonte: Adaptado de Han, J., Kamber, M., 2001, “Data mining”, Morgan Kaufmann Publishers, New York, USA)
INTELIGÊNCIA EMPRESARIAL – AULA 7