03 Data Warehouse

Data Warehouse
Janeiro/2013
Ceça Moraes
[email protected]
Material da Professora Valéria
Cesário Times, do Cin-UFPE
2
Conteúdo
•
•
•
•
•
•
•
•
Introdução
Conceitos básicos
Modelos e modelagem dimensional
Arquitetura de DW
Processamento OLAP x OLTP
Cubo Multidimensional
Arquitetutas OLAP
Exemplos de Relatórios OLAP
3
Hierarquia da Informação
4
CONCEITOS BÁSICOS
5
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing(DWing)?
O que são Sistemas de DW e OLAP?
6
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing(DWing)?
O que são Sistemas de DW e OLAP?
7
Banco de Dados Multidimensional
• Podemos pensar (conceitualmente) em
um Banco de Dados Multidimensional
(BDMD) como um ARRAY gigantesco:
– BDM D(i ,j ,l ,m ,n,o ,p ,r,s ,t, . .. , )
– Tamanho Máximo do BDMD = imax * jmax *
kmax * lmax * mmax * ...
8
Banco de Dados Multidimensional
Consulta
9
Banco de Dados Multidimensional
Consulta - Tridimensional
10
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing(DWing)?
O que são Sistemas de DW e OLAP?
11
O que é o Data Warehouse?
• “Coleção de dados orientada a assunto,
integrada, não-volátil e variante no
tempo, utilizada para tomada de
decisões”.
– W. H. Inmon
• "a copy of transaction data specifically
structured for query and analysis"
– R. Kimball
12
O que é o Data Warehouse?
• “Repositório estruturado e corporativo de
dados orientados a assunto, variantes no
tempo e históricos, usados para recuperação
de informações e suporte à decisão. O DW
armazena dados atômicos e sumarizados”.
– Definição de DW da Oracle
• Nossa: DW é uma base de dados que facilita a
execução de consultas de apoio à decisão
13
Propriedades de um DW
14
Alterações no DW
15
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing(DWing)?
O que são Sistemas de DW e OLAP?
16
O que é Data Mart (DM)?
• DM é um subconjunto de um DW
– Subconjunto do DW que satisfaz os requisitos de
um certo tema ou atividade de negócio
– Projetado para um dado grupo de usuários
• Pode ser construído antes ou depois do DW
• Antes ⇒ fragmentos de dados
• Depois ⇒ produzem juntos uma visão
integrada dos dados
17
Movendo Dados de um DW para DM
• Vantagens
– Dados totalmente
integrados antes
• Desvantagens
– Pode ser mais complexo,
custoso e demorado
18
Movendo Dados dos DM para o DW
• Vantagens
– Mais simples e rápido
– Integração de dados
específicos de cada
departamento
• Desvantagens
– Duplicação de dados
– Data Marts podem ter
dados incompatíveis
19
Data Mart
• Benefícios
– Tempo e dificuldade de implantação minimizados
– São mais facilmente entendidos
– Consultas mais rápidas e com menor número de
usuários e menor volume de dados
• Importante
– Garantir a consistência dos dados
– Mudanças nos dados das fontes podem gerar
necessidade de atualização em vários DM
20
Data Mart
• Razões Adicionais para Criação de DM
– Permitir aos usuários, acesso aos dados que eles
analisam mais frequentemente
– Menor tempo de resposta por causa da redução
do volume de dados acessados
– DM são mais facilmente extraídos,
transformados,carregados e integrados
• Implementação de DM é mais simples do que de um
DW inteiro
• Custo de implementação de DM é também menor
21
DW x DM
22
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing(DWing)?
O que são Sistemas de DW e OLAP?
23
ETL e ODS (Staging)
• ETL = Extraction, Transformation and Load
• Ferramentas de ETL
– Responsáveis pela conversão dos dados do
ambiente operacional para o de suporte à decisão
– Realizam Acesso, Extração, Limpeza,
Transformação, Validação e Carga dos dados
24
ETL e ODS (Staging)
• Operational Datastore (ODS) ou Staging
• Repositório de dados operacionais integrados
– Intermediário entre as fontes de dados e o DW
• Benefícios
– Otimiza a criação do DW
– Possibilita a realização de consultas relacionais
sobre todos dados históricos
25
ETL e ODS
• Abordagem Top-Down (DW ⇒ DMs)
• Visão DW corporativo
– Grande abrangência
26
ETL e ODS
• Abordagem Botton-Up (DMs ⇒ DW)
• Visão DW departamental
– Probabilidade de ilhas de dados
• Pode acontecer dos DM não se integrarem
27
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing (DWing)?
O que são Sistemas de DW e OLAP?
28
Data Warehousing
• Processo de criação e manutenção do DW
29
Data Warehousing
• Processo de construção do DW como uma base de dados
multi-dimensional
30
Data Warehousing
31
Conceitos e Terminologia de SDW
•
•
•
•
•
•
O que é Banco de Dados Multidimensional?
O que é Data Warehouse (DW)?
O que é Data Mart (DM)?
O que são ETL e ODS?
O que é Data Warehousing(DWing)?
O que são sistemas de DW e OLAP?
32
Sistemas de DW/OLAP
• Possuem Front end
• Permitem que usuários naveguem nos
diferentes níveis de detalhes sobre os dados
– Dados são organizados no DW por meio de
modelagem dimensionais
– Resultados de consultas são interpretados em
uma variedade de visões multidimensionais
• Consultas são providas pelas ferramentas OLAP (OnLine Analytical Processing)
33
Consultas no DW
34
Consultas no DW
35
Sistemas de DW
• Principais objetivos dos Sistemas de DW
– Tornar a informação da organização facilmente
acessível
– Exibir a informação de forma consistente
– Ser adaptativo e acomodar facilmente mudanças
– Servir de base para a tomada de decisão
– Satisfazer as necessidades de análise dos usuários
– Garantir a segurança das informações mantidas no
DW
36
Sistemas de DW
• Responsabilidades do administrador do
Sistema de DW
– Identificar que decisões seus usuários desejam
tomar
– Escolher o subconjunto de dados a ser mantido
pelo DM
– Monitorar a precisão dos dados e dos relatórios
gerados
– Garantir interfaces e aplicações sejam simples de
usar
37
Sopa de Letrinhas
38
Bibliografia
• Data Warehousing, Data Mining & OLAP, Alex Berson,
Stephen J. Smith. McGraw-Hill
• The Data Warehouse Toolkit. Ralph Kimball, Margy
Ross. John Wiley & Sons, Inc.
• Data Warehouse Brasil (http://www.dwbrasil.com.br/)
• Artigos de Kimball
(http://www.ralphkimball.com/html/articles.html)
• Data Warehousing Institute (http://www.dwinstitute.com/)
• OLAP Report - (http://www.olapreport.com/)
39