Data Warehouse

JOÃO CARVALHO
Data
Warehouses
DEFINIÇÃO

Um Data Warehouse é um sistema de
computação utilizado para armazenar
informações relativas às actividades de uma
organização em bases de dados, de forma
consolidada. O desenho da base de dados favorece
os relatórios, a análise de grandes volumes de
dados e a obtenção de informações estratégicas
que podem facilitar a tomada de decisão.
FUNCIONAMENTO
O Data Warehouse possibilita a análise de
grandes volumes de dados, recolhidos dos
sistemas transaccionais.
 São as chamadas séries históricas que
possibilitam uma melhor análise de eventos
passados.
 Por definição, os dados num Data Warehouse não
são voláteis, ou seja, eles não mudam, salvo
quando é necessário fazer correcções de dados
previamente carregados.
 Os dados estão disponíveis somente para leitura
e não podem ser alterados.

ARQUITECTURA

Um data warehouse é constituído por 3 partes:

Armazenamento

Modelagem

Metadado
ARMAZENAMENTO


É feito num depósito único mas que seja de
rápido acesso para as análises.
Tal armazenamento tem que possuir um histórico
com todos os dados possíveis para que possa se
ter uma análise mais apurada.
MODELAGEM
Os sistemas de base de dados tradicionais
utilizam a normalização no formato de dados
para garantir consistência dos dados e uma
minimização do espaço de armazenamento
necessário.
 Algumas transacções e consultas em bases de
dados normalizadas podem se tornar lentas
devido às operações de junção entre tabelas.
 Um Data Warehouse utiliza dados num formato
sem padrão definido.
 Essa maneira de reordenar os dados chama-se
Modelagem Dimensional, e o resultado da
modelagem é o Modelo Dimensional, ou MD.

METADADO
O conceito Metadado é considerado como sendo
os "dados sobre dados", isto é, os dados sobre os
sistemas que operam com estes dados.
 Um repositório de metadados é uma ferramenta
essencial para a gestão de um Data Warehouse no
momento de converter dados em informações
para o negócio.
 Entre outras coisas, um repositório de metadados
bem construído deve conter informações sobre a
origem dos dados, regras de transformação,
nomes e alias, formatos de dados, etc.

ACESSO
O Data Warehouse é normalmente acedido
através de Data Marts, que são pontos específicos
de acesso a subconjuntos do Data Warehouse.
 Os Data Marts são construídos para responder
prováveis perguntas de um tipo específico de
utilizador.
 um Data Mart financeiro poderia armazenar
informações consolidadas dia-a-dia para um
gestor e em periodicidades maiores (semana,
mês, ano) para um utilizador no nível da
directoria.

EXTRACÇÃO DE DADOS



Os dados introduzidos num Data Warehouse
geralmente passam por uma área conhecida como
área de estágio.
O estágio de dados ocorre quando existem
processos periódicos de leitura de dados.
Os dados podem passar então por um processo de
qualidade, de normalização e gravação dos dados
no Data Warehouse.
FERRAMENTAS

OLAP

Data mining
OLAP

As ferramentas OLAP (do inglês, Online
Analytical Processing) são geralmente
desenvolvidas para trabalhar com bases de dados
desnormalizados (sem padrões pré-definidos),
embora existam ferramentas que trabalham com
esquemas especiais de armazenamento, com
dados (informações) normalizados.
OLAP

Essas ferramentas são capazes de navegar pelos
dados de um Data Warehouse, possuindo uma
estrutura adequada tanto para a realização de
pesquisas como para a apresentação de
informações
OLAP
Nas ferramentas de navegação OLAP, é possível
navegar entre diferentes níveis de
granularidades (detalhe) de um cubo de dados.
 Através de um processo chamado Drill o
utilizador pode aumentar (Drill down) ou
diminuir (Drill up) o nível de detalhe dos dados.

OLAP

Outra possibilidade apresentada pela maioria
das ferramentas de navegação OLAP é o recurso
chamado Slice and dice.

Esse recurso é usado para criar visões dos dados por
meio da sua reorganização, de forma que eles possam
ser examinados sob diferentes perspectivas.
DATA MINING


Data Mining ou mineração de dados, é o processo
de descoberta de padrões existentes em grandes
massas de dados.
Apesar de existir ferramentas que ajudam na
execução do processo, o Data mining não tem
automatização simples (muitos discutem se é
sequer factível) e precisa ser conduzido por uma
pessoa, preferencialmente com formação em
Estatística ou áreas afins.
CARACTERÍSTICAS
DE UM DATA
WAREHOUSE

Orientado a assunto

Integrado

Não volátil

É variável consoante o tempo
ORIENTADO A ASSUNTO


Os warehouse são feitos para responder
abordagens sobre certos assuntos como, saber
mais sobre as vendas da empresa, ou sobre os
resultados das actuações das equipas de
marketing em determinadas regiões.
O warehouse é feito para responder perguntas
sobre certos assuntos como: “Quais foram os
melhores clientes em um determinado período?”,
“Qual foi o lucro obtido sobre uma campanha de
em uma determinada região?”.
INTEGRADO

Um Data Warehouse, armazena dados de várias
fontes de dados, mas é comum que as
informações sejam cadastradas em formatos e
padrões diferentes nas diversas fontes de dados,
para ser possível relacionar informações entre os
sistemas, estas informações devem ser
previamente tratadas antes de serem
armazenadas no warehouse, neste processo
diversas actividades são feitas, tais como:
INTEGRADO

Conversão de datas para um formato único

Resolução de conflitos entre nomes

Conversão de medidas
NÃO VOLÁTIL

Num warehouse somente existem duas operações
a serem feitas:

Carregamento de dados

Consulta.
NÃO VOLÁTIL


Dizer que um Data Warehouse não é volátil
significa que as informações registadas não são
actualizadas, o que é feito é que um novo registo
é gravado e este passa a ser utilizado de um certo
tempo em diante.
Isto possibilita que consultas realizadas para um
certo período retornam sempre o mesmo
resultado, pois os registos não foram
actualizados.
VARIÁVEL COM O TEMPO

Ser variável com o tempo significa somente que
os Data Warehouses mantêm um histórico por
muito mais tempo que um sistema de dados
operacional ou transaccional, enquanto os
sistemas OLTP (online transaction processing)
guardam históricos por um curto período, para
não reduzir a performance do sistema, os
warehouses guardam um histórico por muito
tempo, assim possibilitando que análises de
tendências ao longo do tempo sejam feitas com
suas informações.