Data Warehouse

Administração de
Sistemas de Informação
Datawarehouse
Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence

Definições
“Termo genérico introduzido por Howard
Dresner do Gartner Group em 1989,
Business Intelligence é um conjunto de
conceitos e metodologias que apoia a
tomada de decisões em negócios.”
[Computeworld Março/1999]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence

O que é BI ?
“[...] Apesar da semelhança com data warehouse, ele apresenta
variações. [...]

é um processo de coleta, análise e distribuição de dados para
melhorar a decisão nos negócios;

o objetivo é levar a informação para um número bem maior de
usuários dentro da corporação;

As ferramentas de software precisam endereçar problemas como
escalabilidade, facilidade de uso e de gerenciamento;

os bancos de dados são a infra-estrutura básica de qualquer
sistema de business intelligence. Os mais comuns são os BDs
multidimensionais, que permitem as análises por meio de cubos.”
[Computeworld Março/1999]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence

A inteligência é a alma do negócio
“Os sistemas de business intelligence vão levar sua
empresa para o século XXI e transformar a
maneira como se faz negócios.”
[Computeworld Março/1999]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
O mercado tem confundido:
Data Warehouse (DW)
com
Business Intelligence (BI)
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Uma Definição
“Um data warehouse é uma coleção de
dados orientados a assuntos, integrados,
variáveis no tempo e não voláteis para
suporte ao processo gerencial de tomada
de decisão”.
[Inmon & Hackathorn]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Mais Definições
“Um data warehouse [...] é um banco de dados que
armazena dados sobre as operações da empresa
(vendas, compras, etc.) extraídos de uma fonte única
ou múltipla, e transforma-os em informações úteis,
oferecendo um enfoque histórico, para permitir um
suporte efetivo à decisão.”
[Adelize Generini de Oliveira]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Mais Definições
“Data Warehouse [...] é construído e implementado
de uma maneira evolucionária passo a passo,
organizando e armazenando os dados
necessários para a análise informacional e o
processamento analítico sob uma perspectiva de
longo prazo”.
[Inmon & Hackathorn]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Questões

O DW busca atender a organização com
INFORMAÇÕES. Como conseguir isso ?

Que dados devem ser armazenados no DW ?

Que assuntos devem ser organizados no DW ?

Quem pode dar a chave para a construção ?

Quem na organização tem a visão necessária ?

Existe um ponto de partida ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Uma direção a partir de premissas existentes:

A organização possui um conjunto de processos
operacionais necessários, indispensáveis e que
são a própria razão de ser da Empresa. Esses
processos se utilizam e geram DADOS.

Os sistemas que atendem a linha operacional
possuem completeza e satisfazem.

Como transformar esses resultados
operacionais em INFORMAÇÕES ?
suficiente ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Isso é
Business Intelligence / Data Warehouse
• O Ambiente da Decisão - EXTERNO
VARIÁVEIS
SOCIAIS
COMPETIDORES
INST.
FIN.
VARIÁVEIS
TECNOLÓGICAS
CLIENTES
EMPREGADOS
FORN
ORGANIZAÇÃO
SIND
GOV
MÍDIA
VARIÁVEIS
ECONÔMICAS
ACIONISTAS
Grupos de
INTERESSE
PARCERIAS
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
VARIÁVEIS
POLÍTICAS
Business Intelligence / Data Warehouse
• O Ambiente da Decisão - INTERNO
NIVEL
ESTRATÉGICO
NIVEL
TÁTICO
NIVEL
OPERACIONAL
Sistemas de
Informações
Executivas
Sistemas de apoio
à decisão
Sistemas
Transacionais
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Objetivo do Data Warehouse
“ Não basta ter dados. É preciso
interpretá-los e com isso aprender mais
sobre os clientes, a própria empresa e o
mercado. Ou seja, promover o encontro
entre a tecnologia e os negócios”.
[Carvalho 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Conhecer mais a organização para ....
“ A visão de futuro é um ingrediente fundamental na
modelagem estratégica. [...] É a eterna busca por
tudo aquilo que ainda não existe, mas que
certamente existirá; do que ainda não é
necessário, mas será. É um misto de filosofia e
receio do desconhecido, um recheio de ameaças e
oportunidades que nos lança à busca de
antecipações dos próximos movimentos da
história.”
[Furlan 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
e-Commerce + CRM + ERP + BI
Loja Virtual
Call Center
Loja Real
Vendedores
CRM:
integ+dbm+wf
Cliente
F
i
n
a
C n
B a c
a r e
n t i
c õ r
o e a
s s s
BI:
dw,eis
ERP:
ve,co, fi,lo,co, ...
Operador
Datawarehouse e Business Intelligence Indústrias
Logístico
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Como iniciar a construção
“ Não é preciso começar grande e com
investimentos de milhões de dólares.
O importante é simplesmente começar.
A própria mudança de comportamento
provocada pelo primeiro passo irá
influenciar os restantes”.
[Computerworld Julho/1996]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Uma direção a partir de premissas
existentes:

Estamos falando de INFORMAÇÕES para
atender os níveis TÁTICO e ESTRATÉGICO.

Portanto, os sistemas que atendem a linha
operacional estão atendidos.

Como transformar esses resultados
operacionais em INFORMAÇÕES ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Como Iniciar a Construcão ?

Opinião da Consultoria

Opinião de Fornecedores

O que a experiência mostra

Temos o que a organização espera como resultado ?

Existe comprometimento de toda a estrutura da
empresa ?

Sabemos como acompanhar o ambiente externo

Sabemos como acompanhar o ambiente interno

Definir foco

Patrocinador forte e influente

Equipe de desenvolvimento multi-disciplinar
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Como Iniciar a Construção ?

O Planejamento Estratégico da Informação é uma
alternativa da Engenharia da Informação

Existem outras alternativas, sugeridas por
fornecedores e consultores

Um bom Plano de Trabalho é o primeiro passo.

Sua empresa vai necessitar de consultoria ?

Vai adquirir equipamentos de que porte ?

Já dimensionou a aplicação ?

Vai adquirir gerenciador de BDR ?

Vai adquirir Software para manuseio do DW ?
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Como Iniciar a Construcão ?
“[Na modelagem estratégica] Inicialmente, estabelecemos a
missão da organização e em seguida relacionamos os
respectivos objetivos executivos, estratégicos e táticos de
sustentação. Posteriormente, determinamos os fatores
chaves de sucesso que estarão impactando de forma
decisiva os objetivos declarados, bem como as
estratégias para a concretização daqueles fatores chaves
de sucesso. Por fim, traçamos os planos de ação para
levar a termo a implementação das estratégias
estabelecidas.”
[Furlan 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Como Iniciar a Construcão ?
“No modelo funcional não há pessoas, mas recursos;
não há hierarquia, mas decomposição funcional.
Na verdade, o modelo funcional existe antes das pessoas quando a empresa é estabelecida, agregamos recursos
para que seja possível concretizar sua missão. Os
recursos, por sua vez são gerenciados pelas funções de
negócio.”
[Furlan 1997]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Sugestões

“identificar as necessidades dos usuários e o modelo de
dados que o data warehouse deverá conter;

identificar as fontes de dados, em meio aos vários
repositórios disponíveis no ambiente;

definir que tipo de transformação o dado deverá sofrer
para poder se integrar ao data warehouse;

criação do metadado, que identifica a fonte do dado, a
transformação pela qual o dado irá passar, e que define o
modelo de dado para o data warehouse;

criação e “popularização” do data warehouse, mediante
acesso aos dados das várias fontes de informação.”
[Marcelo Merchan - Computerworld]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Mais sugestões
“Povoar um data warehouse envolve processos como:

a extração de dados do sistema fonte;

o transporte dos dados para o sistema destino;

a transformação dos dados para melhor qualidade e leitura;

a integração de informação de diferentes fontes;

a carga da base de dados.
Mesmo no caso de DWs pequenos, é uma tarefa complexa.
As ferramentas que ajudam na integração e automatização
desses processos são, por isto, cada vez mais
importantes, podendo reduzir os custos e facilitar a
gerência do projeto.”
[Alda Campos - Computerworld]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
 Mais sugestões

“estabeleça suas metas corporativas; estabeleça sua visão
corporativa;

relacione as áreas de negócio, processos e unidades em sua
organização.

destaque aqueles que estiverem MAIS sujeitos à criatividade e
individualidade e MENOS passíveis de automatização;

priorize estas áreas de negócio em termos de impacto positivo
desejado e contribuição para metas e visões corporativas;

estabeleça a sua principal área de negócio em prioridade;

liste os tópicos e assuntos-chave que melhor representem estas
áreas de negócio (produto, cliente, qualidade, vendas, mercado,
recursos humanos, etc.)
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse
“O data warehouse é indispensável para o gerenciamento dos
negócios, visto que esta estratégia dá suporte à criatividade
e individualidade dos tomadores de decisão em toda a
empresa.
[ ... ]
Percorrendo estas etapas você selecionou as áreas de
negócio, tópicos e os critérios de comparação para seu
projeto inicial de data warehouse. Estas informações
também serão de utilidade para obter compromisso interno
em sua organização para o projeto de data warehouse.”
[SAS Institute Inc]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse - Estrutura
•A Reta Inclinada
DATA
MINING
DATA
MINING
TÁTICO
ESTRATÉGICO
EIS
DATA
DESTILLERS
DATA
DESTILLERS
APLICAÇÕES
OPERACIONAL
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
DATA MART
Data Warehouse

Alguns conceitos

Data Mart: obedece aos mesmos conceitos do data
warehouse, mas tem um conteúdo direcionado para
um determinado objetivo que pode ser por assunto
ou departamental. Se utiliza das mesmas
ferramentas e manipula bancos de dados menores.
Exemplo:

Vendas de um produto em uma região

Os 500 maiores Clientes da empresa

Informações contábeis
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Alguns conceitos

Data Mining: técnicas que buscam dar significado
aos dados do DW e Data Mart. Mineração através de
pesquisas pré-definidas, elaboradas sob medida às
necessidades conhecidas. A Mineração ad-hoc para
consultas não definidas e não conhecidas
previamente, usada para análises e simulações.
Exemplo:

Análise do perfil do consumidor e cliente

Avaliação de ações de concorrentes

Análise das vendas por região, local, produto, vendedor

Desempenho equipes de venda - sazonalidade
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Alguns conceitos

Data Destillers: características similares ao data
mining mas no sentido inverso, utiliza-se de
extrações resumidas e consolidadas de dados do
negócio para subsidiar de forma sucinta eficaz a
tomada de decisões.
Exemplo:

Que indicador será afetado por uma ação
operacional

Quais resultados serão modificados por uma
mudança em ambiente operacional
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Alguns conceitos

Data Bridge: estrutura para através de programas
realizar filtragens para transformar dados do
ambiente operacional para o ambiente DW/BI.
Exemplo:

Alguns dados operacionais podem nunca sair do
ambiente operacional, chegando ao ambiente DW/BI
através de cálculos, combinações e deduções.
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Alguns conceitos

Operational Data Storage: Base de dados
transacional que suporta pesquisas para BI.
Possibilita a sumarização imediata a partir da
ocorrência operacional do processo gerador. Permite
a atualidade dos dados e seu uso imediato no
ambiente de decisões em função da sumarização
dinâmica e sua destilação imediata por assunto.
Exemplo:

Venda de um produto reflete na venda diária e
mensal imediatamente.
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Alguns conceitos

Aplicação: onde está desenvolvido o conjunto de
pesquisas ao data warehouse - linguagem amigável

Engine: software principal, onde é realizado todo o
processo de coordenação das pesquisas e
montagem dos algoritmos em tempo de execução.

Metadados: armazenamento do dicionário de dados
que associa o data warehouse físico com as visões
dos aplicativos e que são manipulados pelo Engine
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Ferramentas para manuseio do DW

Vários Fornecedores

Vários Tipos de Soluções para Manuseio do DW

Soluções que possibilitam navegação na estrutura
de dados

Soluções para manuseio local ou remota

Soluções integradas ao Office

Soluções na WEB - camadas da arquitetura
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas - Ferramentas para carga do DW
Carga Tradicional – programas desenvolvidos
Modelagem
da Base de Dados DW
Definição e Construção dos Programas de Carga
Rotina operacional para Carga
 Dificuldades: tempo, know-how, qualidade dos dados.

Ferramenta ETL (Extraction-Transformation-Loading)
– Parte
dos arquivos do legado e associa ao modelo DW
– Constrói a carga
– Constrói a transformação dos dados
– Constrói a rotina para carga e eschedulagem
– Dificuldades: reduzidas drásticamente
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Camadas

Solução com UMA CAMADA - Cliente Gordo
Na estação CLIENTE está o data warehouse, os
Metadados, o Engine, cubos e a aplicação.

Vantagens:


Simplicidade na arquitetura
Desvantagens:

Performance extremamente prejudicada

Somente para volume de dados muito reduzido
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Camadas

Solução com DUAS CAMADAS

Estação Cliente:


Servidor Remoto:


Aplicativo + Metadados Aplicação + Cubos
Data Warehouse + Engine + Metadados
Relacional + Gerenciador Banco de Dados
Melhora um pouco a performance em relação a
uma camada.
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Camadas

Solução com TRÊS CAMADAS

Estação Cliente:


Servidor Remoto Motor:


Somente Aplicação
Engine + Metadados Aplicação + Cubos
Servidor Remoto Armazenamento:

Data Warehouse + Metadados Relacional +
Gerenciador Banco de Dados Relacional
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Camadas

Solução com QUATRO CAMADAS - Cliente Magro

Estação Cliente:


Servidor Remoto WEB


Servidor WEB + Interface WEB da Ferramenta
Servidor Remoto Motor:


Somente Browser
Engine + Metadados Aplicação + Cubos
Servidor Remoto Armazenamento:

Data Warehouse + Metadados Relacional +
Gerenciador Banco de Dados Relacional
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Camadas

Solução com QUATRO CAMADAS - Cliente Magro


Vantagens:

Instalação no Cliente: Somente o Browser

Simplificação no suporte - maior performance

Estação Cliente não precisa ser muito robusta
Desvantagens:

Investimento maior em servidores

Necessita boa administração dos recursos
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Arquiteturas

Outra visão de camadas:

Camada Externa de Banco de Dados - BD Operacional

Camada de Acesso a Informação - Ferramenta

Camada de Acesso aos Dados - SQL

Camada do Diretório de Dados - Metadados

Camada do Gerenciamento do Processo

Camada de Mensagens da Aplicação - Comunicação

Camada Física do Data Warehouse - BDR

Camada de Replicação de Dados - Cubos / Agregações
[Adelize Generini de Oliveira]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Ferramentas de Manuseio- Fornecedor / Produto

Business Object / Business Object

Brio Technology / Brio Query

Choice / O3

Cognos / Impromptu, Power Play e Scenario

DSS MicroStrategy / MicroStrategy

IQ Software / IQ

Execplan / FastBI
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Ferramentas de Manuseio- Fornecedor / Produto

Extent Pilot / Pilot

Hyperion / Essbase, Pillar, Enterprise

IBM / Intelligent Miner, DB.2 OLAP Server

IBM / DataJoiner, DataPropagator, ITI

IBM / DataRefresh, VisualWarehouse

Informix / InfoMover, Advanced Decision
Support, Extended Parallel Option
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Ferramentas de Manuseio- Fornecedor / Produto
 Microsoft / SQL Server 2000

NCR / Teradata, Teracube, CMS

Oracle / ExpressServer, 11i

Platinum / DecisonBase, InfoBeacon, Forest
and Tree, Perspectivo for Marketing Analysing

Prism Solution - DB-Open / Prism
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Ferramentas de Manuseio - Fornecedor / Produto

SAS Institute / MDDB Server, SAS EIS e AF,
Insight, Enterprise Miner, Enterprise Report

Seagate Software / Seagate Info, Holos, Crystal
Reports, Worksheet

Sybase / Warehouse Studio, PowerDimensions
Fonte:
ComputerWorld
8 de Marco de 1999
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Data Warehouse

Ferramentas de ETL - Fornecedor / Produto/Site

IBM / ETI / www.eti.com

INFORMATICA / PowerCenter / www.informatica.com

ASCENTIAL / DataStage / www.ascentialsoftware.com

CA / Decision Base Transformer / www.ca.com

Sagent / www.sagent.com

Choose / Amadea / www.choose.com.br
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.
Business Intelligence / Data Warehouse
“É indiscutível o benefício decorrente do
conhecimento e uso da informação. No entanto, o
sucesso na implementação do Business
Information Warehouse depende do quanto a
empresa adota estas propostas e as considera
estratégicas para a sobrevivência do seu negócio.”
[ComputerWorld Marco/1999 - Johnson & Johnson]
Datawarehouse e Business Intelligence
Prof. Afranio Lamy Spolador Jr.