OLAP – Motivação e conceitos Aroldo Pereira Vieira PUC-PR / 2001 Desafio do Negócio Valor Tomadores de Decisão de Negócios • Informação certa • Formato certo • Na hora certa Gerentes de Informática • Integração • Escalabilidade & Performance • Flexibilidade Business Inteligence permite atingir os objetivos acima O que é Business Intelligence? Conjunto de tecnologias que permitem o cruzamento de informações e suportam a análise dos indicadores de performance de um negócio Principal ferramenta de suporte a tomada de decisão Crucial para o bom gerenciamento de uma empresa na Era Digital Por que investir em BI? Fidelização do Cliente Otimização de alocação de recursos Aumentar vendas diretas ao consumidor Melhorar produtos e serviços Outros motivos Planejar orçamento Análise e modelagem financeira Análise de mercado Análise de defeitos Planejamento de capacidade ... Motivação “Nós temos montanhas de dados nesta empresa mas não temos acesso aos mesmos” “Nós queremos cruzar informações de todas as maneiras possíveis” “Apenas me mostre o que é importante” “The Data Warehouse Toolkit” - Ralph Kimball Motivação “Um processo de transformação de dados em informações e tornando-as disponíveis aos usuários em tempo hábil de forma que possam fazer diferença.” Forrester Quais as ferramentas? Data Warehousing Ferramentas OLAP Data Mining Cria-se Base de acesso ao resultado do negócio Ambientes de Informações Conceitos Ambiente OLTP: operacional leitura/escrita acesso atômico escopo específico da aplicação dados normalizados detalhe dos dados - transação Conceitos Ambiente DATAWAREHOUSE histórico leitura consultas (listas) escopo vários assuntos normalizados/desnormalizados detalhe dos dados - limpos Conceitos Ambiente OLAP analítica leitura/escrita iterativo/investigação analítica muitos cubos (um cubo/assunto) multidimensional detalhe dos dados - agregados OLAP Conceitos “OLAP permite a analistas, gerentes e executivos sintetizar informações sobre a empresa através de comparações, visões personalizadas, análise histórica e projeção dos dados em vários cenários.” Conceitos “Um servidor OLAP é um mecanismo de manipulação de dados de alta capacidade, multi-usuário, destinado a suportar e operar sobre estruturas de dados multidimensionais.” Características OLAP Tecnologia voltada para consultas Dados não sofrem alterações Dados e consultas são gerenciais Visão multidimensional dos dados Cálculos complexos Séries de tempo Estrutura Multidimensional Dimensões PRODUTO UNIDADE NEGÓCIO ECC DEP.A VISTA POUPANÇA DEODORO 5782,00 6739,00 4434,00 MURICY 6365,00 6744,00 3400,00 Medidas Visão Multidimensional Gerente de Produto UNID. NEG. Gerente Regional UNID. NEGÓCIO Gerente Financeiro Variáveis PRODUTO PRODUTO Visão Ad hoc OLAP é Multidimensional “Captamos R$100.000,00. Isso é bom?” Produto Unid Neg Tempo Carteira Banco Ano Produto Modalidade Agência Produto Gerência Mês Dia 1 2 34 5 6 7 Tempo Quadr. 3 X 3 X 4 = 36 Conceitos Básicos Hierarquias Fatos Dimensões Medidas Drill down Drill up Slice and dice Hierarquias ANO ANO MES DIA JULHO JANEIRO PERÍODO 01 MANHA 02 TARDE 15 25 Fatos Venda do produto X por R$50,00 em 20-mai-98 na loja A, com custo de R$35,00 Venda do produto Y por R$60,00 em 21-mai-98 na loja B, com custo de R$40,00 Venda do produto X por R$50,00 em 21-mai-98 na loja A, com custo de R$35,00 etc. Dimensões Venda do produto X por R$50,00 em 20-mai-98 na loja A, com custo de R$35,00 Dimensões: – – – Produto Data Loja Medidas Venda do produto X por R$50,00 em 20-mai-98 na loja A, com custo de R$35,00 Medidas: – – Preço de venda Custo de aquisição da mercadoria Drill down Mergulhos ou detalhamentos das informações Drill up Elevar o nível do detalhamento Sumariar por alguma(s) dimensão Slice and dice Particionar uma visão multidimensional Efetua filtragem dos dados, para especializar as consultas MOLAP x ROLAP x HOLAP Arquitetura MOLAP x ROLAP x HOLAP MOLAP - Multi-Dimensional OLAP ROLAP - Relational OLAP HOLAP - Hybrid OLAP MOLAP x ROLAP x HOLAP Arquitetura MOLAP DATABASE SERVER LOAD MOLAP SERVER INFO REQUEST : SQL RDBMS RESULT SET FRONT-END TOOL Metadata Request Processing RESULT SET 100 80 60 Leste 40 Oeste 20 Norte 0 1° Trim. 2° Trim. 3° Trim. 4° Trim. MOLAP x ROLAP x HOLAP Arquitetura ROLAP DATABASE SERVER SQL ROLAP SERVER INFO REQUEST FRONT-END TOOL : RESULT SET RDBMS Metadata Request Processing RESULT SET 100 80 60 Leste 40 Oeste 20 Norte 0 1° Trim. 2° Trim. 3° Trim. 4° Trim. MOLAP x ROLAP x HOLAP Arquitetura HOLAP SQL QUERY DATABASE SERVER FRONT-END TOOL RESULT SET OR LOAD MOLAP SERVER INFO REQUEST : SQL 100 RDBMS 80 RESULT SET RESULT SET 60 Leste 40 Oeste 20 Norte 0 1° Trim. 2° Trim. 3° Trim. 4° Trim. Processo de carga DW / OLAP O processo de Carga do Data Warehouse Características dos Dados Máx. detalhe Pouco/ nenhum histórico Integrado Selecionado Histórico Sumários Focado Especializado Histórico Sumários Data marts OLTP STAR + AGR ODS Data warehouse MDDB Sistemas OLTP Projeto Mapear Extrair Limpar Transf. Carga Indexar Agregar Replicar Distribuição dos Dados Acesso e análise Utilização estratégica das Informações Meta data Administração e monitorção do Sistema Área intermediária (sim ou não?) RH Fat x Func Faturamento Prod x Fat Produção Visão Global Área intermediária (sim ou não?) Fat x Func RH Faturamento Produção ODS Prod x Fat Visão Global Modelagem de dados Modelagem de dados Modelos relacionais normalizados – Modelos Snow Flakes – Visões ajustadas para o enfoque desejado Modelos Star Schema – (OLTP e ODS ) (Desnormalizado) Modelos Multidimensionais – Cubos – Visa performance Modelo Snow Flake Modelo Star Schema Para refletir . . . Qual banco de dados deve ser utilizado? É possível ter um DW de pequeno porte? Qual ferramenta OLAP deve ser utilizada? Por que normalmente o DW é isolado do servidor de OLTP?