Armazéns de Dados Notas sobre Oracle Warehouse Builder Gabriel David [email protected] MEI, ARMD 2003, Gabriel David ‹#› Ferramenta de desenvolvimento Apoiar as diversas fases de desenvolvimento de um armazém de dados Tem repositório próprio • Regista meta-informação sobre os modelos conceptuais • Ajuda a gerar os modelos lógico e físico • Especifica a arquitectura, desde as fontes de dados • Produz informação útil para o motor de BD e outras ferramentas de análise O motor da BD tem suporte para muitas das operações específicas dos AD MEI, ARMD 2003, Gabriel David ‹#› ETL ETL – extraction, transformation and loading • Falta o transporte • Três/quatro aspectos de um processo e não fases distintas O AD tem não só que partilhar dados mas também que integrar modelos desconexos num modelo para a organização ETL • Identificação das fontes • Extracção • Definição das chaves MEI, ARMD 2003, Gabriel David ‹#› Criar um AD Definir um novo projecto (modo Administração) Criar um módulo fonte (source module) para cada fonte de dados • Existe uma ferramenta de ajuda para a importação de definições de dados fonte - BD Ficheiros Oracle Designer Aplicações Criar um módulo de armazém (warehouse module) para o AD alvo (possível reutilizar esquemas já existentes) Mapeamento das fontes • Feito no módulo do armazém, definindo as rotinas de conversão dos dados (mappings) MEI, ARMD 2003, Gabriel David ‹#› Geração Depois da definição do esquema lógico, gera-se o esquema físico • Configuração das definições lógicas (parâmetros de instalação, localização dos scripts, propriedades físicas, etc.) • Validação das definições lógicas (detecção de erros) • Geração de scripts - DDL dos objectos do AD físico - Rotinas PL/SQL e SQL*Loader para o carregamento e refrescamento • Instalação - Imediata ou diferida MEI, ARMD 2003, Gabriel David ‹#› Criação de tabelas Ferramenta de criação de tabelas • Nas dimensões é necessário indicar o nível • São geradas chaves únicas para cada nível, mas só a mais fina se reflecte na DDL • Definição de restrições - Unique: não se podem apagar as das chaves de nível - Check: podem ser adicionadas • Definição de conjuntos de atributos - Conjunto de todos os atributos - Cada restrição produz um novo conjunto - Tipo “ponte” para integrar com outras ferramentas - Definir visibilidade, agregação, posição de display MEI, ARMD 2003, Gabriel David ‹#› Criação de vistas materializadas Ferramenta própria Módulo de armazém Adicionar as colunas e o texto da query Adicionar restrições Existem vistas normais • Visíveis para o utilizador (materializadas são invisíveis) Devem definir-se as sequências utilizadas num mapeamento MEI, ARMD 2003, Gabriel David ‹#› Definição de fontes Na ferramenta para novos módulos • Fontes: Oracle DB, Non-Oracle DB, SAP, ficheiro • Integrador: Integrator for Oracle DB & Apps 3.0, OWB Integrator for SAP Applications 3.0, OWB Integrator for Flat Files Informação de ligação (dblink) Ficheiro externo • Directórios partilhados (NFS) MEI, ARMD 2003, Gabriel David ‹#› Mapeamentos Extract Operators (source): Mapping Table, Mapping View, Mapping Materialized View, Mapping Sequence, Mapping Fact, Mapping Dimension, and Mapping Flat File. Load Operators (target): Mapping Table, Mapping Materialized View, Mapping Dimension, and Mapping Fact. Standard Operators: Aggregator, Pre- and Post-Mapping Processes, Filter, Joiner, Splitter, Sorter, Deduplicator, Set Operation. Transformations: Mapping Transformation, Expressions, Constants. External Process: Pure*Integrate, Pure*Extract, custom processes. MEI, ARMD 2003, Gabriel David ‹#›