extrair informação
Propaganda
Oracle Warehouse Builder 11g Release 1 Visão geral Março de 2007 OBSERVAÇÃO: Este documento tem finalidade meramente informativa. Não é um compromisso de entrega de qualquer material, código ou funcionalidade e não deve ser usado na tomada de decisões de compra. O desenvolvimento, lançamento e tempo de qualquer recurso ou funcionalidade descrito neste documento permanecem a critério da Oracle.” Este documento em qualquer forma, seja software ou material impresso, contém informações de propriedade exclusiva da Oracle. Este documento e as informações contidas nele não podem ser divulgados, copiados, reproduzidos ou distribuídos a ninguém de fora da Oracle sem o prévio consentimento por escrito desta. Este documento não faz parte do acordo de licença, nem pode ser incorporado a nenhum acordo contratual com a Oracle ou suas subsidiárias ou afiliadas. Oracle Warehouse Builder 11g Release 1 Visão geral INTRODUÇÃO: À medida que aumentam as demandas e exigências por mais conhecimento em sua organização, é importante entender o rumo das ferramentas que ajudam a gerar esse conhecimento. Entendendo os recursos mais recentes, é possível proporcionar um conhecimento de qualidade para sua organização. A atual arquitetura das informações é muito mais dinâmica do que era há apenas alguns anos. Os executivos agora demandam mais informações, querem cada vez mais recursos de análise e querem prever o comportamento dos negócios. Eles querem tudo isso de toda a organização para oferecer um diferencial competitivo. O Oracle Warehouse Builder 11g Release 1 permite atender às necessidades de informações em sua organização. Neste white paper, mostraremos os novos recursos da ferramenta para criar sua infra-estrutura de disponibilização de conhecimento. Depois de ler este artigo, você entenderá como essa nova versão do Warehouse Builder melhorará drasticamente a capacidade de agir de sua organização. Oracle Warehouse Builder 11g Release 1 - Visão geral página 2 RESUMO E CONCLUSÃO Se você analisar as tendências na integração das informações, precisará entender e enfrentar estas necessidades: • Disponibilização de informações de melhor qualidade • Mais conhecimento obtido com as informações existentes • Redução dos intervalos e maior rapidez no lançamento de produtos no mercado IDENTIFICANDO AS PRINCIPAIS TENDÊNCIAS NA INTEGRAÇÃO DAS INFORMAÇÕES Muitas tendências são identificadas todos os dias. Entretanto, é preciso ter cuidado ao seguir ou implementar essas tendências “modernas e maravilhosas”. É preciso também fornecer informações no formato e no local em que o consumidor as quer. Essa é a área na qual precisamos avaliar as tendências. Com esse pré-requisito em mente, podemos identificar as três tendências a seguir: • Maior demanda por qualidade das informações • A exigência de extrair mais conhecimento das informações existentes • Mais agilidade no lançamento de suas soluções de informações Para poder fazer tudo isso com orçamentos apertados, é necessário ter prudência com os gastos. O Warehouse Builder 10 Release 2 permite cumprir esses requisitos imediatamente por um baixo custo. Essas tendências são importantes para os consumidores das informações e também para quem desenvolve a infra-estrutura para lidar com elas. Por isso, vamos analisar mais atentamente o que elas significam para uma organização. Assim, podemos dizer que o Warehouse Builder possibilita à sua organização transformar seus dados em resultados tangíveis com maior velocidade e melhor qualidade. Há muito tempo se fala nisso, mas finalmente está chegando o dia em que os ativos de informação serão gerenciados adequadamente. O grande impacto na gestão de ativos de informação estará nos problemas e nas avaliações da qualidade. Esses dois fatores identificarão a necessidade de providências na área da qualidade das informações. Maior qualidade das informações Um ponto crucial que deve ser entendido é que não se trata da qualidade dos dados brutos, mas sim da qualidade das informações. Como as informações consistem em dados brutos e metadados (ou de definições de negócios), o alargamento do horizonte levará a requisitos mais exigentes na qualidade dos dados e também dos metadados. Essa mudança gera impactos não só na arquitetura, mas também nos processos e designs de sistema. Extraia mais conhecimento das informações existentes À medida que as informações se tornam verdadeiros ativos da empresa, seus consumidores querem obter cada vez mais resultados com eles. Esses resultados são o conhecimento. Para extrair mais conhecimento dos ativos de informação existentes, as pessoas desbravam caminhos para descobrir novas informações ou usar as existentes de maneira inédita. À medida que a tecnologia para detalhar, pivotar, girar e explorar vaise tornando mais acessível, os usuários passam a querer mais desses recursos em suas informações. Em resumo, é preciso estar preparado para fornecer cada vez mais recursos de análise sofisticados a um número maior de pessoas para produzir conhecimento para sua organização trabalhar. Disponibilização proveniente de mais sistemas O requisito de disponibilizar informações na hora certa é ainda mais complicado pela demanda de ter dados cada vez mais consolidados no momento certo. À medida que crescem as necessidades das informações, o mesmo acontece com a quantidade e os tipos de fontes utilizados para disponibilizar as informações. Oracle Warehouse Builder 11g Release 1 - Visão geral página 3 A combinação de mais sistemas para consolidar e os requisitos de disponibilização de informações no momento certo têm desdobramentos significativos na construção de uma infra-estrutura de informações. Mais rapidez no lançamento de produtos no mercado Com os negócios acelerando e os requisitos de informações em franca expansão, é necessário encontrar uma maneira de acompanhar os ciclos de disponibilização cada vez mais curtos. Assim, torna-se imprescindível um conjunto de ferramentas que permita automatizar as tarefas repetitivas, incorporar o conhecimento dos negócios nas tarefas e disponibilizar soluções com mais rapidez. O Warehouse Builder incorpora a extensibilidade, a automação de tarefas e a captura de informações especializadas em seus recursos, permitindo disponibilizar sistemas complexos com velocidade ainda maior. Oracle Warehouse Builder 11g Release 1 - Visão geral página 4 VERSÕES O Oracle Warehouse Builder é parte integrante do Banco de Dados Oracle 11g. O produto é executado em todas as versões (Standard Edition, Standard Edition One, Enterprise Edition) e em quase todas as plataformas nas quais o Banco de Dados Oracle 11g é certificado e para as quais é portado. Os recursos centrais do produto são representados como opcional gratuito da licença de banco de dados. Os opcionais têm preços separados e estão disponíveis somente na versão Enterprise Edition do banco de dados. Opcional Data Quality Opcional Enterprise ETL Conectores de ERP/CRM - Performance - Geração de perfis de dados - Oracle EBS - Produtividade - Detecção de anomalias - PeopleSoft - Capacidade de reutilização - Regras de negócios - Siebel - Gerenciamento de metadados - Auditoria - SAP Principais recursos (Sem custo extra com Banco de Dados SE/SE1/EE) Figura 1 – Versões e opcionais Para obter informações mais detalhadas, visite a descrição dos Opcionais do Banco de Dados Oracle na documentação ou na Internet. As seções a seguir mostram um resumo dos opcionais. Principais recursos Os principais recursos do produto permitem a integração de dados e a modelagem para a maioria dos ambientes. São a entrada no mundo do Warehouse Builder porque permitem começar a usá-lo sem custo adicional. Não foram feitos apenas para satisfazer implementações pequenas. Opcional Enterprise ETL Este opcional é voltado especificamente para aumentar a performance (permitindo extrações de alta performance) e produtividade, com grande capacidade de reutilização. Alguns recursos avançados de gerenciamento de metadados também são incorporados a esse opcional. Opcional Data Quality Sendo parte integrante do produto e oferecendo um grande diferencial em comparação com as ferramentas da concorrência, o opcional Data Quality oferece suporte a geração de perfis de dados, regras de dados (basicamente, regras de negócios) e recursos de compliance das informações. Oracle Warehouse Builder 11g Release 1 - Visão geral página 5 Devido à integração, as informações coletadas durante a geração de perfis de dados podem ser usadas para gerar automaticamente as correções de dados. Conectores Os conectores permitem melhor acesso e maior integração com os pacotes de aplicativos de ERP e CRM. Para o Warehouse Builder 11g, o Siebel Connector é uma nova adição à família de conectores do Warehouse Builder. A integração é crucial Para obter o máximo de benefícios com a ferramenta, verifique se o componente de ETL está integrado aos outros pilares do gerenciamento de informações. Única interface do usuário Modelagem de dados Compliance dos dados Integração de dados Qualidade dos dados - Modelagem relacional - Modelagem - Geração de perfis de dados - ETL em massa - Orientada a eventos - Padronização - Correspondência/ dimensional - Modelagem analítica - Detecção de anomalias - Orientada a mensagens Combinação - Eliminação de - Gerenciamento do ciclo de vida/alterações - Imposição de regras de negócios - Consulta distribuída do banco de dados duplicidades - Enriquecimento - Auditoria - Análise de impacto e - Replicação linhagem Gerenciamento unificado de metadados Figura 2 – Um produto integrado Modelagem de dados, compliance e qualidade dos dados são os recursos centrais imprescindíveis em uma ferramenta de gerenciamento de informações. Além das orientações dos fornecedores, tente entender desde o primeiro dia como as ferramentas interagem, como são integradas, se são vendidas como um conjunto ou se são desenvolvidas como um único produto. Essas dúvidas mostrarão como o produto é integrado. Agora, por que a integração é crucial? Durante anos, tratamos (e alguns fornecedores ainda o fazem) os tópicos da Figura 2 como ferramentas individuais. Então, como cliente você tenta imaginar como incorporar o modelo de dados à ferramenta de ETL e talvez acabe comprando algum software de integração de terceiros para isso. Atualmente, essa é a mais comum das situações. Ao analisar o futuro no curto prazo, os resultados das ferramentas de geração de perfis de dados precisam ser comunicados aos desenvolvedores de ETL. Como isso vai funcionar? Como essas informações de geração de perfis de dados fluirão para as transformações diretas de qualidade necessárias para lidar com dados inválidos? Todas essas dúvidas devem ter uma única resposta: a integração. Oracle Warehouse Builder 11g Release 1 - Visão geral página 6 Assim, para realmente obter os benefícios das ferramentas e técnicas existentes, você precisa encontrar uma ferramenta integrada que permita executar as tarefas necessárias de maneira mais rápida e melhor. Oracle Warehouse Builder 11g Release 1 - Visão geral página 7 O WAREHOUSE BUILDER AUMENTA A QUALIDADE DA INFORMAÇÃO Conforme discutimos na primeira tendência, disponibilizar apenas dados não é o bastante no panorama atual e no futuro próximo. Como fornecedor ou integrador de informações, você precisará de um conjunto de ferramentas que o ajude a criar informações de qualidade. O Warehouse Builder representa uma parte crucial desse conjunto de ferramentas. Qualidade dos metadados Você já deve ter ouvido o mantra da qualidade dos dados, e todos nós sabemos que ela é importante. É interessante observar que os metadados parecem nunca ser incluídos em qualquer discussão sobre qualidade, muito menos produtos que ofereçam recursos de qualidade de metadados. O novo Warehouse Builder muda isso drasticamente. Pela primeira vez 1 uma ferramenta auxiliará na resolução efetiva de parte dos problemas criados pelas mudanças em seu ambiente. Os novos serviços Warehouse Builder Dependency Management permitem revelar o efeito dominó das alterações nos metadados em qualquer parte do sistema antes que elas o derrubem. Figura 3 – Propagando as alterações no sistema Pela primeira vez você gerenciará as alterações no sistema de maneira pró-ativa. Como exemplo (veja Figura 3), você pode propagar as alterações pelo sistema no editor de mapeamento. ____________________________ 1 Patente pendente Oracle Warehouse Builder 11g Release 1 - Visão geral página 8 Figura 4 – Impacto da propagação mostrado para o atributo Name Com isso, o Warehouse Builder não só resulta em economia de tempo e esforço, como também melhora a qualidade dos metadados, permitindo criar informações válidas para seus usuários finais. Geração de perfis de dados O outro componente crucial ao tornar as informações valiosas e precisas evidentemente é garantir os níveis de qualidade dos dados. O novo Warehouse Builder aumenta os recursos do já extenso conjunto de qualidade dos dados disponível. O componente lucrativo da qualidade das informações no Warehouse Builder é a capacidade de avaliar a qualidade dos dados no próprio Warehouse Builder, em geral conhecida como geração de perfis de dados. Os resultados gerais da geração de perfis de dados são mostrados na Figura 5. Oracle Warehouse Builder 11g Release 1 - Visão geral página 9 Figura 5 – Resumo geral da geração de perfis de dados Com base nesses resultados, o Warehouse Builder permite extrair regras de limpeza de dados, que podem ser aplicadas para limpar os dados através de rotinas de extração, transformação e carregamento (ETL) chamadas de mapeamentos de correção. Essa integração na criação do processo de ETL é um grande diferencial entre o Warehouse Builder e as soluções de geração de perfis tradicionais. A integração torna a geração de perfis de dados com o Warehouse Builder bem mais eficaz, proporcionando imediatamente melhor qualidade dos dados para os negócios. Para garantir que a qualidade para o público-alvo não fique abaixo dos limites corporativos, é possível adicionar um Data Auditor ao processo que monitora continuamente a qualidade. Se a qualidade ficar abaixo de um limite especificado (que pode ser medido em 6 sigma ou porcentagem de defeitos), os auditores de dados vão avisá-lo e você poderá tomar as devidas providências. Oracle Warehouse Builder 11g Release 1 - Visão geral página 10 Figura 6 – Criando um Data Auditor Qualidade dos dados O atual conjunto de recursos é melhorado utilizando a tecnologia central do banco de dados. Os algoritmos de qualidade de dados agora podem ser executados em pipeline para alcançar uma melhor taxa de transferência. Algoritmos de correspondência e combinação novos e aprimorados garantem a produção de resultados melhores e mais rápidos. Tudo isso é fornecido com o Warehouse Builder e está disponível nos componentes centrais de ETL. Além disso, melhorias não relacionadas a software foram feitas liberando as interfaces de programação de aplicativos (APIs) do Warehouse Builder para fornecedores especializados em qualidade de dados, permitindo que você trabalhe com seu fornecedor preferido. Oracle Warehouse Builder 11g Release 1 - Visão geral página 11 Figura 7 – Limpeza de nomes e endereços Essa funcionalidade foi lançada na versão 9.2 do produto, mas o novo Warehouse Builder promete ainda mais parceiros de qualidade de dados (veja a OTN), tornando a limpeza de dados econômica e fácil. Oracle Warehouse Builder 11g Release 1 - Visão geral página 12 O WAREHOUSE BUILDER AUMENTA O VALOR DA INFORMAÇÃO A segunda tendência consiste em garantir a análise avançada de mais dados em um local centralizado. Com todas as fontes que o Warehouse Builder pode atingir e os recursos avançados de qualidade de dados, agora você pode fornecer mais informações aos usuários finais. Entretanto, os usuários finais agora querem análise sofisticada e simples de usar para fazer análise hipotética, fazer data mining em busca de padrões previamente ocultos e aplicar esse conhecimento aos problemas de negócios. O novo Warehouse Builder permitirá que parte da tecnologia mais eficaz satisfaça a esse requisito de análise sofisticado. Design de destino OLAP direto, cálculos avançados (compartilhamento, classificação e série de tempo) e ETL em um banco de dados OLAP Oracle são os principais novos componentes nos recursos do Warehouse Builder. Além do OLAP, o Warehouse Builder possibilita o uso de alguns recursos mais avançados que acompanham a plataforma Oracle, como Oracle Spatial e Oracle Data Mining. Essas tecnologias permitem responder perguntas como onde ganhar dinheiro e por que os clientes nos trocariam pela concorrência. Em outras palavras, mostre as informações com base no local e pesquise mais a fundo as informações para realmente entender por que as coisas acontecem ou podem acontecer. Análise de impacto e linhagem de dados Figura 8 –Habilitando a plataforma Oracle para análise avançada Quando você estiver utilizando a plataforma Oracle, os produtos de business intelligence da Oracle permitirão usar mapas, medidores e outras técnicas de visualização. Funcionalidade de ETL tradicional A primeira etapa de tudo ainda é a tradicional tecnologia de ETL. Vamos dar uma olhada nos novos recursos do ETL nesta nova versão do Warehouse Builder. O novo editor de mapeamento é um acréscimo importante ao Warehouse Builder (Figura 9). Oracle Warehouse Builder 11g Release 1 - Visão geral página 13 Figura 9 – O editor de mapeamento no Warehouse Builder Adicionando inúmeros recursos à interface do usuário, o novo Warehouse Builder proporciona uma experiência do usuário muito melhor na criação de grandes mapeamentos, aumentando sua produtividade e reduzindo a quantidade de erros cometidos. Além de ajudar com melhorias visuais e de produtividade, vários novos componentes são adicionados para permitir a criação mais rápida dos processos de ETL. Você poderá criar componentes de mapeamento reutilizáveis a partir de um mapeamento existente. Recursos de ETL avançados como carregamento de dimensões alteradas lentamente ou carregamento de dados em um banco de dados de processamento analítico online (OLAP) requerem apenas alguns cliques. Em resumo, o novo Warehouse Builder oferecerá ainda mais funcionalidades de ETL para agilizar sua disponibilização de informações, com maior qualidade. Habilitando mais fontes de dados À medida que as organizações implementam cada vez mais aplicativos padrão, a conectividade com esses pacotes de aplicativos se torna mais importante. A nova versão do Warehouse Builder acrescenta funcionalidade para lidar com essa situação aprimorando o SAP Connector já presente e adicionando vários conectores de pacotes de aplicativos ao produto. Capturando alterações O segredo para disponibilizar informações na hora certa é poder capturar as informações relevantes na fonte e propagá-las para o destino para disponibilização. Com o novo Warehouse Builder, você pode utilizar o Oracle Change Data Capture (CDC) usando as técnicas de banco de dados mais recentes. Oracle Warehouse Builder 11g Release 1 - Visão geral página 14 Através das soluções de parceiros 2, o Warehouse Builder permite integrar dados de mainframe, incluindo aproveitamento de aplicativos do CDC desses parceiros. Integração ao E-Business Suite Como parte da iniciativa para habilitar cada vez mais pacotes de aplicativos, o Oracle E-Business Suite é evidentemente a primeira solução adicional que vem à cabeça. Com a nova versão do Warehouse Builder, essa integração (sem considerar a integração do Oracle com o Embedded Data Warehouse) foi acrescentada. Figura 10 – E-Business Suite Connector O Warehouse Builder agora entende totalmente os metadados do E-Business Suite e torna a extração deles bem mais simples e mais eficiente. Outro recurso poderoso no EBS Connector é a integração perfeita com o Concurrent Manager na suíte de produtos EBS. Essa funcionalidade permite a forte integração dos processos do Warehouse Builder na estrutura genérica de gerenciamento de trabalhos e programação do EBS. Integração com PeopleSoft Além da integração com o E-Business Suite, os pacotes de aplicativos PeopleSoft agora também são adicionados ao Warehouse Builder como conector padrão. O PeopleSoft Connector permite que o Warehouse Builder entenda nativamente as estruturas de metadados dos aplicativos PeopleSoft. Depois de importar os metadados dos aplicativos PeopleSoft, você pode usar todos os recursos do Warehouse Builder para integrar esses dados no restante do ambiente. ________________________________ 2 Visite a OTN para obter mais informações. http://www.oracle.com/technology/products/warehouse/htdocs/otn_partners.html Oracle Warehouse Builder 11g Release 1 - Visão geral página 15 Integração com Siebel O Siebel Connector é bastante semelhante ao EBS Connector e PeopleSoft Connector. Para o Siebel, o conector entende as estruturas nos metadados Siebel e oferece a visualização de negócios dessas estruturas. Assim como nos conectores tratados anteriormente, o Siebel Connector é baseado em SQL. Integração com SAP O SAP Connector foi melhorado para esta versão. Ao contrário da maioria dos outros recursos de ETL no Warehouse Builder, que usam SQL e PL/SQL, a extração do SAP ocorre usando ABAP, uma linguagem nativa do SAP. Essa diferença garante que os programas de extração sejam executados no servidor SAP em linguagem nativa. A nova versão do Warehouse Builder suporta a implantação e execução diretas de programas SAP no servidor SAP. Enquanto sua equipe SAP continua gerenciando os programas em servidores de produção, essa novidade melhora bastante os esforços de desenvolvimento e teste, simplificando o processo de implantação para extração de SAP. Junto com essa extensão, inúmeras melhorias de performance e produtividade foram feitas no SAP Connector. A combinação de funcionalidade total, código ABAP nativo gerado e faixa de preços torna o SAP Connector um componente valioso na extração de dados do sistema SAP. Habilitando análise avançada O maior benefício de uma solução OLAP é a capacidade de fornecer recursos de cálculo altamente avançados, com surpreendentes tempos de resposta para os usuários finais. Agora que o opcional OLAP Oracle está disponível no banco de dados Oracle, o Warehouse Builder oferece essa tecnologia de maneira fácil de usar. No Warehouse Builder, você cria um design lógico que descreve os cubos OLAP em dimensões, hierarquias, medidas, medidas calculadas e todos os componentes necessários. O Warehouse Builder usa a nova API XML com a opção OLAP para criar o workspace analítico e os metadados necessários nos catálogos de banco de dados. O Warehouse Builder também permite escolher sua implementação. Você quer uma solução puramente OLAP multidimensional (MOLAP) ou uma solução OLAP relacional? É possível decidir ou mudar de idéia facilmente se os testes apontarem para um direcionamento diferente. Após criar o esquema ou workspace analítico, você pode usar os modeladores de ETL do Warehouse Builder para criar os programas de carregamento. O Warehouse Builder é capaz de carregar diretamente quaisquer dados no workspace analítico, permitindo usar pela primeira vez o poder de transformação em cargas de dados OLAP. O carregamento de dados de qualquer fonte diretamente na área de análise sofisticada da opção OLAP massifica essa capacidade, permitindo que muitas pessoas acessem e trabalhem com dados OLAP. Oracle Warehouse Builder 11g Release 1 - Visão geral página 16 Figura 11 – Adicionando conteúdo analítico a um cubo Adicionando uma opção de geração para análise avançada diretamente no editor de cubos OLAP, agora você pode preparar diretamente o cubo para análise. Como essas medidas calculadas agora são armazenadas no banco de dados, em vez de criadas pelos usuários finais, você ganha performance e uniformidade. Extraindo metadados de BI Embora você espere que o Warehouse Builder ofereça uma infra-estrutura robusta, talvez fique surpreso ao ver que a ferramenta oferece uma amostra (modelo) de relatório para você mostrar aos usuários finais. Assim, o Warehouse Builder poupa muito tempo no ciclo de desenvolvimento. À medida que você define o banco de dados (relacional ou OLAP) e carrega dados nele, cria e coleta muitos metadados. Tradicionalmente, você cria um aplicativo sobre esse design de banco de dados, essencialmente duplicando o trabalho de criar metadados e designs tudo novamente. O Warehouse Builder acaba com essa duplicidade de esforços e metadados porque extrai de seu design os metadados do usuário final. Isso não só reduz o trabalho necessário, como também reduz o risco de erros e os esforços para manter os metadados sincronizados, aumentando assim sua qualidade. Outro aspecto crucial para a qualidade dos metadados é que, tendo essas definições em um local, você pode oferecer uma análise completa de impacto. É possível não só determinar com antecedência o impacto das alterações no banco de dados, como também o impacto no ambiente de BI. Oracle Warehouse Builder 11g Release 1 - Visão geral página 17 Assim, no Warehouse Builder é possível selecionar os metadados de cubo e, por exemplo, extrair uma Camada do Usuário Final do Oracle BI Standard Edition (OBI SE) e armazenar essas informações primeiramente no repositório do Warehouse Builder. Você pode então editar os objetos OBI SE no Warehouse Builder. Quando estiver satisfeito, bastará implantá-los no OBI SE. Oracle Warehouse Builder 11g Release 1 - Visão geral página 18 O WAREHOUSE BUILDER AUMENTA A PRODUTIVIDADE Analisamos duas tendências e como o Warehouse Builder pode auxiliá-lo a lidar com a melhora da qualidade e o aumento do conhecimento em sua organização. Mas agora precisamos lidar com ciclos mais reduzidos para oferecer mais vantagens como essas à organização. Será que o Warehouse Builder pode ajudar com isso? Incorporando a funcionalidade avançada Muitas tarefas na integração de dados podem ser incorporadas a atividades padrão. Já discutimos a geração de cálculos analíticos avançados (veja Figura 11). Em vez de fazer com que desenvolvedores ou usuários finais efetuem esses cálculos no processo tedioso de um a um, tornamos possível efetuá-los em uma única etapa. Dimensões alteradas lentamente O mesmo acontece com as dimensões alteradas lentamente. Os conceitos não são muito difíceis de entender – capturar as alterações nas informações cruciais e gerar versões delas nos dados –, mas como cada um os implementa de maneiras ligeiramente diferentes, a integração de dados acaba se tornando um trabalho árduo. No Warehouse Builder, a lógica das dimensões alteradas lentamente é criada nos metadados da dimensão real. A dimensão captura toda a lógica que será aplicada aos dados provenientes da dimensão. Figura 12 – Uma única implementação para dimensões alteradas lentamente Oracle Warehouse Builder 11g Release 1 - Visão geral página 19 Depois que o usuário de negócios decide quais atributos são importantes, o modelador de dados cria a dimensão. Nas etapas de ETL, o desenvolvedor agora vê a dimensão como qualquer outra. Esse desenvolvedor não precisa se preocupar com o modo de lidar com alterações e atualizações, pois o Warehouse Builder automatiza esse processo com base na definição da dimensão. A combinação dessas etapas, o design e a padronização tornam muito mais rápido o processo de lidar eficazmente com as dimensões alteradas lentamente. Entre outros recursos estão o armazenamento inteligente usando particionamento para melhorar os tempos de carregamento e consulta, a definição apropriada de índices de tabelas de fatos para permitir a transformação de consultas em estrela, a capacidade de gerar dimensões de tempo, etc. Esses são apenas dois exemplos de como a funcionalidade avançada pode ser incorporada em construções de design simples. Porém, o próximo elemento de aumento da produtividade torna exemplos como esses um pouco inexpressivos. Correções de dados Imagine que você pode gerar um esquema inteiro com base na aparência de seus dados, fazer com esse esquema e os mapeamentos sejam gerados e corrigir os erros dos dados enquanto estes são transmitidos para o esquema de destino. Parece ficção científica? Agora isso é realidade com os módulos de correção no Warehouse Builder. Em resumo, é assim que a coisa funciona. Com base nos resultados da geração de perfis de dados (seus dados), você pode extrair ou criar regras de dados que descrevem como eles devem ser. Depios, opta por gerar os mapeamentos de correção e um esquema que atuarão como destino para esses mapeamentos de correção. Ao gerar os mapeamentos de correção, é possível escolher métodos de limpeza para garantir que os dados se adaptem às regras enquanto você os transfere para o esquema de destino. Oracle Warehouse Builder 11g Release 1 - Visão geral página 20 Figura 13 – Escolhendo como limpar os dados Orientando você no processo, o Warehouse Builder agiliza o processo de integração dos dados drasticamente. Mas como o processo agora é gerado a partir das regras de dados, a recriação do processo quando as regras mudarem gerará economia de mais tempo ainda. Não há necessidade de redesenvolver. Basta alterar os metadados da regra e gerar novamente o processo e esquema para entrar em produção. Isso não é meramente um ganho de produtividade, mas sim um turbinador da produtividade. Incorporando suas próprias práticas de negócios Apesar de inúmeros recursos do Warehouse Builder oferecerem automação ou incorporação de práticas comuns ou inclusive permitirem gerar rotinas de limpeza de dados, às vezes é necessário encontrar uma maneira de incorporar as próprias regras e práticas de negócios. Mapeamentos conectáveis Ao integrar dados de várias fontes, você quer garantir que determinadas transformações aconteçam de maneira específica, de acordo com as especificações de sua organização. No Oracle, sempre é possível escrever PL/SQL para incorporar essas regras e usar esses programas no Warehouse Builder. Entretanto, mantê-los e alterá-los se torna um pesadelo. Com os mapeamentos conectáveis, agora é possível modelar as transformações ou construções ETL da mesma maneira visual e aberta possível nos mapeamentos normais. Os mapeamentos conectáveis permitem definir uma interface (tanto de entrada quanto de saída) para tornar o componente genérico ao consumo de processos de ETL. Oracle Warehouse Builder 11g Release 1 - Visão geral página 21 Figura 14 – Um mapeamento conectável com assinatura de entrada e saída Como esses agora são componentes com design gráfico, são muito mais fáceis de entender e manter. Mesmo se o desenvolvedor tiver deixado a organização, a interpretação de um fluxo de dados lógico é bem mais fácil do que vasculhar linhas e linhas de código, gerando assim economia de tempo e esforço. Experts Além de reutilizar a lógica de transformação, quem não gostaria de repetir determinadas tarefas mais complexas como é possível, por exemplo, no Microsoft Excel usando suas macros? Agora isso é possível no Warehouse Builder com um recurso chamado Experts. Os Experts permitem programar tarefas nos fluxos usando um editor gráfico e uma linguagem de scripts (TCL com extensões OMB 3 e OMU). Como o Warehouse Builder é uma ferramenta altamente gráfica, os Experts também permitem que você reutilize os componentes da interface do usuário na criação de seus próprios “assistentes”. _________________________ 3 Os comandos do Oracle MetaBase (OMB) e da interface Oracle Metabase User (OMU) são extensões da linguagem TCL padrão Oracle Warehouse Builder 11g Release 1 - Visão geral página 22 Figura 15 – Criando Experts em um editor gráfico Com este recurso, agora você pode alcançar inúmeros objetivos. É possível permitir que um desenvolvedor menos experiente faça trabalhos que foram definidos, através de um Expert, por desenvolvedores mais experientes, tornando ambos mais produtivos. Você também pode incorporar práticas de negócios, desde simples convenções de nomenclatura até a especificação de como determinados objetos devem ser criados. Em vez de documentar orientações, agora você pode incorporá-las ao produto e impô-las. Isso por sua vez reduzirá as caras revisões, auditorias e, o mais importante, o retrabalho e o não-cumprimento das regulamentações. Caso você tenha a necessidade de criar seus próprios componentes de interface do usuário, como simples caixas de diálogo ou outros componentes personalizados, o Warehouse Builder permite criar caixas de diálogo personalizadas no editor de Experts ou usar componentes Java. Em ambos os casos, você pode interagir com os metadados do repositório usando os componentes de linguagem incorporados. Também pode expor os Experts àqueles que não usam o Warehouse Builder, pois é possível executar um Expert sem estar conectado à interface do usuário do Warehouse Builder. Dessa maneira, é possível fazer com que mais usuários de negócios interajam com o repositório. Um exemplo é um usuário que precisa investigar uma anomalia nos dados em uma planilha baseada em OLAP. Oracle Warehouse Builder 11g Release 1 - Visão geral página 23 Figura 16 – Linhagem do Excel até as fontes Integrando a interface do usuário de linhagem em um Expert e expondo isso através de um arquivo em lote no Excel, é possível fazer com que qualquer usuário de negócios entenda a estrutura interna de seus dados. Oracle Warehouse Builder 11g Release 1 - Visão geral página 24 RESUMO E CONCLUSÃO Se você analisar as tendências na integração das informações, precisará entender e enfrentar estas necessidades: • Disponibilização de informações de melhor qualidade • Mais conhecimento obtido com as informações existentes • Redução dos intervalos e maior rapidez no lançamento de produtos no mercado Para poder fazer tudo isso com orçamentos apertados, é necessário ter prudência com os gastos. O Warehouse Builder 10 Release 2 permite cumprir esses requisitos imediatamente por um baixo custo. Assim, podemos dizer que o Warehouse Builder possibilita à sua organização transformar seus dados em resultados tangíveis com maior velocidade e melhor qualidade. Oracle Warehouse Builder 11g Release 1 - Visão geral página 25 Oracle Warehouse Builder 11g R1 – Visão geral Março de 2007 Autor: Jean-Pierre Dijcks Oracle Corporation Filial Brasil Av. Alfredo Egídio de Souza Aranha, 100 – 5º andar Chácara Santo Antônio – São Paulo – SP – 04726-170 Brasil Telefone para contato: 0800-891-4433 Internet: www.oracle.com/br Copyright © 2007, Oracle. Todos os direitos reservados. Este documento é fornecido com propósito meramente informativo, e as informações aqui contidas estão sujeitas a alterações sem prévio aviso. Este documento pode não estar isento de erros, nem está sujeito a nenhuma outra garantia ou condição, seja expressa oralmente ou implícita pela lei, incluindo garantias implícitas e condições de comercialização ou adequação a um propósito específico. A Oracle especificamente se isenta de qualquer responsabilidade com respeito a este documento. Nenhuma obrigação contratual é estabelecida direta ou indiretamente por este documento. Este documento não pode ser reproduzido ou transmitido de forma ou meio algum, seja mecânico ou eletrônico, para nenhuma finalidade, sem autorização prévia expressa por escrito. Oracle é uma marca registrada da Oracle Corporation e/ ou de suas afiliadas. Outros nomes podem ser marcas comerciais de seus respectivos proprietários.
