Oracle GoldenGate 12c Novos Recursos SES16430 Murilo Nascimento Especialista em Soluções Marcelo Cauduro DBA Sênior Junho 23, 2015 Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 2 Agenda 1 Soluções Oracle de Integração de Dados 2 Visão Geral do Oracle GoldenGate 3 Novidades OGG 12c 4 Caso de Uso - Rede Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 3 Integração e Governança de Dados Replicação de dados em tempo real – Captura de baixo impacto, replicação para tecnologias heterogêneas – Disponibilidade de dados contínua Oracle GoldenGate Oracle Data Integrator Data Service Integrator (Replicação) (Tranformação) (Federação) Transformações de Dados – Movimentação massiva de dados ETL Offload & Machine Learning Federação de Dados Fast Load – Consultas em Hadoop com SQL via JDBC Continuous Availability Qualidade de Dados – Validação de consistencia dos dados – Resolução de problemas de qualidade de dados Gestão de Metadados – Análises de Impacto e “linhagem” de dados – Glossário de Negócios Governança de Dados Enterprise Data Quality GoldenGate Veridata (Perfil, Sanitização, Correspondencia e Deduplicação) (Verificação de dados online) Enterprise Metadata Management & Business Glossary (Glossário de Negócio, Linhagem de Dados, Análises de Impacto) Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 4 Agenda 1 Soluções Oracle de Integração de Dados 2 Visão Geral do Oracle GoldenGate 3 Novidades OGG 12c 4 Caso de Uso - Rede Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 5 Oracle GoldenGate New DB/ HW/OS/APP ODS JMS Fully Active Distributed DB High Availability/ Disaster Recovery Reporting Database Query & Report Offloading Data Warehouse Low Impact Log Based Capture Data Integrator Zero Downtime Upgrade & Migration Real-time BI, Operational Reporting, MDM Global Data Centers Data Synchronization within the Enterprise Message Bus Event Driven Architecture, SOA Big Data HDFS, Hive, HBase, Flume Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 6 Modelos Flexíveis de Implementação Unidirecional Bidirecional Broadcast Consolidação Ponto a ponto Distribuição OEP BAM BPM Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 7 Arquitetura Modular Extract Trail Files Pump LAN / WAN / Internet Over TCP/IP Trail Files Replicat JMS Big Data NoSQL JMS Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 8 Agenda 1 Soluções Oracle de Integração de Dados 2 Visão Geral do Oracle GoldenGate 3 Novidades OGG 12c 4 Caso de Uso - Rede Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 9 Otimizado para o Oracle Database 12c Overview Otimizado para o Oracle Database 12c Suporte a funcionalidades específicas do 12c; Multitenant, novos data types (ex.: large varchar), Package específica para Administração do usuário do GoldenGate na base Oracle GoldenGate 12c Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 10 Otimizado para o Oracle Database 12c Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 11 Integrated Delivery para o Oracle Database 12c Overview Integrated Delivery para o Oracle Database 12c Tecnologia Oracle desenvolvida exclusivamente para agilizar o processo de aplicação das transações quando o destino é um banco de dados Oracle Oracle GoldenGate 12c Utiliza parallel apply servers do Oracle Database para paralelizar a aplicação das transações com gestão de dependências automática Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 12 Integrated Delivery para o Oracle Database 12c Diagrama Inbound Server Applier N Trail Files Replicat Streaming API Replicat Receiver Preparer Coordinator Applier 2 Applier 1 Inbound Server (Database Apply Process) • Leitura dos trail files • Receiver: Leitura dos LCRs. • Constrói logical change records (LCRs) • Preparer: Analisa as dependências entre as transações (PK, UI, FK). Agrupa e ordena as transações de acordo com suas depenências. • Envia os LCRs para o Oracle Database através da API de Streaming • Coordinator: Coordena a exeução das transações, gerencia os processos Appliers de forma a respeitar as dependências. • Applier: Executa as transações que lhe são designadas, realiza detecção de conflitos e erros. Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 13 Implementação Simplificada para outros Bancos de Dados Coordinated Delivery para outros Bancos de Dados Coordenação entre eventos que requerem ordenação; DDL; Atualização de PK; SQLEXEC Arquivos de parâmetros mais simples para o replicat Oracle GoldenGate 12c Válido para todos os Bancos de Dados Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 14 Coordinated Delivery para todos os Bancos de Dados Um único Replicat configurado automaticamente paralelizado GoldenGate Delivery Thread Thread SQL SQL Trail Files Thread O Oracle GoldenGate coordena a aplicação das transações mantendo a integridade transacional Thread SQL JMS Big Data NoSQL SQL Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 15 Melhorias Gerais • Overview Melhoriais Gerais Discard File automático por padrão Depuração melhorada com o parâmetro SHOWSYNTAX para visualizar a instrução SQL gerada pelo GoldenGate Schema Wildcarding Oracle GoldenGate 12c Melhorias na segurança Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 16 Melhorias Gerais - Segurança Mais Segurança• Overview Até a versão 11 o Oracle GoldenGate armazenava informações do usuário na forma de texto ou criptografados com algoritmos simples. O GoldenGate 12c oferece integração com o Oracle Credential Store e Oracle Wallet oferecendo criptografia mais robusta e a capacidade de armazenar e acessar dados de usuários e suas senhas através de alias. Oracle GoldenGate 12c Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 17 Expansão do suporte para Bancos de Dados de terceiros Expansão do suporte para Bancos de Dados de terceiros Suporte as versões mais novas dos principais bancos de dados do mercado : Oracle MySQL, Microsoft SQL Server, Sybase, e IBM DB2. Inclusão de suporte ao Informix Oracle GoldenGate 12c Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 18 Expansão do suporte a tecnologias e aplicações Oracle Expansão do suporte a tecnologias e aplicações Oracle Migração de bases E-Business Suite com downtime reduzido e sincronização ativo-ativo do ATG Web Commerce disponíveis. Integração com o Oracle Coherence para viabilizar a replicação de alterações realizadas diretamente no banco de dados para o Cache de objetos em tempo real. Oracle GoldenGate 12c Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 19 Oracle GoldenGate 12c Otimizado para o Oracle Database 12c Integrated Delivery para o Oracle Database 12c Coordinated Delivery para todos os Bancos de Dados Melhorias Gerais Mais Segurança Oracle GoldenGate 12c Expansão do suporte para Bancos de Dados de terceiros Expansão do suporte a tecnologias e aplicações Oracle Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 20 Oracle GoldenGate para Big Data • Binário específico, disponível no e-delivery • Requer licenciamento adicional baseado no(s) ambiente(s) de origem • Inclui as funcionalidades do Java Adapter Captura das transações nos bancos de dados e replicação para “Big Data” em tempo real HDFS (Files) HBase (NoSQL) Hive(SQL) Capture JMS Trail Pump Route Deliver Flume (Streaming) Oracle GoldenGate Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 21 Integração de Dados Oracle Oracle Data Integrator Oracle Data Enrichment Kafka (MPP Pub/Sub) In-Motion Analytics & Data Services Data Streaming • Vertical specific • Internet of Things / Telematics • Data monetization Storm and Trident Spark Streaming Staging Sqoop Deliver Route Trail Pump Capture HDFS Hive Data First Analytics Discovery Sandbox/s R • • • • Transformation Model First Analytics Flume Oracle GoldenGate Oracle Endeca Tableau Cliq Spotfire • • • • HBase Oracle BIEE SAS, Cognos / SPSS Business Objects Microstrategy Oracle Data Governance Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 22 Agenda 1 Soluções Oracle de Integração de Dados 2 Visão Geral do Oracle GoldenGate 3 Novidades OGG 12c 4 Caso de Uso - Rede Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 24 Copyright © 2015, Oracle and/or its affiliates. All rights reserved. | Oracle OpenWorld LAD 2015 25