Software IBM DataStage - MD2 Consultoria e Negócios

MD2 Data
Integration PACK
Solução sob medida para
transformar seus dados em
vantagem competitiva!
Laurier Soares
Consultor de Negócios
[email protected]
Sobre a MD2
• Única empresa brasileira focada
exclusivamente em projetos de
integração de dados
• Equipe dedicada, especializada e
certificada em soluções de ETL (Extração,
transformação e carga de dados), gestão de
metadados e gestão da qualidade de dados.
Batch & Real-time
• Parceiros estratégicos
– IBM: Integração de Dados, Serviços,
implementações e treinamentos;
– Natworks: Extração ADABAS;
– Ação Informática : IBM VAD
FOCO 100% EM INTEGRAÇÃO DE DADOS
• Metodologia MD2: Ações específicas para
cada fase dos projetos de integração de
daqdos, visando crescimento escalar,
documentação, confiabilidade nos dados, fácil
gerenciamento e manutenção.
MD2 – Centro de Excelência em Integração de dados
Quality Assurance
Software
Bureau
Capacity Planning
Consultoria
Education Services
Curriculum
Portal CEID
Metodologia
Master Data Management
Support Center
POC
Porque integrar dados com eficiência
 Para ter a habilidade de ter a informação certa, para a
pessoa certa...no tempo certo;
 Para ter uma visão consolidada de todos os ativos (dados e
sistemas) que a empresa tem;
 Para ter um padrão de interpretação dos termos de
negócio entre os diversos dados/sistemas, tornando os
processos de negócio mais ágeis e competitivos;
 Para ter confiabilidade na informação para a tomada de
decisão;
 Para ter a informação como vantagem competitiva
frente ao seu concorrente.
Conseqüências da falta de integração....
 Resultados que não atendem ao plano de negócio;
 Lenta resposta ao mercado;
 Perda de clientes;
 Falta de visão para efetivação de vendas cruzadas e novas
oportunidades;
 Falta de competitividade.
Principais desafios de integração
 Conectividade: Habilidade de extrair informação de
sistemas legados ou de propriedade intelectual de terceiros;
 Tratamento: Habilidade de adequar o dado para integrá-lo
em novas bases e sistemas;
 Custos:
 Soluções profissionais de integração existentes no
mercado tem alto custo de aquisição;
 Se feito através de programação manual:
 Alto custo de desenvolvimento;
 Alto custo de manutenção;
 Alto custo para monitoramento;
 Falta de confiabilidade dos usuários mediante a
inconsistência de programas manuais;
 Flexibilidade: Habilidade de crescimento escalar, sem
esforço operacional, mediante crescimento de informação e
expansão dos negócios da empresa.
Alternativas para integração de dados
Programação em banco de
dados. Ex: PL/SQL, DTS, etc.
Bom..
Ruim..
• Redução de custo inicial: Habilita
ambiente de integração sem a
necessidade de aquisição de
ferramenta profissional;
•Aumento de custo operacional:
• Desenvolvimento, manutenção,
monitoramento e automação;
•Impacto em performance!
• Sem flexibilidade de crescimento.
• Problema de conectividade em caso de
base dados heterogêneas.
Progamação de linguagens
externas. Ex. Java, Cobol, etc.
• Redução de custo inicial: Habilita
integração sem a necessidade de aquisição
de ferramenta profissional;
• Provê alguns mecanismos de
conectividade.
•Aumento de custo operacional:
• Esforço maior no
desenvolvimento, manutenção
(dependência de pessoas),
monitoramento e automação dos
processos;
• Pouca flexibilidade de crescimento.
• Problemas de segurança no tipo de
conectividade adotada.
Pesquisas de mercado
Perguntas
Respostas
Empresas desejam iniciar seus projetos de integração com
ferramentas profissionais de mercado, não o fazem por conta
do alto custo de aquisição.
SIM de 80-100%
Empresas com projetos de integração que utilizam
programação manual enfrentam dificuldades de
monitoramento e performance.
SIM de 80-100%
Empresas com projetos de integração que utilizam
programação manual aceitam revisar sua infra-estrutura para
utilizar uma ferramenta profissional de integração.
SIM de 80-100%
Empresas que tem problemas de não aceitação dos usuários de
negócio em utilizar os dados do ambiente de BI motivado por
problemas operacionais (indisponibilidade) e erros de
informação .
Empresas que adquiriram ferramenta profissional de
integração e estão arrependidas com o investimento feito.
% de entrevistados de 0 a 100
SIM de 50-80%
SIM de 0-80%
MD2 Data Integration Pack
MD2 INTEGRATION PACK
O que é ?
 Oferta diferenciada para licenciamento de soluções profissionais de integração de dados
criada pela MD2, em parceria com o fabricante IBM e seu distribuidor Ação Informática;
 Composição do pacote:
 Software IBM DataStage: Solução líder de mercado para implantação de
ambiente de extração, transformação e carga de dados (ETL);
 Software MD2 MetaBridge Khronos: Solução de automação e orquestração de
processos de integração voltada para redução de custo operacional de ambientes
complexos de integração;
 Serviços profissionais. 02 semanas de consultoria especializada no cliente para:
 Implantação e configuração das soluções;
 Treinamento das soluções.
Cenário de utilização
Sistemas
Transacionais
Fontes internas e externas
Camada ETL 1
Extração dos
Dados Fonte e carga
do DW
Base
Informacional
Camada ETL 2
Extração do
DW e carga em
Data Marts
Data Marts
ERPs
Vendas
ARQUIVOS
Data
Warehouse
SGBDs
Marketing
SAP
XML
DataStage
DataStage
RH
WEB Services
Repositório centralizado de regras
OUTROS
Automação centralizada de processos
MetaBridge Khronos
Dashboard centralizado de operação
de todos os processos de TI
Benefícios do Data Integration Pack
• Redução de custo
• Desenvolvimento de processos;
• Manutenção de processos;
• Monitoramento do ambiente;
• Melhor uso dos recursos de infra-estrutura;
• Maximização de resultados
• Performance;
• Agilidade para entrega de novas informações gerenciais;
• Reusabilidade;
• Governança e padrões;
• Compartilhamento e gestão de regras/metadados;
• Total confiabilidade de uso do ambiente de Business Intelligence
Rápido retorno de investimento !
MD2 INTEGRATION PACK
INFORMAÇÕES COMERCIAIS
Diferenciais deste pacote:
 Software IBM DataStage: Solução profissional por um valor nunca
ofertado no mercado brasileiro, oportunidade única para empresas que
desejam profissionalizar seu ambiente de integração;
 Software MD2 MetaBridge Khronos: Solução de automação que compõe
e agrega valor ao software IBM DataStage considerando itens de
segurança, robustez, flexibilidade e facilidade no gerenciamento de
tarefas de operação diária do ambiente.
 Serviço especializado de treinamentos e implantação.
SUMÁRIO TÉCNICO DAS SOLUÇÕES
Software IBM DataStage
Solução profissional de Integração (Extração, transformação e carga de
dados)
Suíte IBM Information Server
DataStage
Descoberta e
modelagem: Conteúdo
e estrutura de dados
Padronizar, equiparar,
enriquecer e corrigir
a informação
Formatar e reestruturar a informação
para novos propósitos
Sincronizar e mover a
informação para
entrega sob demanda
Plataforma IBM de integração – Suíte Information Server
O software IBM DataStage é o componente principal da suíte Infomation
Server com recursos diferenciados de integração considerando ampla
conectividade, performance, reusabilidade de componentes e gestão de
metadados integrada.
Posicionamento do DataStage
Gartner Magic Quadrant for Data Integration Tools November
2006
Source: Gartner, Inc. “Magic Quadrant for Data Integration Tools, 2006” by Ted Friedman, Mark Beyer,
Andreas Bitterer. November 22, 2006. ID Number: G00141484. This Magic Quadrant graphic was
published by Gartner, Inc. as part of a larger research note and should be evaluated in the context of the
entire report. The Gartner report is available upon request from IBM.
IBM WebSphere DataStage
WebSphere DataStage Client
Designer
Director
Administrator
Manager
WebSphere DataStage Server
Valores para agilidade e redução de custo em
projetos de integração
– Software cliente-servidor que oferece fácil
ambiente de implementação de processos de
extração, transformação e carga de dados;
– Valida, transforma e entrega os dados
contemplando todas as regras de negócio
necessárias;
– Aderência a todas as fontes de dados disponíveis;
– Perfomance escalar com recursos de paralelismo
de processos.
Características técnicas do DataStage
 Produto disponível para todas as plataformas operacionais;
 Produto totalmente orientado a processos;
 Componentes re-usáveis, completamente configuráveis;
 Alta escalabilidade;
 Fácil implementação e manutenção;
 Interfaces nativas em bases relacionais: Informix, DB2, Oracle, SQL
Server, Sybase, Teradata, dentre outros;
 Acesso para demais bases de arquivos: Access, DBF, MS Excel, Flat files,
FTP, XML, etc.
Porque DataStage
Processo gráfico de fácil gerenciamento: Criação e manutenção.
Benefícios da solução profissional de integração de
dados DataStage
– Aumento na qualidade dos dados
– Re-utilização de recursos
tecnológicos
– Escalabilidade da solução
– Facilidade de Uso
– Redução do tempo de
desenvolvimento de novos
processos de integração
Software MD2 MetaBridge Khronos
Solução profissional de automação desenvolvida para orquestrar
ambientes de integração de dados
Cenário: Várias demandas de processos de negócio
“Tipos” variados de processos
no ambiente de TI.
Manutenção de
SGBDs
Shell script
PL/SQL
Utilitários
Queries OLAP
Backups
Jobs DataStage
Periodicidade de cada grupo de processos
Mensal
Semanal
Hora certa
Se houver falha
Chegada de arquivo
Diário
Diversas dependências entre os processos
MetaBridge Khronos
“O MD2 MetaBridge Khronos® é uma solução
multiplataforma de orquestração e disparo de scripts e
aplicações, com avançado suporte a agendamento,
interdependências e notificação de usuários.”
MetaBridge Khronos no cenário complexo de
integração de dados
Definem e
implementam
Regras e cadeias de
dependências
Execução
Aplicações executadas
em servidores
Usuários
Administradores
do ambiente
O Maestro
Porque MetaBridge Khronos agrega valor ao IBM DataStage e
compõe uma solução completa e profissional de integração?
 Segurança;
 Automação abrangente;
 Proteção de conteúdo sensível;
 Orquestração avançada;
 Timeliner.
Diferencias do Khronos
•
•
Recursos técnicos baseados em melhores práticas para
gerenciamento de ambiente de integração de dados:
– Ciclo de carga;
– Filosofia de gerenciamento;
– Gestão adequada de conteúdo sensível;
– Independente de pessoas, dependente de equipe;
– Preocupação com o usuário de negócio;
– Clareza;
Traz o benefício do MAINFRAME para a plataforma distribuída:
– Blindagem do ambiente de produção;
– Visão de recurso de máquina e concorrência;
– Controle total do ambiente.
MetaBridge Khronos controla e organiza o ambiente de integração
através de PROJETOS e JOBs (processo que ele deve controlar).
Parâmetros de execução
Calendário de exceções
Notificação por e-mail
Dados sensíveis
Variáveis de ambiente
Critérios de sucesso
Periodicidade
Definição do
Projeto no
MetaBridge
Khronos
“Blindagem”do ambiente de produção
Rejeitado
Requisição
Rejeitado
Aprovado
Produção
Desabilitado
Inspector
Monitoramento do Ciclo
TimeLiner: Identificação do melhor uso de recursos
MD2 INTEGRATION PACK
“Oferta diferenciada para implantação e
manutenção de ambiente robusto de integração de
dados”.
Caso de sucesso
 Empresa brasileira de telecomunicações
com excelente atuação no mercado de
telefonia móvel
 Gerencia e integra milhões de dados diários
acerca de clientes, produtos e billing de
ligações
Objetivo
Ter maior
controle sobre o
ambiente de
integração de
dados
considerando
automação,
segurança,
performance e
capacidade de
entrega
Desafios
- Entrega da informação
considerando alto volume de
dados;
- Agilidade no
desenvolvimento para
entrega de processos;
- Melhor gestão de
conhecimento sobre regras e
processos;
- Melhor gestão de recursos
de hardware e software.
Solução
Utilização do
softwares IBM
DataStage,
MetaBridge
Khronos e serviços
profissionais MD2.
Retorno de Investimento
 Rápida entrega de informação
através rápido desenvolvimento e
performance;
 Compartilhamento de regras e
reutilização de processos;
 Redução expressiva de custo com
automação inteligente para gestão
de recursos.