Agilidade nas empresas com a unificação dos dados

Agilidade nas empresas com
a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Um InfoBrief do IDC patrocinado pela SAP | Agosto de 2015
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
O uso dos dados na atualidade
Os dados transacionais dão origem a dados analíticos e separados. Isso requer bancos de dados
distintos com esquemas distintos –­­­­­­ um otimizado para transações e o outro para funções analíticas.
Os dados precisam ser transferidos periodicamente do sistema operacional para sistemas de
business intelligence (BI), como os data warehouses, provocando atrasos de dias ou semanas
na disponibilidade de dados analíticos. Esse fato impede que as funções analíticas interfiram
no desempenho das transações, que se por um lado é produtivo para o planejamento de
análises, por outro não oferece suporte às decisões diárias.
Com frequência, os dados dos aplicativos são separados por aplicativo, sendo que cada banco
de dados tem seu esquema individual. A reunião dos dados para permitir análise entre espaços
de aplicativos é um projeto importante, já que dados separados se traduzem na necessidade
de administração de muitos bancos de dados. Isso também pode tornar os processos administra­
tivos e operacionais mais complexos e exigir que as alterações dos esquemas sejam propagadas
manualmente para todos os bancos de dados correlatos. Essa falta de flexibilidade traz dificuldades
para o desenvolvimento de aplicativos, tornando os aplicativos de bancos de dados menos ágeis
do que poderiam ser.
Quando perguntados sobre qual é a
base de suas decisões empresariais
diárias, os entrevistados responderam
“achismo”.
Início
pág 2
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Importância do acesso
às informações certas
no momento certo
Qual é a importância para você e sua organização do acesso às informações certas no momento certo para
embasamento das decisões, das análises ou das necessidades de planejamento?
83% dos entrevistados
consideraram que ter acesso
às informações certas
no momento certo é crucial
para seus negócios
1%
2%
51%
32%
14%
Não é crucial
de forma
alguma
N=1.002
Base = todos os entrevistados
Escala: 1=não é crucial 5=muito crucial
Observações: gerenciado pelo grupo de pesquisas quantitativas do IDC; dados ponderados
por país e gastos de TI; cuidado na interpretação de amostras pequenas.
Fonte: SAP HANA Market Assessment, IDC, agosto de 2011
Muito
crucial
Início
pág 3
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Áreas de melhoria com
maior impacto nas unidades
de negócio
Quais das seguintes mudanças ou melhorias você acha que agregariam mais valor à sua organização ou
unidade de negócios (tanto de negócios como de TI)? São aceitas várias respostas.
Análises mais rápidas (por exemplo, capacidade
de avaliação de um número maior de cenários)
Acesso mais rápido às informações (por exemplo,
menor tempo de resposta das consultas)
Análises mais
precisas
Capacidade de agregar maior
número de fontes de dados
Capacidade de separar dados
estruturados e não estruturados
Redução do número
de sistemas necessários
0% 5% 10%15%20%25%30%35%40%
N=1.002
Base = todos os entrevistados
Observações: gerenciado pelo grupo de pesquisas quantitativas do IDC; dados ponderados por país e gastos de TI;
múltiplas tabelas dicotômicas ­­­­­­– o total não vai atingir 100%; cuidado na interpretação de amostras pequenas.
Fonte: SAP HANA Market Assessment, IDC, agosto de 2011
Início
pág 4
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Atraso nas informações
Processos on-line e em lote consomem mais
de 2 dias
Em média, qual é o tempo estimado para processamento dos dados de vendas, finanças ou P&D, e liberação
destes para análise pelos usuários de negócios?
Vendas
Finanças
P&D
0%10%20%30%40%50%60%
■ 2-3 dias ■ 4-5 dias ■ 6-10 dias ■ + de 11 dias
N=181
Observação: foram usadas fórmulas de sobreposição; dados ponderados por gastos de TI e país
Fonte: estudo IDC SAP
Início
pág 5
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Tarefas empresariais que
seus usuários não conseguem
administrar no momento devido
a limitações tecnológicas
Selecione todas as tarefas empresariais que seus usuários não conseguem administrar no momento devido
a limitações tecnológicas
Usar análise preditiva
e simulações
Trabalhar com os
dados em tempo real
Trabalhar com Big Data (por exemplo, grandes
volumes de diversos tipos de dados)
Disponibilizar aos usuários maior
volume de dados granulares
Permitir que os usuários criem por
conta própria relatórios e análises
Realizar pesquisas
detalhadas
0% 10%20% 30% 40%50%
N = 407
Observação: foram usadas fórmulas de sobreposição; dados ponderados por gastos de TI e país
Fonte: estudo IDC SAP
Início
pág 6
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
A plataforma de dados
transacionais analíticos
Hoje
Introduzir fontes de dados
relevantes, incluindo bancos
de dados relacionais, bancos
de dados NoSQL e Hadoop
em ambiente gerenciado.
Usar recursos de consulta
analítica capazes de acessar
essas fontes e, acima de tudo,
dados transacionais, para
produzir informações em
tempo real à medida que
os aplicativos transacionais
continuam a operar.
Amanhã
Modificar aplicativos
transacionais por meio de
análises integradas, para alterar
comportamentos com base
em resultados de consultas.
Criar aplicativos ágeis,
que possam ser adaptados
rapidamente às condições
dos negócios.
Eliminar barreiras entre
especialistas em tecnologia,
cientistas de dados e usuários
de negócios, para resolverem
os problemas de negócio em
equipe.
Início
pág 7
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Dados de hoje
Dados passados são analisados para
embasamento de decisões futuras
Data
Warehouse
Integrações de dados
demoradas
Banco(s)
de dados
de aplicativos
Hadoop
(HDFS)
NoSQL
Spark etc...
Início
pág 8
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
A plataforma de dados
transacionais analíticos
Reunir dados dinâmicos atuais para embasar
as decisões e as ações no momento
Gerenciar todos esses dados
diferentes, com toda sua
complexidade e realizar
pesquisas complexas com
rapidez suficiente para
tomar as ações imediatas
necessárias só mesmo
com um IMDB central.
Data
Warehouse
Dados
operacional
de BI
Dados
analítcos
estendidos
Hadoop
Dados
Banco(s) operacionais
(HDFS)
de dados transitórios
NoSQL
de aplicativos
Spark etc...
Principal
Início
pág 9
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Otimização de disco
O problema-chave
Diferentes estratégias de armazenamento de dados
✔ Dados transacionais normalmente armazenados em linhas.
✔ Dados analíticos cada vez mais armazenados em colunas.
✔ DBAs evitam o uso de índices secundários em dados transacionais, porque o gerenciamento
de índices prejudica a produtividade operacional.
✔ Inexistência de índices secundários em dados baseados em linhas, consultas complexas
têm execução muito lenta.
Administração complexa
✔ DBAs precisam alocar dados em discos para minimizar as operações de E/S.
✔ Alterações da organização dos bancos de dados costumam exigir que os dados sejam
descarregados e recarregados.
✔ Operações normais exigem recarga periódica de índices.
✔ Esses processos consomem tempo e esforços, além de inibir a agilidade.
Início
pág 10
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Dos discos à otimização
de memória
O IDC previu que o preço médio de venda de microprocessadores de servidores PC terá, entre
2015 e 2019, um declínio de 1,9% (CAGR, taxa de crescimento anual composta), apesar do
aumento da capacidade central desses microprocessadores. No mesmo período, as memórias
flash não voláteis (NAND, na sigla em inglês) terão declínio de 25,8% (CAGR). Já as memórias
DRAM (o formato padrão de memória principal usada nos computadores atuais) experimentarão
uma redução da ordem de um CAGR de18,4% entre 2014 e 2019.
Por que otimizamos os discos?
✔ Memória era um recurso caro e limitado.
✔ Processadores eram escassos e lentos.
✔ Discos eram o único local em que grandes volumes de dados podiam ser mantidos.
Ao longo dos últimos 20 anos, surgiu a otimização de memória
✔ As memórias ficaram mais baratas.
✔ O endereçamento de 64 bits viabilizou o uso de espaços de memórias maiores.
✔ Sistemas Commodity costumam ter várias CPUs, cada uma com diversos núcleos.
✔ Sistemas são integrados no âmbito de redes de alta velocidade, viabilizando escalabilidade
horizontal.
✔ Bancos de dados in-memory ainda são confiáveis devido aos recursos de log, replicação
e outras estratégias.
Início
pág 11
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Benefícios da otimização
de memória
DBAs podem se dedicar ao trabalho de maior valor agregado que é ajudar os desenvolvedores
de aplicativos a criar aplicativos de negócios mais eficazes e auxiliar analistas de negócios a obter
o máximo dos dados. Claro que a velocidade é importante, mas também...
Esquemas flexíveis
✔ Usando DBMS com disco otimizado, a modificação de um esquema pode forçar reorganizações
do armazenamento do banco de dados, mudanças na estrutura do índice e alterações manuais
feitas pelo DBA no particionamento.
✔ Isso significa que mesmo um simples esquema pode levar semanas para ser implementado.
Com um DBMS de memória otimizada, a modificação pode ser feita quase instantaneamente.
Menor custo operacional
✔ Nenhuma programação de backup, apenas snapshots periódicos e manutenção do arquivo de log.
✔ Não há necessidade de operações para recarga de índices e reorganização de dados.
✔ Custo de armazenamento bastante reduzido, porque o recurso de armazenamento é usado
para recuperação e não para operações.
✔ Menos trabalho administrativo.
✔ Fim das preocupações com alocação de discos, colocação de dados esparsos, particionamento etc.
✔ Fim das estratégias de indexação.
Início
pág 12
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Otimização de memória +
dados unificados = plataforma
transacional analítica
O que é
✔ Um sistema que agrupa dados relevantes para dar apoio às decisões no momento certo.
✔ Combinação de dados transacionais com informações de contexto dos negócios para
disponibilização rica e diária de business intelligence.
Como é a organização
✔ Um núcleo de um banco de dados in-memory (IMDB) oferece desempenho necessário
para execução de consultas analíticas, sem prejudicar a velocidade das transações.
✔ Bancos de dados satélites e um super esquema que controla um modelo unificado.
✔ Um anel externo de bancos de dados afiliados, não controlado pela plataforma,
mas prontamente acessível.
Tamanho do mercado para DBMS in-memory: US$ 1,3 bilhão
Melhorias de desempenho: transação = mais de 10x, funções
analíticas = de 30 a 100x (e mais em alguns casos)
Início
pág 13
InfoBrief do IDC, patrocinado pela SAP
Agilidade nas empresas com a unificação dos dados
A jornada para plataformas de dados transacionais analíticos
Benefícios de dados unificados
para transações e análises
A mudança para um IMDB pode reduzir em 40
a 45% o custo total de RDBMS (incluindo servidor,
armazenamento, administração de rede, administração
de bancos de dados e operações relacionadas
a bancos de dados).
A combinação de bancos de dados proporciona simplicidade
✔ Menos esquemas a administrar.
✔ Menos servidores de bancos de dados a administrar.
✔ Disponibilidade instantânea de dados para análise.
✔ Maior rapidez no desenvolvimento de aplicativos, mais agilidade nos negócios.
Um banco de dados transacional analítico único reduz …
✔ Tarefas operacionais como transferências de dados ETL.
✔ Esforços constantes para refletir mudanças de esquemas que ocorrem em um banco
de dados fonte e em seus alvos.
✔ Erros humanos que são inevitáveis no cenário acima.
Início
pág 14