soluções de data lake corporativo com emc isilon e pivotal hd

SOLUÇÕES DE DATA LAKE
CORPORATIVO COM EMC ISILON E
PIVOTAL HD
Acelere as percepções e a inovação de sua empresa
PRINCÍPIOS BÁSICOS
•
O armazenamento e a lógica analítica
eficientes e avançados fornecidos pelo
armazenamento NAS (Network
Attached Storage) do EMC Isilon, em
conjunto com o Pivotal HD, servem
como a base para um data lake
corporativo
•
Obtenha resultados com uma lógica
analítica de dados avançada e
implementada no local
•
Evite os custos e a complexidade de
uma infraestrutura separada para dar
suporte à lógica analítica
A PROMESSA DO DATA LAKE CORPORATIVO
O rápido crescimento dos dados não estruturados representa um desafio significativo para
muitas empresas de uma grande variedade dos setores atuais. À medida que o volume e as
origens de dados se expandiram drasticamente, comprovou-se que as técnicas tradicionais
de armazenamento e análise são muito caras e lentas para manipular os massivos volumes
de dados que são produzidos e gerenciados pelas empresas modernas.
A chave para a percepção desta oportunidade é uma arquitetura de dados moderna, aberta
e flexível, ou seja, um data lake corporativo que ofereça:
•
Uma infraestrutura altamente dimensionável e eficiente que reduza os custos e
acompanhe facilmente o ritmo dos crescentes requisitos de armazenamento de dados
•
Ferramentas de lógica analítica avançadas, mas de fácil utilização, que desbloqueiam
o retorno comercial das informações que residem nos dados
•
Proteção de dados de nível corporativo para maximizar a disponibilidade e sólidas
opções de segurança para atender aos requisitos de governança de negócios
Em geral, o data lake corporativo oferece um vasto repositório de percepções valiosas que
têm o potencial para transformar sua empresa.
SOLUÇÃO EMC ISILON E PIVOTAL HD
O armazenamento de scale-out do EMC® Isilon® e o Pivotal HD, Enterprise Hadoop
Distribution, servem como base para uma solução de data lake corporativo avançada e
altamente eficiente que combina um armazenamento de big data altamente dimensionável
com sólidos recursos de lógica analítica. Essa solução permite que você crie um data lake
corporativo que serve como base para a obtenção de novas percepções, acelerando a
inovação dos negócios e transformando sua empresa.
O Isilon é a única plataforma de NAS scale-out com suporte nativo ao HDFS (Hadoop
Distributed File System). Ao manter seus dados não estruturados no Isilon, você pode
aproveitar o Pivotal HD para executar seu lote e suas consultas analíticas de dados em
tempo real sem gastos de capital desnecessários, sem aumento dos custos operacionais e
sem uma replicação demorada de seu big data em uma infraestrutura separada. Basta
conectar os recursos de computação do Pivotal HD a seu sistema de armazenamento Isilon
e você estará pronto para desbloquear o valor de seus dados.
VISÃO GERAL DA SOLUÇÃO
LÓGICA ANALÍTICA HADOOP IMPLEMENTADA NO LOCAL COM EMC ISILON E
PIVOTAL HD
PIVOTAL HD
•
•
O Pivotal HD oferece os recursos do Apache Hadoop, aprimorado e empacotado em uma
dados para ativar seu negócio.
distribuição pronta para a empresa e totalmente compatível. Além disso, o Pivotal oferece
Aproveite os conjuntos de habilidades
de SQL existentes para proporcionar
uma lógica analítica avançada
•
PIVOTAL HD
Maximize o valor de todos os seus
Acelere o tempo de retorno do
investimento com um grid de dados
em memória para ativar uma lógica
analítica de loop fechado
serviços de valor agregado com um mecanismo de processamento de consultas SQL
comprovado, variado e paralelo, combinado com um sistema distribuído em memória. O
Pivotal HD é o único processamento de lógica analítica e lote de loop fechado do setor para
OLAP (Online Analytical Processing, processamento analítico on-line) e OLTP (Online
Transaction Processing, processamento de transações on-line) que tem o HDFS como a
camada de armazenamento de dados comum. Ao fazer com que a lógica analítica dê
suporte aos eventos diários de seu negócio, você pode construir sistemas prescritivos que
realizam as ações certas em tempo real.
ARQUITETURA DO PIVOTAL HD
MECANISMO RÁPIDO E COMPROVADO DE CONSULTAS ANALÍTICAS
PARA HADOOP
Ao contrário dos estreantes de SQL-on-Hadoop, o Pivotal HAWQ reúne mais de dez anos de
inovação desde o Greenplum Database, o que resultou em um otimizador de consultas SQL
avançado e variado. O HAWQ consegue localizar facilmente o plano de consultas ideal para
as consultas mais exigentes, inclusive as consultas com mais de 30 interações. O
processador do HAWQ é otimizado para executar consultas analíticas e cargas de trabalho
de consultas mistas em ambientes altamente paralelos e distribuídos sobre o HDFS. Já que
o HAWQ é 100% compatível com SQL, os conjuntos de habilidades e produtos existentes
podem ser aproveitados para acelerar drasticamente os projetos de lógica analítica de
dados, muitas vezes com um desempenho 100 vezes melhor que o do Hadoop por si só.
Ele também tem uma interface externa com o HDFS, HBase e Hive, que permite a você ler
e consultar os dados armazenados no ecossistema Hadoop e, além disso, carregar
diretamente no HAWQ. O HAWQ também dá suporte a uma grande variedade de formatos
de dados, como Text, AVRO e RCFile.
DATA SERVICES EM TEMPO REAL PARA HADOOP
O GemFire XD, 100% compatível com SQL e também criado ao longo de uma década de
inovações, é um grid de dados em memória que, combinado com o Pivotal HD e o HAWQ,
oferecem a primeira plataforma de qualidade de produção do setor para a criação de
soluções de lógica analítica de loop fechado. Ele permite a criação de aplicativos OLTP de
scale-out e baixa latência, integrados de fábrica com um armazenamento de big data
(HDFS). Isso oferece uma resposta aos aplicativos em menos de segundos, ao mesmo
tempo em que permite que os dados sejam analisados no back-end por meio do HAWQ,
Hive ou Map Reduce em tempo real.
EMC ISILON
•
Com as soluções de armazenamento scale-out do Isilon, você pode ter um espaço massivo
analítica Hadoop com mais rapidez
para crescimento de seus ativos de dados não estruturados e projetos de lógica analítica
com o suporte nativo a HDFS que
relacionados. As soluções Isilon são facilmente dimensionadas de 16 terabytes (TB) a mais
proporciona uma lógica analítica
implementada no local
•
NAS SCALE-OUT DO EMC ISILON
Implemente sua solução de lógica
Reduza os custos com uma taxa de
de 20 petabytes (PB) de capacidade em um único cluster do Isilon. Ao aproveitar o suporte
nativo a HDFS e os recursos de lógica analítica de big data do Isilon implementados no local,
você também evita os gastos de capital significativos necessários a uma infraestrutura
Hadoop separada e dedicada.
utilização de mais de 80%
•
Dimensione para mais de 20 PB em um
único cluster
•
Elimine os riscos de ponto único de
falha associados às implementações
Hadoop tradicionais
SUPORTE MULTIPROTOCOLO PARA FLEXIBILIDADE OPERACIONAL
AUMENTE A FLEXIBILIDADE
Junto com o suporte nativo a HDFS, o NAS scale-out do Isilon inclui suporte integrado a
uma grande variedade de protocolos padrão do setor, inclusive NFS (Network File System),
SMB (Server Message Block), HTTP, FTP (File Transfer Protocol) e acesso a objetos baseado
em REST, para auxiliar suas iniciativas em nuvem. Como resultado, o Isilon permite que
você ofereça uma infraestrutura de armazenamento altamente flexível para seu ambiente
de data lake corporativo e, assim, simplifique os workflows, acelere os projetos de lógica
analítica de negócios, dê suporte às iniciativas de infraestrutura em nuvem e obtenha mais
valor de seus dados e aplicativos corporativos.
REDUZA OS CUSTOS
Com o Isilon, você pode simplificar sua infraestrutura de armazenamento consolidando
arquivos de grande escala e ativos de dados não estruturados, eliminando estruturas
isoladas de armazenamento e, ao mesmo tempo, oferecendo a base para seu data lake
corporativo. As soluções Isilon permitem que você atinja uma taxa de utilização de
armazenamento de mais de 80%. Com a desduplicação de dados Isilon SmartDedupe™,
você também pode reduzir seus requisitos de armazenamento de big data em até 35% ao
eliminar dados redundantes. Essa eficiência inigualável significa que, com o Isilon, você
precisa de uma menor capacidade de armazenamento e de um menor espaço físico para
comportar o mesmo volume de dados que é suportado por outras alternativas — reduzindo,
assim, o investimento de capital inicial e os custos contínuos. Além disso, pelo fato de a
solução Isilon ser fácil de gerenciar, ela exige menos recursos de TI para a administração de
armazenamento que os sistemas de armazenamento tradicionais.
ACELERE OS RESULTADOS
A abordagem do Isilon de lógica analítica para dados implementada no local permite que
você elimine o tempo e os recursos necessários para replicar seu big data em uma
infraestrutura separada. Por exemplo, a cópia de 100 TB de dados por uma linha de 10 Gb
pode demorar mais de 24 horas. Com o Isilon, por outro lado, você pode iniciar os projetos
de lógica analítica de dados imediatamente e obter resultados em questão de minutos. A
habilidade de executar a lógica analítica no local sem a demorada fase de entrada de dados
permite dar suporte à lógica analítica com a mesma velocidade do negócio.
PROTEJA SEUS ATIVOS DE BIG DATA
As soluções de armazenamento Isilon oferecem níveis incomparáveis de proteção de dados e
disponibilidade para dados não estruturados. Com o Isilon OneFS®, nossas soluções também
eliminam os riscos de "ponto único de falha" associados às implementações Hadoop
tradicionais. Fazemos isso permitindo que todos os nós de um cluster de armazenamento do
Isilon se tornem, na prática, NameNodes. Isso melhora significativamente a resiliência de seu
ambiente de lógica analítica e armazenamento de dados.
O EMC Isilon oferece opções de proteção de dados completas para seus dados não
estruturados, inclusive backup de dados e recuperação de desastres rápidos e eficientes
para aumentar ainda mais a disponibilidade de seus ativos de dados.
Para ajudar você a cumprir os requisitos de conformidade e governança corporativa, o
Isilon oferece sólidas opções de segurança, inclusive auditoria de file system e proteção de
dados WORM (Write Once Read Many times) para impedir alterações ou exclusões
acidentais ou mal-intencionadas. Com o Isilon, você pode também garantir a segurança na
separação de funções entre a administração de armazenamento e o acesso ao file system,
bem como as zonas de autenticação, para criar pools de armazenamento isolados e
protegidos para departamentos específicos de sua organização.
RESUMO
Um data lake corporativo pode servir como um vasto repositório de percepções valiosas que
podem ajudar você a transformar sua empresa e ganhar vantagens significativas. O NAS
scale-out do EMC Isilon e o Pivotal HD servem como base para uma solução de data lake
corporativo avançada e altamente eficiente que combina um armazenamento de big data
altamente dimensionável com sólidos recursos de lógica analítica.
DÊ O PRÓXIMO PASSO
Entre em contato com seu representante de vendas ou revendedor autorizado EMC ou
Pivotal para saber mais sobre como as soluções de data lake corporativo com EMC Isilon e
Pivotal HD podem beneficiar sua organização.
Veja também nossas soluções na EMC Store em http://store.emc.com/isilon.
FALE CONOSCO
Para saber mais sobre como os
produtos, serviços e soluções EMC
ajudam a resolver seus desafios de
negócios e de TI, entre em contato
com seu representante local ou
revendedor autorizado — ou visite
nosso site brazil.EMC.com.
EMC2, EMC, o logotipo da EMC, Isilon, OneFS, AutoBalance e SmartDedupe são marcas registradas ou
comerciais da EMC Corporation nos Estados Unidos e em outros países. Todas as outras marcas
comerciais aqui mencionadas pertencem a seus respectivos proprietários. © Copyright 2014 EMC
Corporation. Todos os direitos reservados.
6/14 Visão geral da solução H12775
A EMC assegura que as informações apresentadas neste documento estão corretas na data da publicação.
brazil.emc.com
As informações estão sujeitas a alterações sem prévio aviso.