Big Data - Fatec Rio Preto

 BIG DATA NA PRÁTICA
MARCELO NAGY
CICLO DE PALESTRAS EM TI
Marcelo Nagy
Formação
Tecnologias
Big Data
A era das grandes massas de dados já começou. Usuários são agora fontes de
dados. Empresas armazenam incontáveis informações de clientes e milhões de
sensores monitoram o mundo real, criando e trocando dados na Internet das
coisas.
Uma variedade de informações é gerada não só por cientistas, empresas e
governos, como acontecia antes, mas também pela população em geral.
As arquiteturas em nuvem obrigam indivíduos e organizações a lidam com um
verdadeiro dilúvio de dados.
Estes dados são úteis ?
Estes dados estão correlacionados ?
Como garimpar informações destes dados ?
Aumento dos dados armazenados
estimados pela IDC
Fonte: IDC’s Digital Universe Study, patrocinado pela EMC, Junho de 2011
Armazenamento em exabytes
Curiosidades
20 gigabytes tem a coleção de trabalhos do Beethoven
2 terabytes em média uma biblioteca acadêmica
11 petabytes total de mensagens de correio eletrônico em um ano
5 exabytes total de palavras ditas pelos humanos
200 petabytes todo material impresso no mundo
Escalas
3 V's
Velocidade
Volume
Variedade
Volume + variedade + velocidade de geração de dados são os elementos que
compõe o Big Data.
Possibilidade de localizar, peneirar e analisar informações úteis.
A proposta ambiciosa do Big Data é ajudar empresas a decidir com base em
evidências e analisadas continuamente.
3 V's
Os sistemas tradicionais atuais não estão preparados para tratar certas
coleções de dados: A previsão é que passaremos da faixa de muitos gigabytes
(bilhões de bytes) ou poucos terabytes (trilhões) para a faixa de petabytes
(milhares de trilhões) ou até mesmo exabytes (milhões de trilhões).
Um disco rígido comum tem atual mente em torno de 1 terabyte. O LHC, o maior
acelerador de partículas do mundo armazena 15 petabytes por ano de dados na
forma original. É o equivalente a 15 mil discos rígidos cheios.
Velocidade significa que esses dados são enviados aos nossos sistemas com
uma taxa de bytes por intervalo de tem po muito alta.
Como saber o que guardar e guardar cada vez mais rápido é o desafio!
Guardar informação qualquer que seja permite que, mais tarde, exista uma
disponibilidade que pode ser aproveitada em uma oportunidade não identificada
previamente. Uma das principais aplicações de ter à disposição uma grande
quantidade de dados é descobrir algo novo.
Analisando e criando um modelo de execução a partir de exemplos, podemos
fazer com que um computador ‘aprenda’ a reconhecer padrões ou fazer
previsões.
3 V's
Os dados gerados ultrapassam significativamente as capacidades de
armazenamento das estruturas. Desta forma, se torna imprescindível a
concepção de novos procedimentos para o tratamento de dados.
Não é descartada a possibilidade de que novas observações sejam feitas com
relação aos mesmos dados.
Para comparar todos os pares de uma coleção qualquer (nomes, CPFs, número
de telefones, compras, endereços etc.), precisamos gastar um tempo
proporcional ao quadrado da quantidade de dados.
Variedade significa que os dados aparecem em formas diferentes,
facilmente descritos na forma de tabelas, textos, imagens, etc.
Precisamos melhorar nossos algoritmos, buscar soluções aproximadas – caso
contrário, o processamento se torna inviável.
Soluções paralelas permitem desempenho superlinear, isto é, o aumento de
velocidade é maior do que o aumento do número exigido de processadores.
Exemplos de classificação de Big
Data
• Uma apresentação de 40 megabytes representa uma grande massa de dados
se não for possível enviá­la por correio eletrônico a um colega ou cliente;
• Uma imagem médica de 1 terabyte representa uma grande massa de dados se
não for possível exibi­la de forma simples e acurada em uma tela remota em
tempo real durante uma consulta médica com um paciente;
• Um filme de 1 petabyte representa uma grande massa de dados se não for
possível editálo a tempo.
Big Data no comércio
Quantas informações são geradas em cada venda em uma rede de
supermercados?
E se essas informações forem cruzadas com mensagens em redes sociais
sobre mercados, produtos, receitas e notícias na mídia e de cartão de crédito?
Raciocinando dessa forma, sistemas que analisam toda essa informação
permitem a obtenção tanto de perfis de consumo individualizados quanto da
experiência de compra do cliente e seus gastos.
Big Data na indústria
Um dos fatores que aumentaram a quantidade de dados foi a multiplicação dos
sensores de vários tipos de câmeras de alta definição a simples contadores ou
termômetros.
A maioria das casas já tem equipamentos que fornecem informação aos seus
produtores ou provedores de serviço, como computadores, equipamentos de TV
a cabo e celulares.
Já temos geladeiras ligadas à internet,para informar seu estado ou ritmo de
consumo.
Isto mostra que Big Data já esta bem próximo do nosso dia a dia.
Big Data no Brasil
No Brasil, em especial, a indústria
de petróleo é grande criadora de
dados. Em dezembro do ano
passado, o Banco de Dados de
Exploração, mantido pela Agência
Nacional de Petróleo (ANP),
continha 4,57 petabytes.
Os dados desse banco da ANP
são usados por várias empresas
de petróleo, que produzem ainda
mais informação.A partir deles,
são gerados imagens e filmes que
são analisados e geram textos e
relatórios, que, por sua vez, geram
investimentos financeiros,
movimentos da bolsa e notícias na
mídia.
Como país de grandes proporções
e com uma população de
aproximadamente 200 milhões de
pessoas, algumas bases de dados
aqui já traziam problemas de Big
Data antes que esse nome fosse
criado.
Desafios
i) Como adquirir;
ii) Armazenar;
iii) Processar;
iv) Transmitir e disseminar;
v) Gerenciar e manter;
vi) Arquivar por longo prazo;
vii) Garantir a segurança;
viii) Treinar pessoas para usá­los;
ix) Pagar por tudo isso.
Ainda podemos adicionar a esses desafios, como entendê­los de forma isolada
e como relacioná­los.
Desafios
Um desafio importante é entender como esses dados evoluem. Essa
tarefa criará, em 2015, segundo a grande empresa norte­americana de
consultoria Gartner Group, cerca de 4,4 milhões de empregos muitos
deles para profissionais capacitados a analisar esses dados, em um
mercado mundial avaliado, já para este ano, em US$ 34 bilhões (cerca
de R$ 70 bilhões).
Grandes empresas de computação já orientam suas linhas de produtos e
serviços para atender a esse mercado.
Uma questão crítica é como armazená­los de forma que possam ser
rapidamente encontrados e manipulados.Um dos grandes
desenvolvimentos tecnológicos em computação do século passado
foram os Sistemas de Gerenciamento de Banco de Dados (SGBDs).
Desafios
São eles que permitem que tratemos de forma eficiente milhões de
contas bancárias e outros sistemas que basicamente fazem o
gerenciamento de transações.
Os SGBDs compartilham uma linguagem chamada SQL (sigla, em
inglês, para linguagem de consulta estruturada), e o modo de organizar
essas tabelas para condições ótimas de acesso é bem conhecida.
Com novos tipos de dados, essa tecnologia não é eficiente. Para alguns,
o caminho parece ser o que denominamos bancos de dados No­SQL ou
outros ainda mais especializados.
Desafios
Outro caminho é a paralelização do processamento.
Essa paralelização se dá em muitos níveis, como um computador com vários
processadores (chips); em processadores com vários núcleos; ou pela união de
computadores para formar uma rede que age como um supercomputador, por
exemplo.
Há ainda a opção do processamento em nuvem. Propostas como o programa
livre Hadoop baseado no MapReduce, um dos mecanismos que fazem o Google
funcionar permitem que um problema seja dividido por várias máquinas e,
depois, tenha seu resultado agregado em uma máquina central.
Exemplos
No Japão, uma rede de milhares de sensores permite detectar terremotos e
avisar a população.
Empresas de cotação de preços, bem como as de vendas pela internet,
analisam o perfil dos clientes, para dar sugestões de consumo.
Instituições financeiras e governos avaliam milhões de transações financeiras
em busca de fraudes.
Ética e Big Data
Não podemos deixar de lembrar
que Big Data também traz à tona
novos problemas éticos.
O que empresas e governos
fazem com tantos dados privados?
Que informação pode ser
deduzida a partir de dados?
O uso das informações que
estamos guardando e analisando
pode ter resultados não
desejados. É famosa a história do
caso de um pai que descobriu, por
meio da propaganda direcionada
de uma rede norte­americana de
lojas de varejo, que sua filha
adolescente estava grávida fato
que havia sido detectado pelos
algoritmos da empresa.
Ética e Big Data
A disponibilidade dessas grandes
bases de dados e a viabilidade de
sua interligação permitem que
imaginemos aplicações que
salvam ou prejudicam vidas. Fazer
um julgamento ético ou moral de
uma tecnologia não é questão
simples.
Melvin Kranzberg (1917­1995),
que disse: “A tecnologia não é boa
nem é má, nem é neutra”.
Não devemos esquecer o ditado
que diz: informação é poder.
Clusters
Uma solução para agilizar e viabilizar a análise das grandes massas de dados é
a partir das arquiteturas em aglomeração (cluster).
Escalabilidade, a agilidade e a elasticidade dos recursos são pré­requisitos
muito importantes para a análise das grandes massas de dados. Uma questão
chave, entretanto, é como as arquiteturas em aglomeração podem atingir todas
essas características.
Considerando, por exemplo, que a Google possua milhões de núcleos de
processadores em todos os seus centros de dados, apesar desses
componentes falharem com frequência, componentes redundantes fazem com
que essas falhas sejam imperceptíveis aos usuários.
Hadoop
O Hadoop foi desenvolvido para aproveitar os recursos e a estrutura disponível
em uma arquitetura em aglomeração (cluster).
O objetivo é possibilitar que as aplicações utilizem todo o potencial de um
aglomerado ao levar em consideração dois pontos chave:
(i) a distribuição dos dados pelo aglomerado, assegurando que os dados
estejam distribuídos igualmente;
(ii) o desenvolvimento de aplicações que se beneficiem da localização dos
dados.
Hadoop
Esses dois pontos fundamentais levam o projeto do Hadoop a empregar dois
mecanismos:
Sistema de Arquivos Distribuído (Hadoop Distributed File System ­ HDFS) que é
um sistema de arquivos para dividir, espalhar, replicar e gerenciar dados ao
longo dos nós em um cluster;
Namenode
Datanode
Hadoop
O MapReduce que é um mecanismo computacional para executar aplicações
em paralelo. As aplicações são executadas através da divisão em tarefas que
manipulam apenas uma parcela dos dados, coletando e redistribuindo
resultados intermediários e gerenciando falhas através de todos os nós do
aglomerado.
JobTracker
Coordena todas as tarefas executadas no sistema através da divisão da tarefa
em rotinas e para agendar cada uma dessas tarefas para serem executadas em
um nó. O JobTracker também mantém informações de todos os nós
participantes da computação, monitora os status individuais, orquestra o fluxo de
dados e se encarrega de contornar as falhas dos nós;
TaskTracker
Executam tarefas e enviam relatórios de progresso ao JobTracker. Caso a tarefa
falhe, o JobTracker pode reagendá­la em um TaskTracker diferente. O
TaskTracker mantém informacões de todas as tarefas em execução em seus
nós, seja uma tarefa de mapeamento ou redução.
Instalação do Hadoop
Instalação de um pseudo cluster
em uma máquina linux.
Alterar os hosts das máquinas
para as máquinas poderem se
conectar.
Instalar o ssh nas máquinas do
cluster.
Configurar o repositório da
cloudera no linux.
Instalando
sudo apt­get install hadoop­0.20­
conf­pseudo
Instala o core do hadoop
configurado para rodar em uma
máquina.
sudo ­u hdfs hdfs namenode ­
format
Formata o NameNode os
metadados do nameNode ficam na
pasta /var/lib/hadoop­
hdfs/cache/hdfs/dfs/name
Configurar o alternatives
/etc/hadoop/conf
link simbólico para
/etc/alternatives/hadoop­conf
Instalação do Hadoop
$ for service in /etc/init.d/hadoop­
hdfs­*
do
sudo $service start
done
iniciar os serviços da hdfs
criar a pasta temporária do hdfs
$ sudo ­u hdfs hadoop fs ­mkdir
/tmp
alterar a permissão da pasta para
que todos o componentes do
hadoop possam utilizá­la
$ sudo ­u hdfs hadoop fs ­chmod ­
R 1777 /tmp
criar as pastsas que o mapReduce
utilizam e dar suas permissões
$ sudo ­u hdfs hadoop fs ­mkdir \
/var/lib/hadoop­
hdfs/cache/mapred/mapred/staging
Instalação do Hadoop
$ sudo ­u hdfs hadoop fs ­chmod
1777 \/var/lib/hadoop­
hdfs/cache/mapred/mapred/staging
$ sudo ­u hdfs hadoop fs ­chown ­
R \mapred /var/lib/hadoop­
hdfs/cache/mapred
for service in /etc/init.d/hadoop­
0.20­mapreduce­*
do
sudo $service start
done
iniciar os serviços do MapReduce
sudo jps
verificar os serviços
comandos básicos
$ hadoop fs ­mkdir input
$ hadoop fs ­put shakespeare.txt
input
$ hadoop fs ­ls input
$ hadoop fs ­tail
input/shakespeare.txt
Flume
O flume é utilizado para inserir logs no hdfs em real time.
Implementa transações.
Instalando o flume
sudo apt­get install flume­ng
Criando a pasta no hdfs que receberá os logs
hadoop fs ­mkdir flume/collector1
Criando o arquivo de configuração do flume
/etc/hadoop/conf/ flume­conf.properties
Flume
conteúdo do arquivo
tail1.sources = src1
tail1.channels = ch1
tail1.sinks = sink1
tail1.sources.src1.type = exec
tail1.sources.src1.command = tail ­
F /tmp/access_log
tail1.sources.src1.channels = ch1
tail1.channels.ch1.type = memory
tail1.channels.ch1.capacity = 500
tail1.sinks.sink1.type = avro
tail1.sinks.sink1.hostname =
localhost
tail1.sinks.sink1.port = 6000
tail1.sinks.sink1.batch­size = 1
tail1.sinks.sink1.channel = ch1
##
collector1.sources = src1
collector1.channels = ch1
collector1.sinks = sink1
collector1.sources.src1.type = avro
collector1.sources.src1.bind =
localhost
collector1.sources.src1.port = 6000
collector1.sources.src1.channels =
ch1
collector1.channels.ch1.type =
memory
collector1.channels.ch1.capacity =
500
collector1.sinks.sink1.type = hdfs
collector1.sinks.sink1.hdfs.path =
flume/collector1
collector1.sinks.sink1.hdfs.filePrefix
= access_log
collector1.sinks.sink1.channel =
ch1
Flume
Startar o flume
sudo service flume­ng­agent start
sudo hadoop fs ­ls flume/collector1
Scoop
Instalando Scoop
sudo apt­get install scoop
Criar um link simbolico para o jdbc que o scoop ira' utilizar.
sudo ln ­s /usr/share/java/mysql­connector­java.jar /usr/lib/sqoop/lib/
Scoop importa/exporta dados de um banco de dados relacional.
Utiliza de um JDBC para se conectar a uma base de dados.
sqoop import
­­connect jdbc:mysql://localhost/movielens ­­table movie ­­fields­terminated­by '\t'
­­username training ­­password training
MapReduce
cat /my/log | grep '\.html' | sort | uniq –c >
/my/outfile
1­ mapeamento
2­ordenacao
3­reduce
MapReduce
exemplo contador de palavras
1­entrada
the cat sat on the mat
the aardvark sat on the sofa
2­dados intermediarios
(the, 1), (cat, 1), (sat, 1), (on, 1), (the, 1),
(mat, 1), (the, 1), (aardvark, 1), (sat, 1),
(on, 1), (the, 1), (sofa, 1)
MapReduce
3­entrada no reducer
(aardvark, [1])
(cat, [1])
(mat, [1])
(on, [1, 1])
(sat, [1, 1])
(sofa, [1])
(the, [1, 1, 1, 1])
MapReduce
4­saida do reducer
(aardvark, 1)
(cat, 1)
(mat, 1)
(on, 2)
(sat, 2)
(sofa, 1)
(the, 4)
sudo hadoop jar seujar.java /diterotrio/hdfs/entrada /diterotrio/hdfs/saida
Hive
Criado pelo facebook. Hive foi criado para aproveitar o conhecimento previo em
Sql. Suporta somente instrucoes de select, não realiza updates nem deletes.
Transforma uma hiveQuery em um job MapReduce.
Para o Hive Hive uma pasta no hdfs e' vista como uma tabela.
Com o Hive e' possível unir diferentes bases.
Os arquivos dentro da pasta em questao serao os dados da tabela.
Intalando o hive
sudo apt­get install hive­metastore
sudo service hive­metastore start
shell hive
hive
Impala
Projeto apache.O impala utiliza
hiveQuery, é cerca de 20 X mais
rápido que o hive.
O impala não utiliza jobs
mapreduce.
instalar o impala
instalar o server em todos os datas
nodes:
sudo yum install impala­server
sudo service impala­server start
instalar o impala meta­store em
uma máquina:
sudo apt­get install impala­state­
store
sudo service impala­state­store
start
Instalar o shel do impala em uma
ou mais ma'quinas:
sudo yum install impala­shell
impala­shell
PIG
Criado pelo yahoo. Abstracao em
alto nivel de MapReduce.
Linguagem similar ao Perl e Ruby.
Maior facilidade para se criar
MapReduces.
Instalando o Pig
sudo install pig
Exemplo de codigo pig
movies = LOAD '/data/films' AS
(id:int, name:string, year:int);
ratings = LOAD '/data/ratings' AS
(movie_id: int, user_id: int,
score:int);
jnd = JOIN movies BY id, ratings
BY movie_id;
recent = FILTER jnd BY year >
1995;
srtd = ORDER recent BY name
DESC;
justafew = LIMIT srtd 50;
STORE justafew INTO
'/data/pigoutput';
para rodar um script pig
pig ­f seuScript.pig
Solr
Base de dados totalmente customizável, ferrammenta especializada, faz melhor
o trabalho para buscas textuais.
Performance melhor.
Solr entende diferentes línguas.
Solr tem funcoes especiais para buscas de texto ex. Highlighting.
Busca com relevancia.
Busca geoespacial.
Redis
Base de dados que trabalha como hash
Consulta rapida aguenta muitas requisicoes.
Excelente para implementar contadores e filas.
Temas relacionados
Ozzie
Yarn
Hue
Presto
Mahout
Ciclo de vida dos dados
geração
agregação
análise
apagamento