Volume de informações está crescendo em todo o mundo a uma

MVP Virtual Conference 2013
Cenário atual no mundo dos dados e a
plataforma SQL Server
Luciano Moreira
Luciano Moreira [Luti]
@luticm
[email protected]
http://luticm.blogspot.com
SQL Server MVP | PASS RM |
MC* | MCM Wannabe
Agenda
A plataforma SQL
Server
Business
Intelligence
Cloud Computing
Big Data
Appliances
Engine Relacional
vNext
Referências
Conclusão
SQL Server
 SQL Server 4.2 – Fim do acordo com Sybase
 SQL Server 6.5 – Pequenos volumes de dados e suporte Windows NT
 SQL Server 7.0
 Mudanças arquiteturais (tamanho de página, UMS)
 Full-Text Search e DTS
 OLAP Services
 SQL Server 2000
 Entrando no mundo Enterprise
 Boa estabilidade e desempenho
 SQL Server 2005
 SSRS, SSIS e SSAS = BI edition
 Database Mirror, Snapshot (DB e Isolation), ...
SQL Server
 SQL Server 2008
 Enterprise Level – Audit, PBM, compressão backup e dados, mirroring,
xEvents, Resource Governor, filestream
 Reescrita engine SSRS
 SQL Server 2008 R2
 StreamInsight, Master Data Services
 PowerPivot
 PDW
 SQL Server 2012
 AlwaysOn Availability Groups
 ColumnStore Index
 Data Quality Services, Filetable, semantic search, SSAS tabular, windowing
functions, distributed replay, SSDT, batch processing, ...
Business Intelligence / Data Warehouse
 DW vs BI
 Uma das maiores tendências no mundo dos dados
 Presente na lista de prioridade do Gartner nos últimos 10 anos
 10 anos? TI?
 Falhas dos projetos





Projeto complexo
Problemas nos dados
Usuário não sabe o que quer
Só preciso de um relatório
Mudança
 Modo de “fazer BI” vem mudando
Business Intelligence / Data Warehouse
OLTP
OLAP
Business Intelligence / Data Warehouse
?
OLAP
OLTP
OLAP
Cloud Computing
 Preciso falar que é uma tendência em TI?
 Não é para todo mundo, mas é um facilitador
 Pequenos podem se tornar grandes
 Windows Azure SQL Database
 Release contínuo de funcionalidade
 Azure Tables
 Espaço noSQL (MongoDB, Cassandra, BigTable, etc.)
 Database on the cloud ou database for the cloud?
 NuoDB
O volume de dados só cresce...
Há mais dados
armazenados por
empresa do que
na biblioteca do
Congresso dos
EUA
Volume de informações está crescendo em todo o mundo a uma taxa mínima
de 59% ao ano com 15% de dados dados estruturados e o resto composto de
novos tipos de dados complexos o que contribui para cenários de Big Data -
Donald Feinberg, Gartner IT Symposium, Outubro 2010
Big Data
 Explosão de dados = fenômeno “Big Data”
 The economist: “The data deluge”
 Bilhões de dados sendo gerados a cada
minuto ou segundo
 Aplicações crescem e maiores volumes de
dados têm que ser armazenados
 Necessidade de armazenar, catalogar,
explorar e fazer esse dado virar informação
Big Data
 Muitos da TI encaram esse volume de dados como CUSTO
 Mas deveriam ver os dados como uma OPORTUNIDADE
 O que é Big Data?
 É algo que fica entre medium data e gigantic data?
 Big Data é uma coleção de dados tão grande e complexa que fica
difícil de processar usando ferramentas de gerenciamento de banco de
dados ou aplicações tradicionais.
 A quantificação do valor (TB, PB) não é precisa e a cada evolução da
tecnologia o big dá um passo a mais
Big Data - Hadoop
Big Data - Hadoop
HDInsight
 https://www.hadooponazure.com/
 HDInsight
 http://www.windowsazure.com/enus/manage/services/hdinsight/introduction-hdinsight/
 http://www.windowsazure.com/en-us/manage/services/hdinsight/
Polybase
 Integração entre mundo relacional e hadoop (não-relacional)
 http://projectbotticelli.com/news/sql-server-2012-sp1-hekatonxvelocity-polybase-data-mining-office-sharepoint-2013
 http://www.zdnet.com/microsofts-polybase-mashes-up-sql-serverand-hadoop-7000007424/
 http://www.microsoft.com/en-us/sqlserver/solutionstechnologies/data-warehousing/polybase.aspx
 http://gsl.azurewebsites.net/Projects/Polybase.aspx
Appliances
 Parallel Data Warehouse v1
 PDW 2012





Up to 50x performance gains with the xVelocity updateable columnstore.
Up to 100x performance gains over legacy warehouses.
Seamless integration with “Big Data” using PolyBase.
Multi-petabyte data capacity.
2.5x lower price per terabyte than SQL Server 2008 R2 PDW and lowest
price per terabyte in industry.
 Configuração da “caixa” dispensa experts em diversas áreas na sua
empresa
Engine relacional
 Avanços no query optimizer (star join queries, desempenho, etc.)
 SQL Server 2012
 ColumnStore Indexes (não-cluster, não atualizável)
 Batch Processing
 Armazenamento por coluna apresenta muitas vantagens:
 Compressão
 Segment elimination
 Column elimination
 SQL Server vNext
 Clustered columnstore index
 Updatable
Engine relacional
 Projeto HEKATON = In-memory databases
 Não é pintable!
 Não necessita de appliance para executar, reutiliza mesmo hardware de
hoje
 Demonstração PASS 2012 = 30x ganho de desempenho
 Optimistic Approach (no latching)
 Código nativo in-memory
 Aceleração das transções
 Uma melhor b-tree
 http://research.microsoft.com/en-us/news/features/hekaton122012.aspx
Conclusão
 Talvez o mundo dos dados nunca foi tão empolgante como o que
estamos vivendo hoje!
 Cientistas de dados
Luciano Moreira [Luti]
@luticm
[email protected]
http://luticm.blogspot.com
SQL Server MVP | PASS RM |
MC* | MCM Wannabe
Obrigado.