baixar trabalho em pdf
Propaganda
UNIVERSIDADE DO SUL DE SANTA CATARINA MARCELO FEIJÓ VARGAS DATA WAREHOUSE E BIG DATA: INTELIGÊNCIA COMPETITIVA COM SOFTWARE LIVRE Florianópolis 2016 MARCELO FEIJÓ VARGAS DATA WAREHOUSE E BIG DATA: INTELIGÊNCIA COMPETITIVA COM SOFTWARE LIVRE Trabalho de Conclusão de Curso apresentado ao Curso de Especialização em Redes e Segurança da Informação da Universidade do Sul de Santa Catarina, como requisito parcial à obtenção do título de Especialista. Orientador: Profa. Vera Rejane N. Schuhmacher. Dra. Co-Orientador: Eder Carlos Querino. Esp. Florianópolis 2016 MARCELO FEIJÓ VARGAS DATA WAREHOUSE E BIG DATA: INTELIGÊNCIA COMPETITIVA COM SOFTWARE LIVRE Este Trabalho de Conclusão de Curso foi julgado adequado à obtenção do título de Especialista em Redes e Segurança da Informação e aprovado em sua forma final pelo Curso de Especialização em Engenharia de Redes e Segurança da Universidade do Sul de Santa Catarina. Florianópolis, 15 de fevereiro de 2016. ______________________________________________________ Profa. Vera Rejane N. Schuhmacher. Dra. Universidade do Sul de Santa Catarina “A única maneira de fazer um bom trabalho é amando o que você faz. Se você ainda não encontrou, continue procurando. Não se desespere. Assim como no amor, você saberá quando tiver encontrado.” Steve Jobs. RESUMO O BI, também conhecido por Inteligência de Negócios ou Inteligência Empresarial, é o conjunto de tecnologias orientadas a disponibilizar informação e conhecimento em uma empresa. Sua implementação inclui ferramentas como Customer Relationship Management (CRM), Data Mining, Data Warehouse, entre outras. Data Warehouse (DW) e Big Data (BD) são ferramentas cuja concepção e administração são voltados à bancos de dados ou um volume de dados para apoio à tomada de decisão. O surgimento de ferramentas que podem ser obtidas gratuitamente (ou a custos reduzidos), as médias e pequenas empresas começam a se beneficiar da utilização dessa tecnologia. Neste trabalho busca-se demonstrar a viabilidade de desenvolvimento de um DW e BD a partir de ferramentas distribuídas como software livre. Para tanto, utiliza-se o Pentaho como pacote de software livre para desenvolvimento e demonstra-se o uso do mesmo através de um exemplo da própria ferramenta. Ao final, espera-se contribuir para que as empresas adotem uma postura de trabalho mais voltada à gestão da informação e à criação de estratégias competitivas. Palavras-chave: Data Warehouse; Business Intelligence; Big Data; software livre; estratégias competitivas. ABSTRACT The BI, also known as Business Intelligence, is a set of technologies used to provide information and knowledge on a company. Its implementation includes tools like Customer Relationship Management (CRM), Data Mining, Data Warehouse, among others. Data Warehouse (DW) and Big Data (BD) is a tool whose design and administration are focused on databases or volume of data that support decision making. The emergence of tools that can be obtained for free (or low-cost), the medium and small businesses start to benefit from the use of this technology. The present study attempts to demonstrate the feasibility of developing a DW and BD from tools distributed as free software. In order to achieve this, the Pentaho is used as a free software package for DW development and it demonstrates the use of it through an example of the tool itself. With this work, it is expected to help companies to adopt a posture more focused on information management and on the creation of competitive strategies. Keywords: Data Warehouse; Business Intelligence; Big Data; free software; competitive strategies. LISTA DE ILUSTRAÇÕES Figura 1 - Representação do modelo dimensional.................................................................... 18 Figura 2 - Representação do modelo estrela ............................................................................. 19 Figura 3 - Representação do modelo floco de neves ................................................................ 19 Figura 4 - Drill-Down .............................................................................................................. 25 Figura 5 - Drill Up ................................................................................................................... 26 Figura 6 - Slice and Dice .......................................................................................................... 26 Figura 7 – Imagem mostra como Big Data pode dar retorno através de dados sobre o mercado. .................................................................................................................................................. 29 Figura 8 - Face do sistema Continuuity – EUA – 2012. .......................................................... 31 Figura 9 - Bubble Chart sobre educação e professores nos EUA – 2009. ............................... 32 Figura 10 - Arquitetura do Pentaho BI..................................................................................... 36 Figura 11 - Inicialização do Pentaho BI Plataform ................................................................. 38 Figura 12 - Login Pentaho ........................................................................................................ 39 Figura 13 - Menu Solutions ...................................................................................................... 39 Figura 14 - Visualização do exemplo disponível ..................................................................... 40 LISTA DE ABREVIATURAS E SIGLAS BI BD CRM DM DW ER ETC IBM JRE PCI PPL SAD SGBD OLAP TI - Business Intelligence - Big Data - Customer Relationship Management - Data Mining - Data Warehouse - Entidade Relacionamento - Extração, Transformação e Carga - International Business Machines - Java Runtime Environment - Pre-Configured Installation - Pentaho Public License - Sistemas de Apoio à Decisão - Sistema Gerenciador de Banco de Dados - On-line Analytical Processing - Tecnologia da Informação SUMÁRIO 1 INTRODUÇÃO ............................................................................................................................. 10 1.1 APRESENTAÇÃO .......................................................................................................................10 1.2 JUSTIFICATIVA .........................................................................................................................11 1.3 OBJETIVO GERAL .....................................................................................................................14 1.4 OBJETIVOS ESPECÍFICOS........................................................................................................14 1.5 METODOLOGIA .........................................................................................................................14 2 DATA WAREHOUSE .................................................................................................................. 16 2.1 CONCEITOS E CARACTERÍSTICAS DE DATA WAREHOUSE .............................................16 2.2 MODELAGEM DIMENSIONAL ................................................................................................17 2.3 ETAPAS PARA A CRIAÇÃO DE UM DW ...............................................................................21 2.4 EXTRAÇÃO, TRANSFORMAÇÃO E CARGA.........................................................................22 2.5 ON-LINE ANALYTICAL PROCESSING - OLAP ....................................................................24 2.6 OPERAÇÕES BÁSICAS EM DATA WAREHOUSE ...................................................................25 2.7 CONCLUSÃO ..............................................................................................................................27 3 BIG DATA ..................................................................................................................................... 28 3.1 CONCEITOS E MERCADO COM BIG DATA ...........................................................................28 3.2 GRANDES VOLUMES DE DADOS ..........................................................................................30 3.3 BIG DATA E O FUTURO ...........................................................................................................30 3.4 EMPRESAS E OS DADOS .........................................................................................................32 3.5 CONCLUSÃO ..............................................................................................................................33 4 PLATAFORMA PENTAHO ....................................................................................................... 34 4.1 PROCESSOS E DEFINIÇÕES ....................................................................................................34 4.2 LICENÇAS E FORMAS DE OBTENÇÃO DO PENTAHO .......................................................35 4.3 ARQUITETURA ..........................................................................................................................35 4.4 INSTALAÇÃO .............................................................................................................................37 5 CONCLUSÔES E TRABALHOS FUTUROS............................................................................ 41 REFERÊNCIAS .................................................................................................................................. 42 BIBLIOGRAFIA COMPLEMENTAR .....................................................................................................44 10 1 INTRODUÇÃO 1.1 APRESENTAÇÃO Quanto mais conhecimento a humanidade adquire, mais complexos se tornam os sistemas, as empresas e a sociedade. Os administradores de empresas passam a maior parte de seu tempo identificando e analisando informações que os levam às decisões necessárias para o gerenciamento de seus empreendimentos e negócios. Vários fatores contribuem para mudanças no modo de se tomar decisões estratégicas nos negócios e nas empresas (DATAMIND TECHNOLOGY CENTER, 1998). Pensando nisso, introduziu-se alguns conceitos no mercado, o primeiro e mais antigo, é o conceito de Data Warehouse (DW), com sua concepção e administração voltados a bancos de dados para apoio à tomada de decisão. Esse conceito consiste em organizar os dados corporativos da melhor maneira, para dar subsídio de informações para a tomada de decisão por parte dos gerentes e diretores das empresas. Tudo isso em um banco de dados paralelo aos sistemas transacionais da empresa. O Data Warehouse (DW) é uma ferramenta no contexto do Business Intelligence (BI). O BI, também conhecido por Inteligência de Negócios ou Inteligência Empresarial, é o conjunto de tecnologias orientadas a disponibilizar informação e conhecimento em uma empresa e inclui ferramentas como Customer Relationship Management (CRM), Data Mining (DM), Data Warehouse, entre outras (MACHADO, 2004). Outro conceito que surgiu no mercado chama-se Big Data, essa tecnologia descreve uma nova geração de arquiteturas, projetadas para economicamente extrair 11 valor de um grande volume, sobre uma grande variedade de dados, permitindo alta velocidade de captura, e/ou análise (GANTZ, 2011). Conhecer mais sobre essas tecnologias permite aos administradores descobrir novas maneiras de criar diferenciais para uma empresa em uma economia globalizada, deixando-os mais seguros para definirem metas e adotarem diferentes estratégias em uma organização. Assim, eles conseguem visualizar, antes de seus concorrentes, novos mercados e oportunidades, além de atuar de maneiras diferentes conforme o perfil de seus consumidores. Esta monografia contribui no sentido de conhecer alguns conceitos sobre Data Warehouse e Big Data. Além de analisar uma suíte completa de ferramentas computacionais que podem auxiliar nos processos de tomada de decisões, por intermédio de um Data Warehouse e Big Data. O presente trabalho está dividido em cinco capítulos. Este primeiro capítulo faz a apresentação do tema do trabalho, seguida da definição do problema e da justificativa desta pesquisa. Os objetivos gerais e específicos também são relacionados, finalizando com a descrição da metodologia a ser seguida para o desenvolvimento da pesquisa e para alcançar os objetivos. O segundo capítulo descreve conceitos de DW, modelagem dimensional, além de dar ênfase às etapas para construção de um DW, o processo de Extração, Transformação e Carga (ETC) dos dados, modelo dimensional OLAP (On-line Analytical Processing) e as operações básicas em um DW. No terceiro capítulo é apresentado a novo conceito chamado de Big Data. Por fim, no quarto capítulo são registradas as considerações finais e após, as referências bibliográficas que nortearam o desenvolvimento deste trabalho. 1.2 JUSTIFICATIVA Para competir no mercado e superar a concorrência, médias e pequenas empresas precisam saber mais sobre seus clientes, mercado e tecnologias. Torna-se necessário ter informações confiáveis e no momento certo (HEINRICHS e LIM, 12 2003). Um gerente, para tomar decisões, baseia-se em uma série de relatórios com informações da empresa. Ter informações em mãos é, portanto, um elemento importante para quem quer tomar decisões rápidas e que podem trazer vantagens na hora da competição. Algumas aplicações dão suporte às empresas no processo de tomada de decisão, pode-se destacar os Sistemas de Apoio à Decisão (SAD) e os sistemas de Business Intelligence (BI). Esses sistemas contam com algumas ferramentas para a sua construção, entre elas, estão os Data Warehouse (DW). Segundo Inmon (1997), “Data Warehouse (DW) é um conjunto de dados baseados em assuntos, integrados, não-voláteis e variáveis em relação ao tempo, para apoio às decisões gerenciais”. Kimball (1997), por sua vez, amplia esse conceito, incluindo um conjunto de ferramentas e técnicas de projeto que, quando aplicadas às necessidades específicas dos usuários, permite o planejamento e a construção do DW. Segundo Torres (1995), no mundo atual dificilmente se pode competir na grande maioria dos negócios sem o uso da Tecnologia da Informação (TI). Em outras palavras, existe um relacionamento muito grande entre a TI e o comportamento estratégico de uma organização. Nesse sentido, a TI não é apenas um elemento operacional ou integrante de produtos e serviços, pois tem seu valor estratégico em uma de suas funções mais tradicionais, que é o fornecimento de informações para a gestão. Dessa forma, um bom conjunto de informações de natureza estratégica pode tornar a empresa mais competitiva na medida em que melhora a tomada de decisão. O uso estratégico da informação tem se tornado uma necessidade cada vez mais clara para as empresas. Quando a informação é bem utilizada, ela pode agregar valor ao negócio, além de gerar outros benefícios para a empresa, como reduzir custos ou identificar novos nichos de mercado. Empresas de maior porte geralmente têm seus sistemas de informação construídos sob as plataformas de grandes fabricantes de hardware e software, como IBM, Oracle e Microsoft, os quais apresentam módulos próprios para BI. Entre as empresas de pequeno e médio porte, esse tipo de sistema tem aplicação limitada devido ao alto custo das ferramentas proprietárias. Essas empresas, pressionadas por custos, geralmente buscam soluções tecnológicas insuficientes, pois 13 não têm poder para investir nos recursos necessários para uma estratégia voltada à inteligência de negócios. Projetos de Business Intelligence e Big Data utilizam softwares para análise de padrões e gestão da informação, além de outros recursos, muitas vezes fora do seu alcance. No entanto, nos últimos anos vem ocorrendo uma interessante mudança para as empresas, que não envolve grandes investimentos em infra-estrutura tecnológica. Esta mudança está associada à existência de excelentes softwares livres e confiáveis, que podem ser utilizados de maneira muito profissional, como bancos de dados, suítes de escritório, bem como, programas para a implantação de BI e Big Data. A promessa inovadora do big data é a sua capacidade de tornar as redes complexas não apenas mais compreensíveis, mas também mais previsíveis e mais controláveis. A afirmação vem dos pesquisadores da novíssima Ciência das Redes (ZUPPO, 2013). Uma das principais colaborações da Ciência das Redes para as organizações que desejam desenvolver metodologias e ferramentas em big data vem da afirmação de que devemos ver os dados como parte de um ecossistema. Isso quer dizer que não deve existir uma abordagem a partir de uma única perspectiva e que todos os participantes da rede deverão ser levados em conta nos estudos das ameaças e oportunidades na modelagem de novos empreendimentos (ZUPPO, 2013). Em consistência com a diversidade dos dados existentes é necessário que a abordagem metodológica não seja prerrogativa de uma única ciência. Os dados que temos são universais, gerados por todos (usuários ou não da internet) e com um potencial de inovação que não deve respeitar fronteiras geográficas ou de domínio do conhecimento (ZUPPO, 2013). Diante dessas afirmações, e concordando com elas, aceitamos o desafio de esquematizar o que seria um ecossistema Big Data. A descrição mais básica de um sistema de geração de conhecimento a partir de dados digitais seria: a partir de dados armazenados, aplicamos tecnologias de processamento cujas informações geram insights para os tomadores de decisão (ZUPPO, 2013).. Portanto, a importância do BI e Big Data, no planejamento estratégico começam a ser sentida a partir do momento em que a pequena e média empresa 14 adotam uma postura de trabalho mais voltada à gestão da informação. Somente com informação íntegra e confiável é possível criar estratégias que atendam melhor seus clientes e colocar a empresa em um patamar de competitividade mais lucrativo. Com as ferramentas distribuídas sob a filosofia do software livre, as pequenas e médias empresas passam a se beneficiar da utilização dessa tecnologia, reduzindo seu custo de implantação. 1.3 OBJETIVO GERAL O objetivo geral desse trabalho é os mostrar os conceitos para a viabilidade de desenvolvimento de um Data Warehouse integrada à Big Data, a partir de um conjunto de ferramentas distribuídas como software livre. 1.4 OBJETIVOS ESPECÍFICOS Os objetivos específicos desse trabalho são: a) Descrever os conceitos de um Data Warehouse e Big Data b) Definir um pacote de software livre que pode ser utilizado para desenvolvimento de Data Warehouse e Big Data; 1.5 METODOLOGIA O presente trabalho de monografia para conclusão do curso foi dividido em duas etapas. Inicialmente, tem-se uma visão geral do trabalho, na qual descreveu a 15 apresentação do tema, bem como os objetivos, a justificativa, o cronograma, a metodologia e as referências bibliográficas. Ainda na primeira etapa, foi realizado um levantamento bibliográfico em que foram abordados os conceitos de Data Warehouse e Big Data, para inclusão em projetos de software livre para construção de uma plataforma integrada e completa, contemplando as tecnologias de Big Data e DW. Na segunda etapa foi apresentado e dado ênfase para a plataforma Pentaho, bem como a apresentação, configuração e instalação da mesma. Ao final, espera-se contribuir para que os usuários finais adotem uma postura de trabalho mais voltada à gestão da informação, com a informação íntegra e confiável, criando estratégias e, ainda, colocando a empresa em um patamar de competitividade lucrativo. 16 2 DATA WAREHOUSE Neste capítulo é apresentada uma descrição geral do que é um Data Warehouse (DW), juntamente com alguns conceitos relacionados. Entre os conceitos, destacam-se a modelagem dimensional, aplicada na fase de projeto de um DW, o processo de ETC (Extração, Transformação e Carga) e o OLAP (On-Line Analytical Processing), que permite visualizar e analisar grandes quantidades de dados. As etapas para a criação de um Data Warehouse também são discutidas, com alguns exemplos ilustrativos. 2.1 CONCEITOS E CARACTERÍSTICAS DE DATA WAREHOUSE Inicialmente, são analisadas algumas definições de Data Warehouse elaboradas por especialistas da área. Segundo Inmon (1997), idealizador do conceito, Data Warehouse “é uma coleção de dados integrados, orientados por assunto, variáveis com o tempo e não voláteis, usados para dar suporte ao processo gerencial de tomada de decisão”. A partir da definição de DW feita por Inmon (1997) e vista anteriormente, é possível encontrar as principais características de Data Warehouse, que são: • Integrado - A integração dos dados ocorre quando os dados são passados do ambiente transacional, através de diversas fontes de dados, para o ambiente de DW. Todo dado trazido dos sistemas transacionais para o ambiente de DW é, anteriormente, consolidado, de forma que passe a ter um único significado; • Orientado por assuntos - os dados do Data Warehouse são organizados de modo a facilitar a análise dos dados, para isso o DW contém informações orientadas a assuntos importantes para o negócio da empresa (análise de vendas) e não por aplicação, como em bancos de dados 17 transacionais (aplicação de vendas); • Variante no Tempo - os dados não são atualizáveis, ou seja, são relativos a um determinado instante de tempo, o que proporciona o armazenamento histórico dos dados; • Não volátil – significa dizer que o Data Warehouse permite apenas a carga inicial dos dados e consultas a estes dados, ou seja, após serem integrados, transformados e incluídos, os dados não podem ser alterados. 2.2 MODELAGEM DIMENSIONAL Nos bancos de dados relacionais, usados nos sistemas transacionais tradicionais, a redundância dos dados é evitada, sendo aceita somente em determinados casos em que é realmente necessária. Esta redundância é eliminada através de processos de normalização. A normalização das tabelas traz benefícios nos casos em que muitas transações são efetuadas, pois estas se tornam mais simples e rápidas. No caso de Data Warehouses, ocorre o contrário, as transações operam sobre um grande volume de dados e não são simples, nem freqüentes, não sendo conveniente a normalização das tabelas, pois no ambiente de Data Warehouse ocorrem poucas transações concorrentes e cada transação acessa um grande número de registros (PERNAS, 2003). Conforme Pernas (2003), outro ponto que distingue o banco de dados relacional do Data Warehouse está relacionado à modelagem dos dados. Enquanto que em um banco de dados relacional geralmente utiliza-se a modelagem Entidade– Relacionamento (ER), em um DW utiliza-se de uma modelagem lógica denominada de modelagem dimensional, também chamada de modelagem multidimensional. Assim, modelagem dimensional é a técnica utilizada para se ter uma visão multidimensional dos dados. Segundo Kimball (1997), a modelagem dimensional “é uma técnica de projeto lógico que busca apresentar os dados em uma estrutura padrão e intuitiva que 18 permite um acesso de alta performance”. Essa é uma técnica antiga usada para criar bancos de dados simples e compreensíveis. Um modelo dimensional é composto, basicamente, pela tabela de fatos e pelas tabelas de dimensões (Figura 1). A tabela de fatos traz o resultado da consulta, ou seja, os valores de medição representando transações ou eventos referentes aos negócios da organização e que podem ser passíveis de análise. Uma dimensão pode agregar sob nomes distintos, um conjunto de itens com características e posições próprias, tais como meses e trimestres em relação a um período anual (FROZZA, 2006). Figura 1 - Representação do modelo dimensional (FONTE: SHIGUNOV, 2007) Existem várias técnicas para fazer a modelagem dimensional, sendo as principais: o modelo estrela (Star Schema), que se assemelha a uma estrela, e o modelo floco de neves (Snow Flake). Dominante no projeto de DW (KIMBALL, 1997), a modelagem dimensional no modelo estrela possui as seguintes características: • Distingue bem as dimensões dos fatos medidos; • Simplifica a visualização dimensional; • É eficiente para a realização de consultas; • Acomoda mudanças mais facilmente. 19 A Figura 2 ilustra um esquema dimensional na forma de estrela para um DW de vendas, com as dimensões tempo, região, produto, vendedor, cliente e as medidas da tabela de fatos (valor das vendas, média das vendas). Figura 2 - Representação do modelo estrela No modelo floco de neves as tabelas de dimensão são normalizadas, evitam redundância e requerem mais junções para as consultas (Figura 3). Figura 3 - Representação do modelo floco de neves 20 De acordo com Barbieri (2001, p. 74), “a modelagem de dados é seguramente um dos fatores críticos de sucesso num projeto de Data Warehouse, e pode representar a fronteira entre o sucesso e o seu fracasso”. Como o modelo relacional trabalha com normalização, suas tabelas possuem menos registros e não têm redundâncias, apresentando assim uma melhor performance nas tarefas do dia-a-dia, como inclusões, alterações e exclusões de registros. Mas ele só é adequado para consultas simples de poucos registros. Para análises mais complexas, com um universo de registros maior, o modelo dimensional oferece uma melhor alternativa, economizando em junções com várias tabelas e armazenando dados que facilitam a análise das informações (HOKAMA et al., 2004, p. 32). Para se elaborar um esquema dimensional deve-se levar em conta a granularidade desejada para a análise. Granularidade se define como o nível com que os dados estão sumarizados. O grão é o maior nível de detalhamento. O nível adequado de granularidade deve ser definido de tal forma que atenda às necessidades do usuário, tendo como limitação os recursos disponíveis (SHIGUNOV, 2007). A granularidade afeta diversas características em um DW, como o número de diferentes cruzamentos de dados que podem ser realizados, a infra-estrutura e o espaço em disco necessário. Uma dimensão de um cubo é uma coleção de hierarquias de membros, organizados de maneira conveniente para análise. Um membro é um ponto em uma hierarquia de uma dimensão, determinado por um conjunto particular de valores de atributo. Um nível da hierarquia é uma coleção de membros que possuem a mesma distância da raiz da hierarquia. Cada hierarquia de dimensão está associada a um atributo da tabela de fatos (MACDONALD e RUBIK, 2007). 21 2.3 ETAPAS PARA A CRIAÇÃO DE UM DW Kimball (1997) propõe nove etapas para a criação de um banco de dados dimensional: a) selecionar o processo de negócio a ser modelado - sendo um processo executado na organização. Portanto, é importante não se referir a um departamento ou função de negócio da organização, já que se trata do processo do negócio. Um exemplo é um modelo dimensional único para tratar de dados de pedidos, em vez de criar um modelo dimensional para o departamento de vendas e um para o de marketing, em que ambos desejam acessar dados de pedidos; b) declarar o grão (nível de detalhes) do processo de negócio - declarar o grão significa especificar exatamente o que uma linha da tabela de fatos representa; c) escolher as dimensões que se aplicam a cada linha da tabela de fatos quando não há dúvidas a respeito do grão, geralmente as dimensões podem ser identificadas facilmente; d) identificar os fatos numéricos que preenchem cada linha da tabela de fatos - o interesse é analisar as medidas de desempenho do processo de negócio. Todos os fatos candidatos em um projeto devem ser verdadeiros para o grão definido na etapa da declaração do grão e fatos típicos são valores numéricos aditivos, como quantidade vendida ou valor de custo; e) armazenar os dados pré-calculados na tabela de fatos - para evitar possíveis inconsistências para o usuário final, todos os dados calculados são armazenados fisicamente na tabela de fatos; f) fazer a carga das tabelas de dimensão - neste ponto, a tabela de fatos está completa e o papel das tabelas de dimensão é fornecer entradas para a tabela de fatos diretamente de atributos dimensionais; g) preparar dimensões para suportar evoluções (mudanças) – verifica-se a possibilidade de determinados valores de atributos das tabelas de 22 dimensões, os quais dificilmente sofrem alterações, necessitarem de atualizações; h) definir a amplitude de tempo do histórico do banco de dados - ou seja, a duração do banco de dados. Esta escolha está relacionada com o período de tempo da tabela de fatos no Data Warehouse, de acordo com o processo de negócio da empresa; i) definir o espaço de tempo com que os dados devem ser extraídos e carregados no DW – define o intervalo de tempo do processo de extração de dados dos sistemas transacionais e sua conseqüente carga no DW. 2.4 EXTRAÇÃO, TRANSFORMAÇÃO E CARGA A etapa de ETC (Extração, Transformação e Carga) é uma das fases mais críticas de um Data Warehouse, pois divide-se em três fases (BORTOLINI, 2008): a) a fase de extração dos dados dos sistemas transacionais ou de outras fontes (planilhas, arquivos e textos); b) a fase de filtragem, que consiste basicamente em garantir a integridade dos dados; c) a fase de carga dos dados no Data Warehouse. Quando os dados são copiados de sistemas transacionais para o ambiente de Data Warehouse parece que nada além de simples extrações de dados de um local para outro está ocorrendo. Em virtude desta enganosa simplicidade, muitas vezes as empresas acabam perdendo tempo e dinheiro por ter que refazer toda esta parte de extração. A etapa de ETC tem influência em quase todas as nove etapas de criação de um DW definidas na seção anterior. A extração de dados do ambiente operacional para o ambiente de Data Warehouse demanda uma mudança na tecnologia, pois, muitas vezes, os dados são 23 transferidos de um banco de dados hierárquico, para uma nova tecnologia de SGBD (Sistema Gerenciador de Banco de Dados) para DW (BORTOLINI, 2008). Os bancos de dados transacionais armazenam as informações das transações diárias da empresa. São utilizados por todos os funcionários para registrar e executar operações pré-definidas, por isso seus dados podem sofrer constantes mudanças. Por não ocorrer redundância nos dados e as informações históricas não ficarem armazenadas por muito tempo, este tipo de banco de dados não exige grande capacidade de armazenamento (BORTOLINI, 2008). Um DW, por sua vez, armazena dados analíticos, destinados às necessidades da gerência no processo de tomada de decisões. Isto pode envolver consultas complexas que necessitam acessar um grande número de registros. Um DW armazena informações históricas de muitos anos e por isso deve ter uma grande capacidade de processamento e armazenamento dos dados, os quais se encontram em dois formatos: detalhados e resumidos (BORTOLINI, 2008). A seleção de dados do ambiente operacional pode ser muito complexa, pois, em geral, é necessário selecionar vários campos de um sistema transacional para compor um único campo no Data Warehouse (por exemplo, o percentual de lucratividade, que é dado pelo valor do custo sobre o valor da venda), ou integrar campos de vários sistemas transacionais em um campo com representação única no DW (por exemplo, um campo representando o sexo de uma pessoa). Ainda, os dados podem ser reformatados, por exemplo: um campo data do sistema transacional, do tipo DD/MM/AAAA, pode ser exportado para o outro sistema com o tipo ano e mês como AAAA/MM/DD (BORTOLINI, 2008). Podem existir várias fontes de dados diferentes para compor uma informação, que pode ser oriunda de uma planilha Excel, por exemplo, enquanto uma outra informação que serve para compor um mesmo fato vem de um arquivo texto. Quando há vários arquivos de entrada, a escolha das chaves deve ser feita antes que os arquivos sejam intercalados. Isso significa que, se diferentes estruturas de chaves são usadas nos diferentes arquivos de entrada, então se deve optar por apenas uma dessas estruturas (BORTOLINI, 2008). Os arquivos devem ser gerados obedecendo a mesma ordem das colunas estipuladas no ambiente de Data Warehouse. 24 Pode haver vários resultados e dados podem ser produzidos em diferentes níveis de resumo pelo mesmo programa de criação do Data Warehouse. Valores padrões devem ser fornecidos. Às vezes pode existir um campo no Data Warehouse que não possui fonte de dados. Então, a solução é definir um valor padrão para estes campos. Após a definição de como devem ficar os dados no Data Warehouse, há a necessidade de filtragem dos dados para colocá-los no padrão definido. Por exemplo, em um sistema transacional, o campo de sexo é preenchido como F ou M, e em um outro sistema este mesmo dado é preenchido com 0 ou 1. É justamente nesta hora que entra a parte de filtragem, que é transformar os dados para um padrão definido, que no exemplo pode ser F ou M. 2.5 ON-LINE ANALYTICAL PROCESSING - OLAP On-Line Analytical Processing (OLAP) significa analisar uma grande quantidade de dados para dar suporte ao processo decisório através de consultas ou análises feitas por analistas, gerentes e executivos. OLAP está associado à interface de consulta de dados no DW. O termo on-line implica que, até mesmo com a grande quantidade de dados envolvida, tipicamente muitos milhões de registros, ocupando muitos gigabytes, o sistema deve responder às consultas (queries) rápidas o suficiente para permitir uma exploração interativa dos dados (MACDONALD e RUBIK, 2007). OLAP emprega uma técnica chamada Multidimensional Analysis, ou Análise Multidimensional. Enquanto um banco de dados relacional armazena todos os dados na forma de linhas e colunas, um conjunto de dados multidimensional consiste em eixos e células (MACDONALD e RUBIK, 2007). As ferramentas OLAP permitem aos usuários analisar os dados em dimensões múltiplas, como produto, tempo e vendedor. Cada dimensão pode conter hierarquias, por exemplo, a dimensão tempo pode conter as hierarquias ano, mês e dia. Os dados nestas dimensões são agregados, ou seja, são resumidos, mas pode-se 25 navegar livremente de uma hierarquia para outra, até se chegar à máxima granularidade dos dados. 2.6 OPERAÇÕES BÁSICAS EM DATA WAREHOUSE Em um sistema de Data Warehouse, as principais operações disponíveis nas interfaces OLAP são: • Drill Down A operação Drill Down é utilizada para solicitar uma visão mais detalhada de um conjunto de dados. Conforme Machado (2004), quando o usuário aumenta o nível de granularidade, diminui o nível de detalhamento da informação, como mostra a Figura 4. • Drill Up Conforme Machado (2004), com a capacidade de Drill up o usuário pode navegar do nível de maior detalhe até o mais alto nível de maior sumarização de dados. Figura 4 - Drill-Down 26 Fonte: CARUSO - 2007 Figura 5 - Drill Up Fonte: CARUSO - 2007 • Slice and Dice A tradução livre é corte e picadinho. Possibilita selecionar apenas uma parte do cubo para análise dos dados. São operações para realizar a navegação dos dados na visualização de um cubo. Slice and Dice significa, em uma forma simplista, a redução do escopo dos dados em análise, além de mudar a ordem das dimensões, mudando desta forma a orientação segundo a qual os dados são visualizados (MACHADO, 2004). Figura 6 - Slice and Dice Fonte: CARUSO - 2007 27 2.7 CONCLUSÃO Para a elaboração de um Data Warehouse é de extrema importância ter conhecimento de sua estrutura e seus recursos. Com este capítulo, pode-se ter noção dos conceitos, características, e etapas para o desenvolvimento de um sistema de BI – Business Intelligence, no caso específico, um Data Warehouse. Observa-se a necessidade de seguir algumas regras para desenvolver um DW, as quais são: planejamento, obtenção da fonte de dados, modelagem dimensional, extração, transformação e carga dos dados e, por fim, as operações básicas em interfaces OLAP Drill Down, Drill Up e Slice and Dice, importantes para que o usuário saiba utilizar os recursos de navegação e detalhamento, sumarização das granularidades e enfim, a disponibilização dos dados para análise e posterior validação do usuário final. No caso desta monografia, este capítulo representa a fase de estudos sobre os conceitos e processos de desenvolvimento de um DW. 28 3 BIG DATA Neste capítulo mostraremos uma ideia geral sobre o novo conceito chamado Big Data, além de técnicas e ferramentas para extração de um grande volume de dados. O capítulo está organizado da seguinte forma, inicialmente será abordado os conceitos de Big Data, em seguida será tratado o futuro dessa técnica. Após isso explicaremos como o mundo empresarial anda fazendo com a utilização do Big Data, por fim as considerações finais. 3.1 CONCEITOS E MERCADO COM BIG DATA Já pensou uma situação onde dados de uma loja virtual que vende tanto para o Brasil como para o exterior, rodando numa plataforma que não suporte nem metade das informações contida em seu banco de dados, e ainda seu retorno e extração deveria ser em tempo real? Há alguns anos atrás o mercado sofria com essas situações apesar de que seu volume de dados não era tão imenso como é hoje. Com tantas informações para serem gerenciadas as empresas terão que buscar um modo de lidar com essa montanha de informações e coletar apenas os dados de valor para os negócios. Um estudo foi feito recentemente pela Oracle informavam que a falta de controle de dados faz as empresas perderem em média 14% de seu faturamento. Um bom exemplo mesmo é a bolsa de valores que antigamente, mesmo possuindo grandes dados, fazia suas transações de negócios na própria bolsa, em cada cidade de todos os pais, o famoso pregão viva-voz. Hoje essas transações são cada vez mais realizadas em tempo real. O mercado está cada dia mais consciente que informação é tudo para os negócios, investir em dados está dando a muitas empresas grandes retorno financeiro e a visão de como interagir com esses dados tirando 29 proveito dos mesmos. Hoje as corretoras se organizam e possuem ferramentas que tem o objetivo de gerenciar e retornar dados que darão um norte aqueles que pretendem investir. Abaixo a Figura 07 retirada do site visual.ly mostra como o Big Data pode mapear grande informações e apresentá-los de forma simples ao mundo. Figura 7 – Imagem mostra como Big Data pode dar retorno através de dados sobre o mercado. Fonte: VISUAL. LY – 2012. O Business Intelligence já era bem chamativo para o setor de análise de dados e negócios quando o Big Data apareceu se mostrando bem mais atrativo e rápido para as respostas, que necessitavam de maior precisão em seu retorno. Hoje no século 21 “Inteligência de Negócio” é o carro chefe tanto para o mundo Business Intelligence como para o mundo de TI. Na feira CeBit na Alemanha o Big Data foi mostrado como o mais novo meio de pesquisa de negócios, como no filme Moneyball com Brad Pitt onde ele usa ferramentas e o conceito do Big Data para coletar dados com o objetivo de formar o melhor time de beisebol, assim popularizando a ideia. 30 3.2 GRANDES VOLUMES DE DADOS Em 2014, durante a Copa do Mundo, o Big Data foi utilizado, mostrando como o método de extração e análise de dados, esta cada vez mais tomando espaço no mercado, a metodologia que pode prever os negócios. Também usado nos Jogos Olímpicos o método está crescendo cada vez mais. Hoje a busca por cientista de dados esta imensa, salários altíssimos para esses profissionais. Em reportagem do jornal O Globo, o executivo de operações da EMC, Pat Gelsinger, afirmou que o mercado global de Big Data já movimenta US$ 70 bilhões por ano. (DARROW, 2012, s/p) Muitas novas ferramentas foram criadas para à utilização desses métodos de análise de grandes dados, no Vale do Silício várias empresas criam projetos que procuram imitar a eficaz ferramenta de análise de dados construído pelo Google que usa a metodologia do Big Data. 3.3 BIG DATA E O FUTURO Como foi dito anteriormente o acúmulo de dados tem sido imenso de uns tempos para cá e nos últimos anos esse volume absurdamente cresceu. Com estudos e pesquisa de que isso seria um problema empresas como Yahoo, Amazon, Intel, IBM e outros se dedicaram a essa solução, tanto para aumento financeiro como inovação de mercado. A Amazon que oferece um conjunto de serviços baseados em Cloud Computing como o seu Amazon Web Services (AWS) e Amazon Elastic MapReduce, torna mais fácil e econômico aos clientes extrair e processar informações de grandes volumes de dados, volume esse que é através do AWS, tem a análise de mapeamento, análise de dados de serviços e análise de logs da web, principalmente, entre outros. 31 Abaixo matéria tirada da ComputerWorld Blakeley mostra os investimentos dessa técnica. A Mazda Motor Corp, que possui 900 revendedores e 800 funcionários nos EUA, gerencia cerca de 90 terabytes de dados. O arquiteto de infraestrutura das operações da Mazda na América do Norte, Barry Blakeley, diz que as unidades de negócios e os revendedores estão gerando quantidades cada vez maiores de arquivos de dados analíticos, materiais de marketing, bases de dados para inteligência de negócios, dados do Microsoft SharePoint e muito mais. "Temos tudo virtualizados, incluindo o armazenamento", afirma Blakeley. (BRANDON,2011, s/p) Recentemente o Yahoo e o Facebook investiram na análise de grande dados e adotou um serviço em uma nova plataforma chamada Continuuity, sendo em nuvem é um ambiente de desenvolvimento em tempo de execução que fica em cima da infraestrutura do Hadoop e abstrai a complexidade de escrever apps. Abaixo a Figura 08 mostra a interface dessa ferramenta que tem como objetivo extrair grandes informações geradas por essas redes sociais. (HARRY, 2015) Figura 8 - Face do sistema Continuuity – EUA – 2012. Fonte: CONTINUUITY – 2012. Mas é a IBM que está investindo pesado, já tem um web site educacional com direito a vídeo aulas, material, downloads das ferramentas e certificações, mostrando como o Big Data funciona e as ferramentas utilizadas. A buscar por grandes dados de forma organizada estão aumentando cada vez mais entre as empresas, como é o caso da Terada, HP, Walmart, Google e muitos outros gigantes que estão aproveitando essa febre. 32 3.4 EMPRESAS E OS DADOS Tanto o BigSheets, Hadoop e o MapReduce são excelentes ferramentas utilizadas para o levantamento de grandes dados. Em diversos sistemas, como as cotações da bolsa, são gigantescas, precisando muitas vezes ser simples de ser analisada, o Big Data já foi recomendando para ser utilizado na área de cotações da bolsa, mas por falta de profissionais na área encontrasse só em especulações. Com o Hadoop é possível iniciar uma busca organizada por esses valores colocando palavras chaves, retornando com isso algumas informações que ainda pode ser peneirada para um melhor entendimento. No caso do BigSheets essas respostas são bem mais rápidas e eficientes buscando através do twitter ou facebook dados estatísticos para ser aplicado no negocio. Um dos módulos interessantes das ferramentas do Big data é o bubble chart ‘gráfico de bolhas’ ele mostra de uma forma bem macro todas as informações desejadas e uma visão de como será aplicadas, pode passar o mouse sobre cada bolha para ver o que os projetos têm e quanto eles valem. Abaixo um exemplo do bubble chart é a Figura 09, que mostra resultados obtidos através do BigSheets. Figura 9 - Bubble Chart sobre educação e professores nos EUA – 2009. Fonte: OUSEFUL.INFO – 2009. 33 3.5 CONCLUSÃO Os conceitos vistos para a elaboração desse trabalho foram técnica de mapeamento de análises, as ferramentas open source usadas nesse processo, como o meio empresarial está aceitando a ideia e qual as vantagens que essa nova metodologia está trazendo para os negócios, tornando assim mais fácil a buscar por informações. Os resultados encontrados através da busca feita pelas ferramentas que rodam o Hadoop em sua plataforma trouxeram em formas de gráficos e números dados que antes não tinham um retorno tão direto e tão rápido, utilizado anteriormente pelas ferramentas Business Intelligence. Mesmo essa técnica sendo nova, existe muitas empresas que estão começando a buscar informações sobre o Big Data e o valor que os dados têm para os negócios, fazendo com que seja fácil disseminar essa ideia tanto no Brasil como em outros países. Quando começarmos a utilizar essa técnica para buscar informações do dia a dia de alguma empresa, fazendo uma avaliação de simples palavras, cruzando assim dados e disponibilizando informações sobre qual empresa será mais viável para investir e uma previsão sobre o futuro da empresa que estiver em análise. O Big Data se for usado de maneira correta, permite também aos analistas identificar tendências e dá ideias de nicho que ajudam a criar valor e inovações muito mais rápido do que os métodos convencionais. 34 4 PLATAFORMA PENTAHO Neste capítulo é apresentada uma descrição geral da plataforma Pentaho, juntamente com algumas definições e processos. Logo após, é abordado como pode ser obtida e sua licença de uso. Ainda, descreve-se a arquitetura do Pentaho, sua instalação, como funciona o Mecanismo de Solução e os demais componentes que formam a arquitetura. 4.1 PROCESSOS E DEFINIÇÕES A plataforma Pentaho é um conjunto de software open source para criação de soluções de BI (Business Intelligence) e Big Data. Ela possui ferramentas para atender ao processo de criação de soluções de BI de ponta-a-ponta, integrada à uma gama de opções para banco de dados e outras ferramentas. (TEMATEC, 2008) Quando uma organização precisa tomar uma decisão é indispensável ter dados corretos e disponíveis para consulta. Para conseguir isso, ela deve tratar e consolidar as informações armazenadas nos sistemas e fontes de dados que apóiam seu negócio em um repositório centralizado, criando “uma única versão da verdade”, limpa e confiável (processo ETC). Depois, pessoas que entendem do negócio da empresa devem ter acesso a esse repositório e, usando ferramentas de visualização e exploração de dados, interpretá-los para finalmente tomar uma decisão (TEMATEC, 2008). O conjunto destes componentes de softwares, dados, operações e processos usados para atender uma necessidade específica, para tomar uma decisão, são chamados de solução. A Pentaho Inc. integrou e promoveu o desenvolvimento de várias ferramentas open source que fornecem os recursos necessários para criação de soluções de BI e Big Data. Esse conjunto é conhecido por Pentaho Open BI Suite e 35 inclui ferramentas para consolidar dados de fontes diversas, criar interfaces visuais para exploração desses dados e montar soluções para necessidades específicas (TEMATEC, 2008). 4.2 LICENÇAS E FORMAS DE OBTENÇÃO DO PENTAHO A plataforma Pentaho é distribuída como código aberto, através da Licença Pública da Pentaho (PPL - Pentaho Public License). A PPL é uma licença para software livre de código aberto, similar à Licença Pública do Mozilla (versão 1.1) (PENTAHO, 2015). A plataforma Pentaho pode ser baixada gratuitamente, através do endereço http://www.sourceforge.net/projects/pentaho. Existem várias versões disponíveis. Através do endereço http://www.pentaho.org pode-se ter acesso a um wizard que ajuda a determinar a versão correta para cada caso. Para iniciantes, é recomendável fazer o download de uma versão de demonstração. Estas versões incluem uma aplicação pré-configurada em um servidor Jboss, juntamente com alguns exemplos e dados em um servidor Sun Microsystems JRE. 4.3 ARQUITETURA O projeto Pentaho BI é constituído de um conjunto completo de ferramentas de BI e bibliotecas que fornecem funcionalidades de BI aos desenvolvedores. É uma solução com suporte a relatórios, análises, data mining, workflow e big data através de uma série de componentes que podem ser distribuídos juntos ou separados (PENTAHO, 2015). 36 O servidor roda de acordo com o padrão de servidores Java, tais como Apache TomCat e JBoss. Ele utiliza um método de desenvolvimento, distribuição e suporte que torna possível o modelo de negócios open source (PENTAHO, 2015). A Figura 10 apresenta a arquitetura do Pentaho, a qual é composta por componentes de integração de dados, infra-estrutura e apresentação dos dados e a origem destes dados. Figura 10 - Arquitetura do Pentaho BI Fonte: PENTAHO - 2015 O Pentaho abrange, principalmente, as seguintes áreas de aplicação (PENTAHO, 2015): • Relatórios (Reporting): Fornece desde simples relatórios em uma página web, até relatórios de alta qualidade, tais como relatórios de indicações financeiras e relatórios ricos em conteúdos, como tabelas, gráficos, entre outros; • Análises (Analysis): Permite consultas, exploração interativa com operações slice-and-dice, drill-down e pivoting. Inclui front-end gráfico para exploração dos cubos OLAP; • Painéis (Dashboards): Reúne relatórios, análises e outras exposições em um único local para simplificar o acesso, podendo ser customizado por 37 usuário ou assunto; • Data mining: Descobre relacionamentos ocultos nos dados, que podem ser utilizados para otimizar os processos de negócio e prever resultados futuros. Permite que os resultados sejam exibidos em um formato de fácil entendimento ao usuário; • Workflow: Liga diretamente as medidas de desempenho de negócio aos processos, promovendo um ciclo contínuo de melhorias. • Big Data: Fornece algumas ferramentas de desenvolvimento que permitem extrair e preparar os dados para que analistas de dados e negócios possam tomar decisões. Todos os componentes da plataforma são de código aberto. O projeto Pentaho BI oferece uma solução que pode ser utilizada por desenvolvedores Java, os quais podem utilizar os componentes do projeto para montar rapidamente soluções BI sob medida. O Pentaho pode ser utilizado por empresas desenvolvedoras de software para adicionarem as funcionalidades de BI em seus produtos. O projeto pretende, ainda, permitir que usuários finais tenham acesso a soluções de BI com a qualidade dos softwares comerciais tradicionais, porém com um custo bem mais acessível. 4.4 INSTALAÇÃO A instalação pré-configurada (biserver-ce-5.0.1-stable), usada neste trabalho, é uma instalação completa de servidor, projetada para avaliar as características da plataforma de BI Pentaho. A suíte disponibiliza um servidor de aplicação pré-configurado, bases de dados de aplicação pré-povoadas, dados de amostra e exemplos plenamente funcionais. Há uma versão do PCI que inclui o Java Runtime Environment (JRE) também. O desempenho desta instalação depende de muitos fatores, mas ela deve executar sem problemas em quase todas as plataformas e configurações. 38 O processo de instalação é bastante simples: • Cria-se uma nova pasta no disco rígido, selecionando-se um nome e localização, preferencialmente na raiz do disco; • Assegura-se que o diretório contenha espaço suficiente (aproximadamente 1GB); • Utiliza-se uma ferramenta de descompactação para extrair na nova pasta os arquivos copiados; • Para executar o PCI usa-se o arquivo start-pentaho.bat e aguarda-se a inicialização. Deve aparecer na tela a mensagem “[STDOUT] [pt_47] Pentaho BI Platform server is ready” (Figura 11); Figura 11 - Inicialização do Pentaho BI Plataform • Abre-se o browser e informa-se o endereço http://localhost:8080; • Seleciona-se o usuário Admin e senha Password (Figura 12); 39 Figura 12 - Login Pentaho • Escolhe-se no botão Browse Files a opção Public, e após isso, Steel Wheels, que contém alguns exemplos (Figura 13); Figura 13 - Menu Solutions • Deve-se escolher Dashboards, no qual há um exemplo disponível para visualização (Figura 14). 40 Figura 14 - Visualização do exemplo disponível 41 5 CONCLUSÔES E TRABALHOS FUTUROS As contribuições deste trabalho acadêmico consistem no estudo de uma tecnologia existente para o auxílio às empresas que têm limitações no desenvolvimento de aplicações para a tomada de decisão. Com a suíte de ferramentas Pentaho, o desenvolvedor pode criar aplicações completas para Business Intelligence e Big Data. As contribuições de cunho social baseiam-se no fato de que este estudo serve como base para a disseminação de tecnologias de software livre, tanto para conhecimento e construção de um Data Warehouse, quanto para adquirir conhecimento e criação da nova tecnologia de Big Data em pequenas empresas no Brasil e para o domínio da mesma, além da redução no seu custo. Diante deste cenário, foi descrito alguns conceitos sobre Data Warehouse, também foi descrito sobre Big Data, e sobre todo o ecossistema a qual faz parte dentro da novíssima Ciência das Redes, bem como a plataforma Pentaho, um software livre capaz de coletar, consolidar e analisar informações referentes às práticas institucionais que possam futuramente servir de base para uma melhor compreensão e um melhor planejamento de qualquer empresa interessada em desenvolver um DW ou Big Data. Os objetivos específicos propostos para o trabalho foram alcançados. Foi apresentada a plataforma Pentaho BI, com a descrição de sua arquitetura e as tecnologias que compõe esta suíte. Como alternativas de trabalhos futuros, sugere-se aplicar os conhecimentos aqui apresentados e aprofundar o conceito de Ciência das Redes, aplicarem em um caso de empresa real, com o objetivo de validar as informações que podem ser obtidas com o uso de um Data Warehouse e Big Data. Para estudos mais avançados, a plataforma Pentaho BI também disponibiliza ferramentas para a realização de processos de mineração dos dados (Data Mining). O estudo destas ferramentas abre outras frentes para descoberta do conhecimento em bancos de dados corporativos. 42 REFERÊNCIAS BARBIERI, C. Business Intelligence: modelagem e tecnologia. Rio de Janeiro: Axcel Books, 2001. BORTOLINI, A. L. de. Um projeto de data warehouse. Disponível em: <http://materdei.ceicom.com.br >. Acessado em: 15 dez. 2015. HOKAMA, D. D. B. et al. A modelagem de dados no ambiente Data Warehouse. 2004. 121 f. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) – Faculdade de Computação e Informática, Universidade Presbiteriana Mackenzie. DARROW, BARB, Amazon Launches home-grown NoSQL database, Disponível em: <http://gigaom.com/cloud/amazon-launches-home-grown-nosql-database>. Acessado em: 20 dez. 2015. DATAMIND TECHNOLOGY CENTER. Agent network technology. Disponível em: <http://datamindcorp.com/paper_agetnetwork.html>. Acessado em: 02 dez. 2015. HARRY, D. For now, Sparks looks like the future of big data. Disponível em: <https://gigaom.com>. Acessado em: 20 dez. 2015. HEINRICHS, J. H.; LIM, J. Integrated web-based data mining tolls with business models for knowledge management. Decision Support Systems, v. 35, n. 1, p. 103112, 2003. HOKAMA, D. D. B. et al. A modelagem de dados no ambiente Data Warehouse. 2004. 121 f. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) – Faculdade de Computação e Informática, Universidade Presbiteriana Mackenzie. INMON, W. H. Como Construir o Data Warehouse. Rio de Janeiro: Campus, 1997. 387 p. KIMBALL, R. Data Warehouse Toolkit. São Paulo: Makron Books, 1997. 388 p. MACDONALD, G. C.; RUBIK, J. R. Pesquisa e seleção de ferramentas livres e baseadas em padrões de sistemas abertos para a elaboração de interfaces OLAP sobre a web. 2007. 114 p. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) - Departamento de Informática e Estatística, Universidade Federal de Santa Catarina, Florianópolis, 2007. MACHADO, F. N. R. Tecnologia e projeto de Data Warehouse: uma visão 43 multidimensional. São Paulo: Érica, 2004. 318 p. MICROSOFT. Microsoft Corporation. Disponível em: <http://www.microsoft.com>. Acessado em: 01 dez. 2015. SHIGUNOV, F. Uma Aplicação OLAP sobre a Web para Análise dos Dados do Vestibular da UFSC e Diretrizes para a sua Integração com GIS. 2007. 88 f. Trabalho de Conclusão de Curso (Bacharelado em Sistemas de Informação) Departamento de Informática e Estatística, Universidade Federal de Santa Catarina UFSC, Florianópolis. TEMATEC. Por dentro da Pentaho Open BI Suite: Conceitos, Arquitetura e Componentes. Disponível em: <http://br.groups.yahoo.com/group/pentahobr/>. Acessado em: 05 dez. 2015. TORRES, N. A. Competitividade empresarial com a tecnologia de informação. São Paulo: Makron Books, 1995. 230 p. ZUPPO, D. ; COSTA, L. S.; FERNANDES, S. Big Data: Estudo do Ambiente, Desafios e Analise Estratégica para o Brasil. 2013. 56 f. Trabalho de Conclusão de Curso (Pós-graduação em Engenharia de Produção) - COPPE, Rio de Janeiro. 44 BIBLIOGRAFIA COMPLEMENTAR BALLARD, C.; HERREMAN, D. Data Modeling Techniques for Data Warehousing. IBM, International Technical Support Organization, February, 1998. BISPO, C. A. F. Uma Análise da Nova Geração de Sistemas de Apoio à Decisão. 1998. 174 f. Dissertação (Mestrado em Engenharia de Produção) - Departamento de Engenharia da Produção, Universidade de São Paulo - USP, São Paulo. GANTZ, D. R. J. Extracting Value from Chaos. Framingham, MA, 2011. Disponível em: http://www.emc.com/collateral/analyst-reports/idc-extracting-value-from-chaosar.pdf. Acessado em: 20 dez. 2015. FELBER, E. J. W. Proposta de uma ferramenta OLAP em um Data Mart comercial: Uma aplicação prática na industria calçadista. 1997. 156 f. Trabalho de Conclusão de Curso (Bacharelado em Ciência da Computação) – Instituto de Ciências Exatas e Tecnológicas, Centro Universitário Feevale, Novo Hamburgo, 1997. PENTAHO. Pentaho Open Source Business Intelligence. Disponível em: <http://www.pentaho.com>. Acessado em: 12 dez. 2015.
