Sistema Informatizado de Dados

Automatização das Bases de Dados
e a Geração de Indicadores para
APLs
Prof. Dr. Carla Rocha Aguiar
Engenharia de Software – Universidade de Brasília
[email protected]
http://fga.unb.br/carla.rocha
Agenda
 Contextualização
 Problema
 Sistema de Mineração de Dados
Contextualização
 Compra de Passagens Aéreas
Contextualização
 Compra de Passagens Aéreas
Contextualização
 Compra de Passagens Aéreas
 Variáveis Importantes na tomada de Decisão:
 Data Ida/Volta
 Preço
 Horário vôo
 Aeroporto
 Número de Conexões
 Classe do vôo
 Fidelidade Companhia Aérea
Contextualização
 Compra de Passagens Aéreas
 Problema
 Gestão Companhias Aéreas – Independente e
Descentralizado
 Necessidade do Usuário de Acesso centralizado e
padronizado de dados
 Solução
 Banco de Dados Único
 Padronização das Variáveis e Indicadores
Contextualização
 Compra de Passagens Aéreas
 Solução
 Banco de Dados Único
 Padronização das Variáveis e Indicadores
Contextualização
 Compra de Passagens Aéreas
 Solução
Contextualização
 Compra de Passagens Aéreas
 Solução
Problema
Base de Dados APLs
Variáveis e Indicadores para APLs
 Dados estão
Armazenados em
Bancos de Dados
Descentralizados
Variáveis e Indicadores para APLs
 Dados são
apresentados/armazenados
de forma não padronizada
Variáveis e Indicadores para APLs
 Dados são
apresentados/armazenados
de forma não padronizada
Variáveis e Indicadores para APLs
 Problema
 Manter a Gestão Compartilhada de dados,
variáveis e Indicadores de APLs
 Base de Dados Centralizado
 Padronização dos Dados e Cálculos dos
Indicadores
 Facilitar o Acesso e Manipulação dos Dados e
Indicadores para APLs
Variáveis e Indicadores para APLs
 Agilizar o processo de Análise
dos Dados
Solução:
Sistema de Mineração e
Transformação dos Dados
Sistema para Automatização das Bases de
Dados e Geração de Indicadores para APLs
Extração automática e Periódica de Dados
provenientes de diferentes fontes
2. Padronização dos Dados
3. Armazenamento dos Dados em um Banco de
Dados Único
1.
Sistema para Automatização das Bases de
Dados e Geração de Indicadores para APLs
Extração automática e Periódica de Dados
provenientes de diferentes fontes
1.

Padronização dos Dados
2.

3.
Mineração de Dados Web
Transformação dos Dados
Armazenamento dos Dados em um Banco de
Dados Único
 Modelagem Banco de Dados
Sistema para Automatização das Bases de
Dados e Geração de Indicadores para APLs
 Restrição
Mineração de Dados Web
Extração de variáveis/Indicadores na Web em Tempo Real
 A definir:
 Meta datas a serem
extraídos na Web
 Fontes web (portais,
páginas)
 Indicadores
(Fórmulas,
apresentação)
 Frequência de
Amostragem
Sistema para Automatização das Bases de
Dados e Geração de Indicadores para APLs
 Lista de Variáveis
a serem extraídas
 Variáveis da PIA (Pesquisa
Industrial Anual)
 Variáveis do PIM (Pesquisa
 http://www.ibge.gov.br/home/est
atistica/indicadores/industria/pi
mpfbr/defaulttab.shtm
 A url de uma tabela é sempre
do tipo:
 http://www.ibge.gov.br/home/est
atistica/indicadores/industria/pi
mpfbr/pim-pfbr_YYYYMM_T.shtm
Industrial Mensal)
Sistema para Automatização das Bases de
Dados e Geração de Indicadores para APLs

Lista de Variáveis a ser extraídas

Baseadas na CNAE 1.0

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2007.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2006.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2005.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2004.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2003.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2002.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2001.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_2000.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_1999.zip

http://www.ibge.gov.br/home/estatistica/economia/industria/pia/empresa
s/2010/defaulttabzip.shtm

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_2_0_2010.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_2_0_2009.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_2_0_2008.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_2_0_2007.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_1998.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_1997.zip

ftp://ftp.ibge.gov.br/Industrias_Extrativas_e_de_Transformacao/Pesquis
a_Industrial_Anual/Empresa2010/cnae_1_0_1996.zip
Automatização das Bases de Dados
e a Geração de Indicadores para
APLs
Prof. Dr. Carla Rocha Aguiar
Engenharia de Software – Universidade de Brasília
[email protected]
http://fga.unb.br/carla.rocha