CAPA - Projetos

Propaganda
UNIVERSIDADE FEDERAL DE SANTA CATARINA
Rodrigo Benincá Machado
APLICAÇÃO DO PROCESSO DE DESCOBERTA DE CONHECIMENTO
EM BASE DE DADOS POPULACIONAIS
Florianópolis, 2004
UNIVERSIDADE FEDERAL DE SANTA CATARINA
Rodrigo Benincá Machado
APLICAÇÃO DO PROCESSO DE DESCOBERTA DE CONHECIMENTO
EM BASE DE DADOS POPULACIONAIS
Rascunho do projeto de conclusão de curso
submetido à Universidade Federal de Santa Catarina
como parte dos requisitos para obtenção
da nota final da disciplina de Projetos I.
Orientador:
Paulo José Ogliari
Banca Avaliadora: José Messias Bastos
Paulo F. Andrade
Florianópolis, 2004
Sumário
Capítulo 1 – Apresentação do Trabalho
1.1 Introdução
1.2 Objetivos
1.3 Justificativa
1.4 Metodologia
1.5 Estrutura do trabalho
Capítulo 2 – Uma Visão Geral de Data Mining
2.1 A evolução dos sistemas de banco de dados
2.2 Definindo Data Mining
2.3 As etapas do processo de descoberta de conhecimento
2.4 A arquitetura do Data Mining
2.5 Padrões que podem ser encontrados
2.6 Importância dos padrões encontrados
2.7 Classificação dos sistemas de Data Mining
Capítulo 3 – Dicionário de Dados
Capítulo 4 – Bibliografia
1
1
1
1
2
2
3
3
5
6
7
8
8
8
9
9
1
Capítulo 1 – Apresentação do Trabalho
1.1 Introdução
A cada 10 anos o IBGE – Instituto Brasileiro de Geografia e Estatística – realiza o
censo da população pesquisando de maneira completa, para o conjunto da população,
variáveis demográficas, nupcialidade e fecundidade, trabalho, educação, renda e
características dos domicílios. É operacionalizado em dois estágios, o primeiro através da
aplicação de um conjunto de questões básicas a toda a população e, o segundo, abordando
uma amostra através de um questionário mais completo.
Em todo o território nacional foram selecionados 5.304.711 domicílios para responder
ao questionário da amostra, o que significou uma fração amostral da ordem de 11,7%.
O presente trabalho de conclusão de curso pretende aplicar o processo de descoberta
de conhecimento na base de dados do censo demográfico brasileiro do ano 2000, fornecida
pelo IBGE, analisando as características populacionais dos municípios de Criciúma e
Florianópolis, conforme descritas nos objetivos abaixo.
1.2 Objetivos
O objetivo geral desse trabalho de conclusão de curso é utilizar o processo de
descoberta de conhecimento (KDD – Knowledge Discovery in Database) para traçar o perfil
sócio-econômico dos municípios de Criciúma e Florianópolis e encontrar padrões,
probabilidades ou fatos que não são facilmente identificáveis.
1.3 Justificativa
A obtenção do conhecimento tornou-se muito importante em nossa sociedade atual.
Tanto instituições privadas quanto as públicas precisam de informações para tomarem as
decisões mais adequadas para seu negócio.
Para as instituições governamentais, é apenas através dos censos populacionais que se
obtém informações sobre a situação de vida da população de uma determinada região. São os
censos que fornecem informações necessárias para a definição de políticas públicas
municipais, estaduais ou federais e para a tomada de decisões de investimentos, sejam eles
provenientes da iniciativa pública ou privada ou de qualquer nível de governo (IBGE, 2004).
2
Esse trabalho de conclusão de curso, como citado nos objetivos, visa utilizar o
processo de descoberta de conhecimento para traçar o perfil das cidades de Criciúma e
Florianópolis e encontrar padrões, probabilidades ou fatos que poderiam ser utilizadas como
auxilio na tomada de decisões.
1.4 Metodologia
A metodologia de desenvolvimento desse trabalho pode ser dividida em três partes
distintas: revisão bibliográfica, o estudo da base de dados e a aplicação desse conhecimento
na mineração da base de dados selecionada. Essas três atividades podem ser realizadas
paralelamente no decorrer do desenvolvimento desse trabalho.
A revisão bibliográfica abrangerá a estudo dos conceitos necessários para a realização
de um processo de descoberta de conhecimento. Também se faz necessário levantar
informações sobre os dois municípios em estudo, Criciúma e Florianópolis, para ter-se
embasamento técnico suficiente para compreender os resultados encontrados durante o
processo e apontar os motivos que levaram a essa diferença entre os dois municípios.
O estudo da base de dados selecionada para o trabalho inicia através de seu dicionário
de dados e mapas dos municípios em análise. O conhecimento obtido nesse estudo será
utilizado durante a primeira etapa do processo de descoberta de conhecimento, a preparação
dos dados.
Com o embasamento teórico e o estudo da base de dados concluídos inicia-se a parte
prática desse trabalho, que é a aplicação do processo de descoberta de conhecimento. Serão
aplicadas todas as etapas do processo de descoberta de conhecimento com exceção da fase de
aplicação das descobertas e avaliação dos resultados.
1.5 Estrutura do trabalho
[nesse rascunho não será apresentado esse tópico, apenas no documento final a ser
apresentado no próximo semestre]
3
Capítulo 2 – Uma Visão Geral de Data Mining
Nessa parte do trabalho é apresentada a evolução da tecnologia de banco de dados
desde meados de 1960 até os dias atuais, a importância do data mining, sua arquitetura e o
possível ganho de conhecimento obtido com a mineração dos dados. Também são
apresentados os tipos de padrões que podem ser encontrados e como distinguir quais deles
realmente apresentam conhecimento útil.
A grande razão pela qual data mining tem atraído a atenção da indústria da informação
nos últimos anos é devido a disponibilidade de grandes quantidades de dados e a eminente
necessidade de transformar esses dados em informação útil e conhecimento. A informação e
conhecimentos obtidos podem ser utilizados desde aplicações de business management,
controle de produção e análise de mercado até aplicações de projetos de engenharia e
exploração científica.
2.1 A evolução dos sistemas de banco de dados
Data mining pode ser visto como um dos resultados da evolução natural da tecnologia
da informação. Um caminho evolutivo pode ser visto na indústria de banco de dados pelo
desenvolvimento das seguintes funcionalidades: coleção de dados e criação de base de dados;
gerenciamento de dados (incluindo recuperação e base de dados de processamento
transacional) e, entendimento e análise de dados (envolvendo data warehouse e data mining).
A figura 1 mostra a evolução da tecnologia de banco de dados.
A partir dos anos sessenta, a tecnologia da informação e banco de dados tem se
envolvido sistematicamente desde os primitivos sistemas de processamento de arquivos até os
sofisticados e poderosos sistemas de banco de dados. Com a evolução da tecnologia de banco
de dados os usuários ganharam um acesso mais flexível e conveniente aos dados através de
linguagens de consulta, interfaces gráficas com o usuário, otimização no processamento de
consultas e gerenciamento de transação. Métodos eficientes para processamento de transações
on-line (OLTP), onde a consulta é vista como uma transação somente de leitura, tem
contribuído para a evolução e aceitação em larga escala da tecnologia relacional como a
principal ferramenta para armazenamento eficiente dos dados, recuperação e gerenciamento
de grande quantidade de dados.
4
A evolução no hardware dos computadores conduziu a popularização e ao aumento do
poder de processamento dos mesmos. O hardware é o grande impulsionador da indústria de
banco de dados e da informação, e aumenta a disponibilidade de banco de dados e
repositórios de informação para gerenciamento de transação, recuperação de informação e
análise de dados.
(1960) Coleção de Dados e Criação de bases de dados
- Processamento primitivo de Arquivos
(1970 – 1980) Sistemas Gerenciadores de Banco de Dados
- Sistemas Hierárquicos
- Sistemas Relacionais
- Ferramentas de modelagem de dados: modelo entidade-relacionamento
- Indexação e técnicas de organização de dados: Árvores B+, hashing
- Linguagens de consulta: SQL
- Mecanismos de otimização de consultas
- Gerenciamento de transações: recuperação de falhas, controle de concorrência
- Processamento de transações on-line (OLTP)
(1985 – presente) Avanço nos Sistemas
de Banco de Dados
- Avanço nos modelos de dados:
extended-relational, orientado a objeto,
objeto-relacional
-Orientado a aplicação: geográficos,
temporais, multimídia, ativos, científicos,
bases de conhecimento
(1990 – presente) Sistemas de Baco de
Dados baseados na WEB
- Sistemas de banco de dados baseados
em XML
- Web mining
(1990 – presente) Data Warehouse e Data
Mining
- Data Warehouse e tecnologia OLAP
- Data Mining e descoberta de conhecimento
(2000 - ...) Nova geração de Sistemas de
Informação Integrados
Figura 1 - A evolução da tecnologia de banco de dados (Kamber,
2xxx)
5
Os dados podem ser armazenados em diferentes tipos de bancos de dados. Uma
arquitetura de banco de dados que surgiu recentemente é o data warehouse. Data warehouse é
um repositório de dados que organiza num esquema unificado e em apenas um local a
informação proveniente de diversas fontes de dados com o objetivo de facilitar o
gerenciamento da decisão. A tecnologia de data warehouse inclui a limpeza e integração dos
dados e o processo analítico on-line (OLAP). OLAP é uma técnica de análise com
funcionalidades como a sumarização, consolidação e agregação, assim como a habilidade de
ver a informação de diferentes ângulos. Embora as ferramentas OLAP suportem análise
multidimensional e tomada de decisão, ferramentas adicionais de análise de dados são
requeridas para uma análise detalhada, como classificação e agrupamentos, por exemplo.
As grandes quantidades de dados armazenados já excederam em muito a habilidade
humana de compreensão sem o uso de poderosas ferramentas de análise. Como resultado
disso, os dados armazenados em grandes bases de dados podem acabar se tornando pouco
utilizados. Consequentemente, importantes decisões são tomadas pela intuição dos analistas e
não pela informação armazenada, simplesmente porque o analista não dispõe das ferramentas
para extrair o conhecimento embutido na grande quantidade de dados.
As ferramentas de data mining realizam análises nos dados e podem descobrir
importantes padrões, contribuindo para a estratégia do negócio, bases de conhecimento,
pesquisas médicas e científicas, administração governamental e controle ambiental.
2.2 Definindo Data Mining
O termo data mining pode ser encontrado na literatura como sendo um passo dentro do
processo de descoberta de conhecimento (KDD – Knowledge Discovering in Databases) ou
sendo referenciado como todo o processo em si, isso dependerá da fonte pesquisada. Nesse
trabalho o termo data mining é tratado como sendo parte do processo de descoberta de
conhecimento.
O processo de descoberta de conhecimento é um processo composto por diversas
etapas, envolvendo metodologias, técnicas e ferramentas de data mining. O seu objetivo é o
de “otimizar e automatizar o processo de descrição das tendências e dos padrões contidos
nesse processo, potencialmente úteis e interpretáveis” (ogliari, 2004).
Esse processo inclui limpeza, integração, seleção e transformação dos dados, data
mining, avaliação de padrões e apresentação de conhecimentos.
6
Data mining é uma das etapas no processo de descoberta de conhecimento, como
apresentado na figura 2. É um campo novo e interdisciplinar desenhado a partir de áreas como
os sistemas de banco de dados, data warehousing, estatística, inteligência artificial,
visualização de dados, recuperação de informação, computação de alta performance, entre
outros.
Data mining pode ser conceituado como o “uso de técnicas de exploração de grande
quantidade de dados de forma a descobrir novos padrões e relações que, devido ao volume de
dados, não seriam facilmente descobertos a olho nu pelo ser humano”. (Carvalho, 2001 in
Ogliari, 2004).
Em português, a tradução mais comum para termo data mining seria mineração de
dados. Nesse trabalho optou-se por manter o nome original, ou seja, data mining.
2.3 As etapas do processo de descoberta de conhecimento
A figura 2 ilustra as etapas do processo de descoberta de conhecimento, note a
presença de uma etapa denominada data mining.
Análise
Assimilação
(Conhecimento)
Data Mining
⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟⃟
Transformação
••••
••••
Pré-processamento
°°°°
°°°°
Seleção
°°°°
°°°°
Base de dados
Padrões
Dados
transformados
Dados
processados
Dados
selecionados
(a analisar)
Preparação de dados
Mineração de dados
Figura 2 – As etapas do processo de descoberta de conhecimento (Ogliari,
2004)
7
[nesse rascunho não será apresentado as definições de cada uma das etapas
apresentadas na figura. Apenas no documento final a ser apresentado no próximo semestre]
2.4 A arquitetura do Data Mining
A figura 3 ilustra a arquitetura típica de um sistema de data mining segundo
(Kamber,2004). Nela encontram-se os seguintes componentes:
[reproduzir a figura da arquitetura e colocá-la aqui]
Figura 3 - A arquitetura de um sistema de data mining

Base de dados, data warehouse: são considerados as fontes de dados utilizados
pelo sistema de data mining. Pode haver mais de uma fonte de dados para cada
análise realizada, isso depende do objetivo da análise e como estão organizados
os dados para serem utilizados. Em geral técnicas como a limpeza e integração
dos dados serão necessárias.

Base de dados ou data warehouse server: possuem a responsabilidade de
buscar os dados relevantes para a análise, de acordo com a requisição do
usuário do data mining.

Base de conhecimento: [pesquisar mais sobre esse item]

Motor do data mining (data mining engine): é a parte fundamental de um
sistema de data mining e consiste em um conjunto de módulos para realizar
tarefas como a caracterização, associação, análise de agrupamentos (clustering)
etc.
 Módulo de avaliação de padrões: esse módulo emprega medidas de interesse e
interage com outros módulos do sistema para focar a busca na direção de
padrões interessantes. Pode ser utilizado com limites de interesse para filtrar ou
descobrir padrões.
8
 Interface gráfica com o usuário: é o módulo que faz a comunicação entre o
sistema e seu usuário, permitindo a esse, interagir com o sistema pela
especificação de uma tarefa ou consulta, prover informação para auxiliar na
busca e realizar mineração exploratória baseado em resultados intermediários.
Esse módulo também permite ao usuário navegar nas estruturas de dados da
base, avaliar os padrões encontrados e visualizá-los de diferentes formas.
A partir de uma perspectiva de data warehouse, o data mining pode ser visto como um
estágio seguinte do processamento analítico on-line (OLAP). Entretanto, data mining vai além
do estilo de sumarização do processo analítico do data warehouse por ter incorporado técnicas
mais avançadas para o entendimento de dados.
Data mining envolve uma integração de tecnologias de múltiplas disciplinas como a
tecnologia de banco de dados, estatística, inteligência artificial, computação de alta
performance, reconhecimento de padrões, visualização de dados, recuperação de informação,
processamento de imagem e sinal. A execução do data mining permite que os conhecimentos
interessantes, as regularidades, os padrões possam ser visualizados e navegados por diferentes
ângulos.
A descoberta de conhecimento pode ser aplicada na tomada de decisões, controle de
processos, gerenciamento da informação, e processamento de consultas. Consequentemente,
data mining é considerado uma das mais importantes fronteiras em sistemas de base de dados
e um dos desenvolvimentos interdisciplinares mais promissores na indústria da informação.
2.5 Padrões que podem ser encontrados
[em andamento. Podendo ainda ser disponibilizado para avaliação do rascunho nesse
mês de novembro].
2.6 Importância dos padrões encontrados
[em andamento. Podendo ainda ser disponibilizado para avaliação do rascunho nesse
mês de novembro].
2.7 Classificação dos sistemas de Data Mining
[em andamento. Podendo ainda ser disponibilizado para avaliação do rascunho nesse
mês de novembro].
9
Capítulo 3 – Dicionário de Dados
[nesse tópico, que será um futuro anexo, será apresentado o significado de alguns
termos. Alguns eu já acrescentei para futura definição. Pediria aos senhores que sugerissem
termos conforme forem lendo o trabalho].

SQL

Árvores B+

DW

modelo entidade-relacionamento

data store

processamento transacional

business management

OLTP

Padrão
Capítulo 4 – Bibliografia
[tópico em construção]
(IBGE, 2004) - http://www.ibge.gov.br/censo/importancia.shtm
(Kamber, 2xxx) (Ogliari, 2004) – [como referenciar as transparências de aula?]
Download
Random flashcards
modelos atômicos

4 Cartões gabyagdasilva

paulo

2 Cartões paulonetgbi

A Jornada do Herói

6 Cartões filipe.donner

paulo

2 Cartões oauth2_google_ddd7feab-6dd5-47da-9583-cdda567b48b3

Criar flashcards