2.2 mineração de dados - Coordenação de Projetos

UNIVERSIDADE FEDERAL DE SANTA CATARINA – UFSC
DEPARTAMENTO DE INFORMÁTICA E ESTATÍSTICA
CURSO DE CIÊNCIAS DA COMPUTAÇÃO
TRABALHO DE CONCLUSÃO DE CURSO
Um Estudo dos Pressupostos para uma Ferramenta de Apoio ao
Gerenciamento do Relacionamento com os Clientes (CRM) baseada em
Técnicas de Mineração de Dados
Saulo Cecim El Achkar
Orientadora Profª: Maria Marta Leite
Florianópolis, SC – Dezembro de 2004
2
SAULO CECIM EL ACHKAR
“Um Estudo dos Pressupostos para uma Ferramenta de Apoio ao Gerenciamento do
Relacionamento com os Clientes (CRM) baseada em Técnicas de Mineração de Dados”
Trabalho de Conclusão de Curso
em Ciências da Computação da
Universidade Federal de Santa
Catarina,
Graduação.
Orientadora: Profª Maria Marta Leite
Florianópolis
2004
como
requisito
para
3
SAULO CECIM EL ACHKAR
“Um Estudo dos Pressupostos para uma Ferramenta de Apoio ao Gerenciamento do
Relacionamento com os Clientes (CRM) baseada em Técnicas de Mineração de Dados”
Este trabalho de Conclusão de Curso foi julgado adequado para obtenção de
Graduação em Ciências da Computação e aprovado em sua forma final junto à Universidade
Federal de Santa Catarina – UFSC , Florianópolis, SC.
_________________________________________
Profº Nome Completo e Sobrenome
Coordenador do Curso de Ciências da Computação da UFSC
Apresentada à Banca Examinadora, integrada pelos Professores:
_________________________________________
Profª Maria Marta Leite
_________________________________________
Profª Alessandra Schweitzer
_________________________________________
Profº Paulo José Ogliari
4
Dedicatória
Parte reservada para uma possível dedicatória do trabalho realizado.
5
Agradecimentos
Reservado para os agradecimentos do trabalho feito.
6
RESUMO
Entender as necessidades e os anseios do consumidor moderno tornou-se objeto de
sobrevivência do mercado ultra competitivo do século 21. Este trabalho busca o estudo das
modernas técnicas de Mineração de Dados e CRM. O resultado deste estudo é a fomentação e
planejamento do desenvolvimento de um software de relacionamento empresa-cliente. Este
software será responsável pela compreenssão e antecipação das necessidades dos
consumidores, através da técnicas citadas.
Palavras chaves: CRM, Mineração de Dados, relacionamento com o cliente.
7
ABSTRACT
Understanding modern buyer’s needs became a survival subject in this 21st century
competitive market. This work aims the study of the modern techniques Data Mining and
CRM (Costumer Relationship Management). As a result of this study will be the planning of
relationship company-client software. This software will be responsible for comprehension
and predicting consumer’s needs, through the techniques related.
Key words: CRM, Data Mining, costumer relationship.
8
SUMÁRIO
RESUMO
ABSTRACT
1
INTRODUÇÃO ......................................................................................................... 11
1.1
TEMA ......................................................................................................................... 11
1.2
JUSTIFICATIVA ...................................................................................................... 14
1.3
OBJETIVOS .............................................................................................................. 15
1.3.1
OBJETIVO GERAL ....................................................................................................... 15
1.3.2
OBJETIVOS ESPECÍFICOS............................................................................................ 15
1.4
PROBLEMA .............................................................................................................. 16
2
REVISÃO BIBLIOGRÁFICA ................................................................................. 17
2.1
GESTÃO DE RELACIONAMENTO COM O CLIENTE – CRM ....................... 17
2.2
MINERAÇÃO DE DADOS ...................................................................................... 18
2.2.1
TÉCNICAS CLÁSSICAS ................................................................................................. 19
2.2.1.1 ESTATÍSTICAS .............................................................................................................. 19
2.2.1.2 VIZINHO MAIS PRÓXIMO ............................................................................................. 19
2.2.1.3 AGRUPAMENTO ............................................................................................................ 20
2.2.2
TÉCNICAS DA NOVA GERAÇÃO .................................................................................. 20
2.2.2.1 ÁRVORES DE DECISÃO ................................................................................................. 20
9
2.2.2.2 REDES NEURAIS........................................................................................................... 21
2.2.2.3 REGRA DA INDUÇÃO..................................................................................................... 21
2.2.2
DATA WAREHOUSING ................................................................................................. 22
2.2.3
UTILIZANDO MINERAÇÃO DE DADOS E DATA WAREHOUSING ................................. 22
3
ESTUDO DO MERCADO ........................................................................................ 23
3.1
CONCORRÊNCIA ................................................................................................... 23
3.1.1
EMPRESA A ................................................................................................................. 23
3.1.1.1 SOFTWARE X ................................................................................................................ 24
3.1.2
EMPRESA B ................................................................................................................. 24
3.1.2.1 SOFTWARE Y ................................................................................................................ 24
3.2
ÁREAS DE ATUAÇÃO ............................................................................................ 24
3.2.1
MERCADOS ALVOS ..................................................................................................... 24
3.2.2
REGIÕES GEOGRÁFICAS ............................................................................................. 25
4
DESENVOLVIMENTO DO TRABALHO ............................................................. 26
4.1
A FERRAMENTA .................................................................................................... 26
5
CONSIDERAÇÕES FINAIS.................................................................................... 27
REFERÊNCIAS ..................................................................................................................... 28
ANEXOS ................................................................................................................................. 29
10
1 INTRODUÇÃO
A busca das empresas é por fatias cada vez maior do mercado altamente disputado de
consumidores. Para tanto, bem conhecer e relacionar-se com o cliente tornou-se premissa
básica para o sucesso comercial de promoções, propagandas e lançamentos e renovações de
produtos. Atrair a atenção do público requer o conhecimento dos gostos, preferências, desejos
e hábitos de quem estamos nos dirigindo.
A complexidade da situação apresentada aumenta, quando consideramos que as
empresas não têm, mesmo dentro do seu público-alvo, clientes com as mesmas características.
É, porém, possível encontrar sub-grupos de pessoas com caracterísicas e gostos semelhantes.
Até pouco tempo atrás, trabalhar com tal problemática, restrigia os analistas a poucas
variáveis, pois este tipo de tarefa era realizada manualmente. Hoje, podemos e devemos
utilizar diversas variáveis que ajudam a definir melhor o comportamento dos consumidores.
1.1 TEMA
O surgimento da computação no mundo possibilitou não apenas processamento, mas
também o armazenamento de dados em grandes quantidades. Com a evolução das
tecnologias, supercomputadores trabalham em velocidades inimagináveis e conseguem
11
armazenar inúmeros terabytes1 de informações. Com o passar do tempo, notou-se a
possibilidade de utilizar tal processamento e esse imenso volume de dados para obter
informações relevantes. O uso de tais informações no meio dos negócios é de fundamental
importância para as empresas que querem se manter no mercado, aumentando sua
competitividade.
Não apenas os equipamentos tiveram de evoluir, mas também as técnicas para a
obtenção de informações relevantes sobre os dados obtidos. O amadurecimento das técnicas
de Mineração de Dados2 permite hoje que uma imensa quantidade de dados possa ser
analisada em busca de informações escondidas. “Ferramentas de mineração de dados prevêem
tendências e comportamentos futuros, permitindo as empresas a tomarem decisões pró-ativas
dirigidas pelo conhecimento” (THEARLING).
As ferramentas de mineração de dados buscam padrões de comportamentos e
tendências através de técnicas probabilísticas, estatísticas e matemáticas.
Imagine se pudéssemos prever o que os consumidores de uma determinada empresa
desejam ou necessitam comprar? Esta é a idéia por trás da mineração de dados. Entretanto, a
mineração só pode ser feita, se tivermos um grande Data Warehouse3 a partir do qual
possamos obter informações relevantes. Uma forma de obtenção de dados dos clientes,
entretanto, é através de aplicativos CRM4. As ferramentas de CRM garante que todo o contato
de uma empresa feito com seus clientes sejam registrados e acompanhados. Desta forma, os
administradores podem conhecer cada cliente em particular e assim oferecer os produtos
certos, no momento certo, pelo canal correto, para a pessoa certa. Esta prática garante uma
maior fidelidade por parte dos consumidores, o que reduz os gastos das empresas e maximiza
o retorno das campanhas de marketing.
1
Terabyte é o equivalente à um trilhão de bytes
Do inglês, Data Mining
3
Data Warehouses são grandes banco de dados com grande fluxo de entrada e saída de dados
4
Customer Relationship Management – Administração do relacionamento com o cliente
2
12
A utilização destas duas tecnologias apresentadas, Mineração de Dados e CRM, em
uma única ferramenta demonstra um grande potencial computacional e comercial.
13
1.2 JUSTIFICATIVA
Conseguir prever o mercado e a tendência dos consumidores garante às empresas que
se utilizam de ferramentas de mineração de dados, uma vantagem competitiva sem
precedentes. Nunca antes tivemos acesso a computadores de tão alto processamento e
armazenamento, que nos garantisse com tamanha agilidade informações futuras confiáveis.
O custo de manutenção de clientes é várias vezes menor que o custo de obtenção de
novos clientes e ainda menor que o preço de reconquista de um cliente perdido. Identificar e
manter os clientes mais rentáveis é uma tarefa difícil quando feita manualmente para um
número muito elevado de clientes, justificando a utilização das técnicas aqui apresentadas.
14
1.3 OBJETIVOS
1.3.1 Objetivo Geral

Estudar e planejar o desenvolvimento de uma ferramenta de Apoio ao Gerenciamento
ao Cliente (CRM) baseada em Técnicas de Mineração de Dados.
1.3.2 Objetivos Específicos

Conhecer os fundamentos das aplicações CRM;

Levantar as principais técnicas de Mineração de Dados e conhecer suas
características e funcionalidades;

Escolher as técnicas de Mineração de Dados mais apropriadas para utilização na
ferramenta a ser desenvolvida e;

Delimitar o escopo da ferramenta a ser desenvolvida.
15
1.4
PROBLEMA
O trabalho desenvolvido fornecerá subsídios para as atividades de modelagem e de
desenvolvimento de uma aplicação comercial de uso real. Sua plataforma ainda não será
escolhida neste momento, nem a linguagem de programação ou a tecnologia de banco de
dados.
Serão pesquisadas as técnicas de mineração de dados existentes, relatando a
característica, relevância e vantagem da utilização de cada uma delas. De antemão, pode-se
dizer que as técnicas de mineração de dados, dividem-se, segundo Berson, Smith e Thearling,
em dois grandes blocos: as técnicas clássicas e as técnicas da próxima geração.
As técnicas clássicas utilizam estatística, vizinhança e clustering. As técnicas da
próxima geração utilizam árvores de decisão, redes neurais ou regras de indução. Várias são
as técnicas e muitas são as variâncias que existem. Ainda existem técnicas que podem ser
agrupadas e usadas em conjunto. Cada caso necessita de uma avaliação para a decisão de qual
técnica utilizar.
Deve-se decidir ao final deste trabalho o escopo da aplicação CRM de uso comercial
que se deseja no futuro. Isto porque uma aplicação CRM para uma financiadora é diferente de
uma aplicação CRM para um supermercadista. No final, espera-se responder a pergunta: qual
as técnicas de mineração de dados ideais para a aplicação CRM de desejamos construir?
16
2
REVISÃO BIBLIOGRÁFICA
2.1
GESTÃO DE RELACIONAMENTO COM O CLIENTE – CRM
Do termo inglês CRM, ou Customer Relationship Management, a Gestão de
Relacionamento de Clientes pode ser definida como uma estratégia de negócio que mantém a
organização focada no cliente e em obter a maior optimização e rentabilidade dos mesmos.
O CRM parte das seguintes premissas do mundo moderno dos negócios:

Empresas precisam gastar muito mais dinheiro para conquistar um novo cliente
do que para manter um cliente;

É muito mais caro ganhar de volta um cliente depois que perdemos do que
mantê-lo satisfeito desde o começo;

É muito mais fácil vender um novo produto para um cliente que já temos do
que para um novo cliente;

Alguns clientes são muito mais lucrativos do que outros clientes. Alguns
clientes não geram lucro e alguns clientes não geram lucro e nunca darão lucro.
Para ajudar na solução de tais premissas, um Sistema de Gestão de Relacionamento
com o Cliente deve, Segundo Berson, Smith e Thearling (1999, p. 43), responder as seguintes
questões:

Quais clientes são os mais lucrativos para mim? E porquê?
17

Quais promoções são as mais efetivas? E para quais clientes?

Que tipo de cliente vai estar mais interessado no meu novo produto?

Quais clientes estão mais propensos a mudar para o meu concorrente?

Como eu identifico futuros clientes com o maior potencial de lucro?
A resposta das perguntas acima ajudam, se bem organizadas, na tomada de decisões
em um processo CRM.
2.2
MINERAÇÃO DE DADOS
A Mineração de Dados automatiza o processo de detecção de padrões em uma base de
dados. Um exemplo de padrão poderia ser que pais separados que não moram com os filhos
têm o dobro de chances de aceitar uma oferta de viagem de aventura do que pais casados. Em
base de dados muito grandes, informações desse tipo podem passar despercebidas por um
gerente de marketing, porém, podem ser detectadas através da mineração de dados
automatizada.
Os processos atuais de Mineração de Dados utilizam coleções de técnicas estatísticas e
de inteligência artificial de aprendizado para prever o comportamento dos clientes. Ainda
assim, são necessários analistas que possam intervir na definição dos modelos e na relevância
dos padrões encontrados automaticamente.
Os modelos criados e os comportamentos futuros de clientes previstos servem de
apoio para os tomadores de decisão nas empresas.
Os próximos tópicos dissertarão sobre as técnicas existentes na Mineração de Dados e
sobre Data Warehousing, objeto essencial na construção de Sistemas de Mineração de Dados.
18
2.2.1 Técnicas Clássicas
A seguir serão apresentadas as Técnicas Clássicas e posteriormente as Técnicas da
Nova Geração. As Técnicas Clássicas são aquelas utilizadas muito antes do termo Mineração
de Dados surgirem. Elas incluem conhecimento estatístico e matemático avançado na
resolução dos problemas.
2.2.1.1 Estatísticas
Estatística é um ramo da matemática com milhares de anos de existência. Refere-se a
coleção e descrição de dados. A contribuição da estatística para a Mineração de Dados ocorre
principalmente no uso de suas ferramentas, como histogramas, gráficos e cálculos como
moda, mediana e variância.
2.2.1.2 Vizinho Mais Próximo
A técnica do Vizinho Mais Próximo busca objtos semelhantes para a suposição de
valores que não se conhece. A premissa desta técnica é que objetos semelhantes terão dados
com valores semelhantes. Por exemplo, um Corsa e um Gol terão valores mais próximos
(velocidade máxima, consumos, potência, etc) entre si, do que entre uma BMW e um Gol.
19
2.2.1.3 Agrupamento
O método do Agrupamento tenta manter em grupos os dados parecidos. O exemplo
mais intuitivo de Agrupamento pode ser o da lavanderia. Quando separamos as roupas em
“brancas”, “coloridas” e “delicadas” para serem lavadas, estamos realizando um processo de
Agrupamento.
Grandes sistemas utilizam o Agrupamento para estabelecer informações demográficas
de populações. Estes dados servem para dar uma visão ampla da situação analisada.
2.2.2 Técnicas da Nova Geração
As técnicas da Nova Geração são aquelas criadas e desenvolvidas nas ultimas décadas.
Tais técnicas vêm ganhando enorme popularidade na mídia e representam a Mineração de
Dados atual. Estas técnicas podem ser usadas para descobrir novas informações em grandes
bancos de dados ou para construir modelos de previsão.
2.2.2.1 Árvores de Decisão
Os modelos de previsão criados a partir de Árvores de Decisão são baseados em
perguntas, que fazem a divisão em galhos, ou ramos, dos objetos analisados. As perguntas
feitas em série farão uma segmentação dos dados que temos de forma a isolar uma parcela
que queremos atingir ou estudar.
20
2.2.2.2 Redes Neurais
Redes Neurais é o termo usado para identificar sistema biológicos, com o cérebro, que
podem identificar padrões, fazer previsões e aprender. Sistemas computacionais que tentam
imitar o comportamento de um cérebro são, na verdade, chamados de Redes Neurais
Artificias, um estudo originalmente da área de Inteligência Artificial.
A popularidade deste método para a Mineração de Dados é grande devido ao grande
número de problemas as quais as Redes Neurais podem se adaptar e resolver.
2.2.2.3 Regra da Indução
Regra de indução é uma das grandes técnicas de mineração de dados atuais. A busca
neste técnica, é por fatos que acontecem juntos e frequentemente. Parece ser mais fácil
explicar por exemplos. Imagine uma rede supermercadistas com dados completos das
compras dos clientes. Agora o sistema entra com uma hipótese: Se um cliente compra um
saco de carvão, ele compra linguiça? Digamos que a resposta para essa pergunta é que 90%
das compras de saco de carvão foram acompanhadas pela compra de linguiça.
Para serem úteis estas regras, ou suposições, criadas devem trazer consigo duas
variáveis como resposta:

Precisão – Quantas vezes a regra está correta?

Cobertura – Quantas vezes a regra se aplica?
21
Para o exemplo apresentado, 90% representa a precisão com que a regra está correta,
isto é, 90% das vezes em que foi comprado carvão, também foi comprado linguiça. Para
continuar exemplificando cobertura, digamos que em 1,5% das compras realizadas no
supermercado houve a compra de carvão com linguiça.
2.2.2 Data Warehousing
Data Warehousing, um termo em inglês sem tradução para o português, é a união de
tecnologias com o objetivo da efetiva integração operacional de base de dados em ambientes
que permitam o uso estratégico dos dados. Dentre estas tecnologias encontramos sistemas de
gerenciamento de banco de dados relacional e multidimensional, arquiteturas cliente/servidor,
modelagem de metadados, interfaces gráfica de usuário e outras.
2.2.3 Utilizando Mineração de Dados e Data Warehousing
[Explicar como e porque se dá a utilização conjunta da mineração de dados e de Data
Warehousing]
22
3 ESTUDO DO MERCADO
Antes da demilitação da ferramenta a ser desenvolvida é necessário que defina-se o
mercado em que ela estará incluida. Para isso, é necessário o estudo minucioso das empresas
concorrentes, dos mercados de atuação mais promissores e das oportunidades disponíveis.
3.1 CONCORRÊNCIA
Neste tópcio serão apresentados as empresas que desenvolvem e apresentam solução
que envolvem Mineração de Dados e/ou Gestão de Relacionamento com o Cliente em
sistemas próprios.
3.1.1 Empresa A
[Estudo de caso sobre a empresa...]
23
3.1.1.1 Software X
[Descrição e estudo do Software X, desenvolvido pela Empresa A...]
3.1.2 Empresa B
[Estudo de caso sobre a empresa...]
3.1.2.1 Software Y
[Descrição e estudo do Software Y, desenvolvido pela Empresa B...]
3.2
ÁREAS DE ATUAÇÃO
3.2.1 Mercados Alvos
[Estudo dos mercados de possível atuação do ferramenta. Ex: Atacadistas, como
supermercados, grandes lojas de conveniências, roupas, grandes cadeias nacionais,
alimentação, Financeiro: bancos, financiadoras, corretoras da bolsa de valores, seguradoras,
Mercados emergentes, Internet, notícias, etc]
24
3.2.2 Regiões Geográficas
[Estudo dos possíveis locais de atuação, alocação de empresa...]
25
4 DESENVOLVIMENTO DO TRABALHO
Após conhecer todos os principais aspectos da Mineração de Dados e da Gestão de
Relacionamento com o Cliente, os quais são conceitos e teorias relativamente modernas e
inovadoras, neste capítulo será delimitado o escopo da ferramenta a ser desenvolvida, bem
como todos os aspectos relativas a ela.
4.1 A FERRAMENTA
[Aqui será definida a ferramenta. Mercado de atuação, linguagem de programação a ser
utilizada, arquitetura de banco de dados, técnicas de mineração de dados, modelo de CRM a
ser utilizado.
A seguir podem ser definida uma modelagem UML, relação de requisitos, e outros
assuntos de Engenharia de Software, que encaminhem para o desenvolvimento da aplicação.
Relatar sobre a empresa a ser constituida?]
26
5 CONSIDERAÇÕES FINAIS
[Discursas sobre resultados esperados e alcançados no projeto e na confecção do TCC.
Relacionar trabalhos futuros e trabalho necessário para a concretização da ferramenta.]
27
REFERÊNCIAS
BERSON, Alex; SMITH, Stephen; THEARLING, Kurt – Building Data Mining
Applications for CRM – McGraw-Hill, 1999.
BERSON, Alex; SMITH, Stephen; THEARLING, Kurt – An Overview of Data Mining
Techniques
–
Disponível
em
<http://www.thearling.com/text/dmtechniques/dmtechniques.htm> Acesso em 29 de jan. de
2004.
THEARLING, Kurt – An Introduction to Data Mining – Disponível
<http://www.thearling.com/text/dmwhite/dmwhite.htm> Acesso em 29 de jan. de 2004
em
28
ANEXOS