Mineração de Processos

STÉFANI PIRES
Mineração de Dados – Trimestre 2009.1
Prof. Marcus Sampaio
02/12/2008 Mineração de Dados
02/12/2008 Mineração de Dados
O que é Mineração de Processos?
 Que logs são esses?
 Motivação
 Objetivos
 Log exemplo
 Tipos de conhecimento



Perspectiva de processo/ organização /
caso
Algoritmo α

Definições / Passos / Limitações
Técnica Heurística
 ProM Framework

2
02/12/2008 Mineração de Dados
1. O que é Miner. de
Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Extrair conhecimento de
logs de eventos gravados
por um sistema de
informação.
3
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Sistemas de informação empresariais
armazenam eventos relevantes de
alguma forma estruturada.
 Ex. de sistemas:


ERP (Enterprise Resource Planning)


CRM (Customer Relationship
Management)


Registram interações com os consumidores
B2B (Business to Business)


Registram todas as transações: Ex:
preenchimento de formulários, alterações de
documentos
Registram trocas de mensagem entre partes;
WFM (Workflow Management)

Registram o inicio e conclusão de atividades
4
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Os sistemas possuem modelos de
processos (implícitos ou explícitos).
 Oferecem liberdade em sua utilização

Modelos de referência descrevem como as
pessoas DEVEM trabalhar!

Ex: Um sistemas de informação
hospitalar com diretrizes clínicas que
descrevem o tratamento de uma
doença específica.
5
É uma técnica de MONITORAMENTO
de sistemas de informação.

Relacionado a tendências de gestão
(BPR (Business Process Reengineering), BI
(Business Intelligence), KM (Knowledge Management)
)
O objetivo é entender o que realmente
está acontecendo.
 Process Discovery e Delta Analysis

6
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Delta Analysis – pode também ser
usado para comparar diferentes
departamentos/organizações que usam
o mesmo sistema ERP.
 Padrões interessantes podem ser
encontrados em diferentes níveis:

Componentes de software
 Processos de negócio
 Organizações

7
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
8
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
9
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de
conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Perspectiva de Processo
Perspectiva de Organização
Perspectiva de Caso
10
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
COMO?
Foco no controle de fluxo
 Expresso em uma Rede de Petri

11

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Exemplo Lógico
Atividade A é sempre sequida por B;
 Atividade C e D podem ser executadas
em paralelo;


Exemplo de Performance
O tempo médio de processamento da
atividade A é 35 minutos;
 Atividade A é executada para 80% dos
casos;

12
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
QUEM?
Foco no executor da atividade
 Construir Rede Social – transferência
de trabalho entre pessoas

13
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Estrutura Organizacional
 Diagrama “Atividade-Função-Pessoa”

14

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Exemplo Lógico
John e Mary trabalham no mesmo time
de desenvolvimento;
 Pete é o admininstrador do
departamento X;


Exemplo de Performance
John trabalha em média com 30 casos
por dia;
 Mary e Pete trabalham juntos em 50%
dos casos;

15
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
O QUE?

Foco nas propriedades de um caso
Tenta estabelecer relações entre as
propriedades de um caso
 Requer campos adicionais com
características dos casos.

16

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Exemplo Lógico
Casos de mais de 5.000 euros são
manipulados por John;
 Atividade A é executada apenas para
clientes particulares;


Exemplo de Performance
80% dos casos de mais de 5.000 euros
são concluídos em dois dias;
 A média de tempo de conclusão de casos
tratados por John e Mary é de duas
semanas;

17



02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Objetivo: Inferir a estrutura do
processo;
Entrada: Log do sistema
Saída: Uma rede de Petri (P, T, F),
onde:
P = conjunto de estados
 T = conjunto de transições
 F = conjunto de ligações (arcos)

18

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Entrada:
19


02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Definições:

Seja T um conjunto de atividades:

W = {ABCD, ACBD, AED}
Para encontrar o modelo de processos,
devem ser procuradas relações de
dependência/causa no log de eventos
20
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework

.

Ex:



A>B, A>C, A>E, B>C, C>D, E>D, …
AB, AC, AE, BD, CD,
ED
B || C, C || B
21

Passos (8):
Tw = {A, B, C, D, E}
Ti=
{A}
To = {D}
22
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Passos (8):
23

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Passos (8):
24

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Como funciona:
25
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
26

Problemas lógicos (não abordadas aqui)



02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
(atividades invisíveis, duplicadas, …)
Não sabe lidar com:
 Ruídos
 Atividades de baixa frequência
 Sequência de baixa frequência
 Exceções
Uma Solução: Técnicas heurísticas de
mineração
27
Utiliza a frequência como métrica para
indicar grau de certeza que A B
 Seja W um log de eventos em T, e a,b
T

Observe que o valor da relação está
sempre entre -1 e 1
 Um valor alto indica maior confiança na
28
existencia da relação AB

02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework

Ex:

A >B aparece em 5 sequências e B>A em
nenhuma:



AB = 5/6 = 0.833
A >B aparece em 50 sequências e B>A
em nenhuma:

AB = 50/51 = 0.980
A >B aparece em 50 sequências e B>A
aparece 1 vez (ruído):


02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
AB = 49/52 = 0.94
Como definir um limiar?
29
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Não é preciso um limiar, basta
escolher o melhor candidato!!!
 Ex: 27 eventos do log de ex. anterior +
3 ruídos: ABCED, AECBD, AD )

30


02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
Grafo de dependência, com a
confiança de cada relação.
Técnica incompleta.
31
02/12/2008 Mineração de Dados
1. O que é Miner. de Pro.?
2. Que logs são esses?
3. Motivação
4. Objetivos
5. Log exemplo
6. Tipos de conhecimento
6.1. P. de processo
6.2. P. de organização
6.3. P. de casos
7. Algoritmo α
7.1. Definições
7.2. Passos
7.3. Como funciona
7.4. Limitações
8. Técnica heurística
9. ProM Framework
www.processmining.org
 Grátis e Open Source

32
Prefeitura:



02/12/2008 Mineração de Dados

Descobrir os caminhos de execução mais
frequentes
Minerar processos e comparar com os
modelos implantados
Empresa:
Objetivo: reduzir o período de teste dos
scanners produzidos
 Perguntas:

Como os testes então realmente sendo
executados?
 Os testes estão seguindo o modelo de
referência?
 Em que partes do processo de teste gasta-se
mais tempo?

33
STÉFANI PIRES
02/12/2008 Mineração de Dados