Processo de mineração de dados

Gestão do Conhecimento no TCU
Remis Balaniuk
Especialista Sênior
Princípios
 Gestão do
conhecimento:
 Aprendizado
organizacional:
 Inteligência
organizacional:
 Processo, articulado  Capacidade de uma
e intencional,
organização identificar
destinado a
e armazenar
sustentar ou a
conhecimento
promover o
resultante de
desempenho global
experiências
de uma
individuais e
organização, tendo
organizacionais e de
como base a criação
modificar seu
e a circulação de
comportamento de
conhecimento
acordo com os
(Salim, 2001).
estímulos percebidos
no ambiente (Moresi,
2001)
 Capacidade de uma
corporação como
um todo de reunir
informação, inovar,
criar conhecimento
e atuar
efetivamente
baseada no
conhecimento que
ela gerou
(McMaster 2006)
Princípios
 Gestão do
conhecimento:
 Aprendizado
organizacional:
 Inteligência
organizacional:
 Processo, articulado  Capacidade de uma
e intencional,
organização identificar
destinado a
e armazenar
sustentar ou a
conhecimento
promover o
resultante de
desempenho global
experiências
de uma
individuais e
organização, tendo
organizacionais e de
como base a criação
modificar seu
e a circulação de
comportamento de
conhecimento
acordo com os
(Salim, 2001).
estímulos percebidos
no ambiente (Moresi,
2001)
 Capacidade de uma
corporação como
um todo de reunir
informação, inovar,
criar conhecimento
e atuar
efetivamente
baseada no
conhecimento que
ela gerou
(McMaster 2006)
Princípios
 Gestão do
conhecimento:
 Aprendizado
organizacional:
 Inteligência
organizacional:
 Processo, articulado  Capacidade de uma
e intencional,
organização identificar
destinado a
e armazenar
sustentar ou a
conhecimento
promover o
resultante de
desempenho global
experiências
de uma
individuais e
organização, tendo
organizacionais e de
como base a criação
modificar seu
e a circulação de
comportamento de
conhecimento
acordo com os
(Salim, 2001).
estímulos percebidos
no ambiente (Moresi,
2001)
 Capacidade de uma
corporação como
um todo de reunir
informação, inovar,
criar conhecimento
e atuar
efetivamente
baseada no
conhecimento que
ela gerou
(McMaster 2006)
Princípios
 Gestão do
conhecimento:
 Aprendizado
organizacional:
 Inteligência
organizacional:
 Processo, articulado  Capacidade de uma
e intencional,
organização identificar
destinado a
e armazenar
sustentar ou a
conhecimento
promover o
resultante de
desempenho global
experiências
de uma
individuais e
organização, tendo
organizacionais e de
como base a criação
modificar seu
e a circulação de
comportamento de
conhecimento
acordo com os
(Salim, 2001).
estímulos percebidos
no ambiente (Moresi,
2001)
 Capacidade de uma
corporação como
um todo de reunir
informação, inovar,
criar conhecimento
e atuar
efetivamente
baseada no
conhecimento que
ela gerou
(McMaster 2006)
Casos de sucesso
Casos de sucesso
Casos de sucesso
Casos de sucesso
Casos de sucesso
Objetivo geral
 Realizar e induzir trabalhos de análise de dados
provenientes de fontes abertas ou legalmente
acessíveis pelo TCU, baseando-se em
conhecimento de negócio do corpo técnico da
casa para:
 Responder questões que exijam cruzamentos e compilação
de dados de diversas fontes
 Levantar indícios de atos irregulares ou prejudiciais ao erário
 Subsidiar o planejamento das ações de controle
 Calcular métricas que permitam analisar e comparar grande
número de instâncias de interesse
 Calcular riscos e benefícios potenciais de ações de controle
Oportunidades
 Fontes de dados abundantes
 Dados públicos ou disponíveis ao TCU em razão de sua competência
 Tecnologia amadurecida
 Capacidade de armazenamento e processamento acessível
 Necessidade de formalização e compartilhamento do
conhecimento tácito do corpo técnico do TCU
 Conhecimento de negócio é a base das análises
 Necessidade de uma metodologia comum de trabalho
 Mesmos métodos de análise podem ser aplicados aos mais diversos
temas e dados
 Necessidade de critérios objetivos
 Embasa decisões em critérios mensuráveis
 Apoia o trabalho operacional das auditorias com indícios detalhados
 Permite análise a posteriori dos critérios utilizados
 Melhora incremental dos próprios critérios (feedback)
 Registro para acompanhamento de decisões
Diretrizes
 Criar e manter um ambiente de geração e
compartilhamento de conhecimento
 Metodologias
 Macro processo de trabalho de análise
 Ambiente de TI
 Servidores e armazenamento próprios
 Modelos de dados
 Repositório de Conhecimentos
Diretrizes
 Obter, compreender, manusear e disponibilizar
dados úteis ao controle externo
 Fontes internas (sistemas corporativos, acórdãos, etc)
 Fontes externas:
 Bases estruturadas (OLAP e OLTP)
 Bases textuais (DOU, DJ, etc)
 Disponibilização
 BRAVO
 SGI – Consultas
 Datamarts
Diretrizes
 Induzir a formalização e compartilhamento do
conhecimento institucional




Wiki-ce
Tipologias
Rede Interna de Informações
Relatórios de Produção de Conhecimento
Diretrizes
 Mineração de dados:
 Geração e distribuição de relatórios com indícios de
irregularidades
 Relatórios gerenciais com totalizações e estatísticas
 Análise de risco
 Análise de relacionamentos:
 I2: diagramas
Disponibilização de dados
 BRAVO – Busca e Reconhecimento Automático de
dados em Veículos Oficiais de informação
 Extrai e indexa diariamente informações do Diário Oficial
da União e Diário da Justiça
 https://contas.tcu.gov.br/adp
SGI - Consultas
 Permite consultas diretas às bases de dados
estruturadoras internalizadas no TCU
 https://contas.tcu.gov.br/pls/apex/f?p=SGI
Wiki do Controle Externo
 Criada para servir de espaço coletivo de construção de
conhecimento útil ao controle externo
 http://contas.tcu.gov.br/wikice
 Aberta a TODOS auditores do TCU
 Leitura e edição
 Interface simples
 Autoria das contribuições fica registrada (criação e
alteração)
Macro processo de análise de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Macro processo de análise de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Proposta de tipologias
 Corresponde à fase de compreensão do negócio
 Auditores documentam seu conhecimento de
negócio
 Durante seu trabalho auditor constata
procedimento ilícito que pode estar se repetindo
em outras instâncias
 Desde simples situações de não respeito às leis
até intrincados modus operandi de esquemas de
corrupção devem ser documentados
Tipologias
 O que é uma tipologia:
 Descrição de situação ou seqüência de atos que pode levar
à consumação de um ilícito
 Pode indicar diretamente um potencial ato ilícito ou
medir um aspecto de risco
Tipologias
 Exemplos de tipologia direta:
 Servidor Público acumula indevidamente dois ou mais cargos
públicos, contrariando o disposto no art. 37, incisos XVI e XVII da CF:
 Cidadão morto (óbito registrado no Sisobi) compra medicamento pelo
Programa Farmácia Popular
 UG realiza despesa com compras e serviços diversos (diferentes de
engenharia), por dispensa de licitação, com fulcro no art. 24, inciso II,
em valor superior a R$ 8.000,00
 Empresa se declara micro ou pequena empresa, participa e ganha
licitação reservada a MEs e EPPs, mas faturou junto ao governo
mais do que o limite legal (R$240.000,00 para ME e R$2.400.000,00
para EPP) no ano anterior.
Tipologias
 Exemplos de tipologia que geram indícios que
requerem análise subsequente:
 Servidor público pode ter direcionado contratos do órgão ou
entidade em que trabalha para empresa de sua propriedade
 34.995 servidores públicos, de 233 órgãos, que são sócios de
42.361 empresas
 UG realiza certame licitatório com possível simulação de
competitividade por meio da participação de PJs que pertencem
à mesma PF.
 Empresas irmãs: são considerados casos suspeitos as PJs que:
 Possuem sócios em comum;
 Possuem o mesmo endereço;
 Possuem o mesmo número de telefone para contato, mesmo número
de fax ou mesmo e-mail;
 PJ tem como sócio um empregado de outra PJ participante;
 Possuem o mesmo CNPJ raiz.
Tipologia
 Exemplos de tipologia que indicam risco:
 Transferências fundo a fundo – gastos em saúde (SUS):
 Município tem capacidade ociosa na rede pública
enquanto que a rede privada tem gastos no máximo de
sua capacidade instalada.
 Gastos per capita do município muito acima da média
nacional
 Alta proporção dos gastos na rede privada no total de
gastos SUS do município
Processo de mineração de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Algumas das bases internalizadas
DOU
Estatísticas
oficias
(IBGE)
DJ
SIAPE
SIAFI
SISOBI
SIA/SIH
CNIS
TSE
SICONV
SIASG
CNE
CNES
CPF/
CNPJ
Sinergia
CADCON
Portais
(Transparência,
TSE, etc)
Processo de mineração de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
No exemplo da tipologia do duplo emprego
 Utilizando a base de dados da RAIS são extraídos os casos
onde servidores públicos possuem vínculo empregatício com
dois ou mais órgãos públicos no mesmo período (2008)
sendo que pelo menos um deles pertence à administração
federal
 Foram aplicados todos os filtros cabíveis





Duas ocupações na área da saúde
Uma das ocupações sendo como professor
Cessão formal de um órgão a outro
Funções comissionadas
Um dos empregadores deve ser da Administração Pública
Federal
 Exceções aceitas até carga semanal de 60 horas
Processo de mineração de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Nos exemplos de tipologia citados
 Relatórios de indícios gerados
 Foram identificados 16.884 casos de risco de acumulação indevida de
cargos públicos
 Foram identificados 31.172 itens de compra por dispensa de licitação
com fulcro no art. 24, inciso II, em valor superior a R$ 8.000,00
 Foram identificados 80.443 itens de compras, relacionadas a 169
órgãos, onde houve empenho para uma empresa onde um de seus
sócios era servidor ligado ao mesmo órgão.
 Foram encontrados 47.943 itens de compra onde pelo menos duas
empresas irmãs participaram e uma delas venceu o certame.
 2.251 itens de compra onde o ganhador era microempresa e veio
ao certame com empresa irmã
 538 itens de compra indicando “falsas licitações’ onde todos os
participantes eram empresas irmãs
 Foram encontradas mais de 17.000 vendas de medicamentos pelo
Programa Farmácia Popular para pessoas mortas
Processo de mineração de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Minerações
 As extrações geram resultados analíticos de alto valor agregado
 Cada caso levantado requer ainda análise específica, muitas vezes
via auditoria
 Número de casos ainda muito elevado

É possível refinar as tipologias mas o número total de casos ainda vai ser elevado
 A priorização das ações de auditoria requer um nível ainda mais
elevado de agregação das informações
 Essa priorização tem de ser combinada a outros fatores:





Materialidade
TMS – temas de maior significância
Impacto social
Impacto político
Temporalidade, etc
Análise de risco
 Junta diversas métricas num modelo classificatório
que permite ordenar um conjunto de instâncias
segundo critérios de risco, materialidade, aderência
aos TMS, etc.
 Permite priorizar esforços de auditoria
 Métricas buscam quantificar aspectos relativos às tipologias
levantadas:
 Exemplos:
 Números de desvios padrão do gasto SUS per capita de um
município com relação à média nacional
 Índice de terceirização de um órgão
 Ociosidade da rede pública de saúde de um município/
Ociosidade da rede privada de saúde do mesmo município
 Montante empenhado em contratos de risco (com empresas
irmãs ou que tenham sócio servidor)
Processo de mineração de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Auditorias
 Instâncias apontadas pelos relatórios de indícios
ou pela análise de risco vão ser auditados
 Relatórios detalhados são gerados indicando ao
auditor o que deve verificar
 Planejamento da auditoria pode ser apoiado por
relatórios consolidados contendo:
 Resultados e achados de auditorias anteriores
 Sanções aplicadas
 Diagramas de relacionamento (I2)
Processo de mineração de dados
Relatórios de indícios
Proposta de
Tipologias
Internalização das
bases de dados
Análise de
primeiro nível
Avaliação
Métricas de Risco
Base de Tipologias
Auditorias
Análise de
Risco
Relatórios de Risco
Avaliação
 Resultados das auditorias precisam ser
retroalimentados ao conhecimento de negócio
 Wikice
 Refinamento das tipologias
 Refinamento dos modelos de dados
 Novos dados
 Novos filtros
Estágio atual
 Diversas bases de dados internalizadas
 Mais de 30 tipologias analisadas
 Planilhas com indícios sendo continuamente
distribuídas na Rede Interna
 Grandes projetos:





Análise de compras e contratos: SIASG
Análise de Transferências fundo a fundo: SUS
Análise do Programa Farmácia Popular
Análise de compras e contratos da CEF
Análise de Fundações de Apoio x IFES
Dificuldades
 Dificuldade de obtenção dos dados
 Necessidade de convênios
 Negociações para obter o comprometimento dos gestores e corpo
técnico na fonte dos dados
 Custo
 Demora em obter uma base desejada
 Necessidade de infra-estrutura para receber e atualizar bases de
forma sistemática
 Dificuldade de uso dos dados
 Extrações incompletas ou com erros
 Necessidade de normalização e limpeza dos dados
 Dados inconsistentes ou faltantes
 Pode não ser possívela limpeza
 Falta de documentação
Dificuldades
 Conhecimento de negócio
 Sensibilização da área fim para formalização do conhecimento
 Aplicação
 Uso dos indícios requer pré disposição das unidades técnicas
(incluir no planejamento)
 Alguns indícios podem requer procedimentos de auditoria
complexos (alguns podem ser inviáveis)
 Unidades técnicas precisam ter confiança nos dados e
compreensão do macroprocesso de trabalho
Dificuldades
 Uso de análises baseadas em dados não substitui o trabalho
convencional de auditoria
 É preciso integrar os resultados da análise com o trabalho das unidades
técnicas




Planejamento integrado
Necessidade de um vocabulário comum
Sensibilização do valor e potencial das informações fornecidas
Unidade técnica pode ver como interferência em sua forma de trabalho
estabelecida
 As análises não têm a pretensão de encontrar TODOS os casos
suspeitos
 Compromisso entre o ideal e o possível
 Análises podem estar ERRADAS




Baseadas em dados incorretos ou incompletos
Baseadas em hipóteses erradas
Exceções
Exige refinamento das análises em ciclos buscando aprimorar resultados
Obrigado!
Dúvidas?