Baixar Agora - Maceiras Sistemas

Data Quality –
Qualidade de Dados
Visão Geral
Disciplina: Business Intelligence, Prof. Gutenberg
Turma: 27LI
Alunas:
Ivanise M. Gomes, RM 34287
Kelly C. M. Walter, RM 34286
Sumário
•
•
•
•
•
•
•
•
•
•
•
Contexto
O que é
Dados -> Conhecimento
Aplicabilidade
Impacto Negativos
Benefícios
Ciclo de Qualidade dos Dados
Fontes de problemas de qualidade
Custo x Benefício
Níveis de Maturidade da Qualidade dos Dados
Conclusão
O que é Qualidade de Dados?
Processos, Tecnologia...
Para que os dados sejam:
... e Pessoas!
• Corretos
• Precisos
• Consistentes
• Completos
• Integrados
• Definidos e compreendidos
Qualidade de dados significa confiabilidade e efetividade dos dados (atributo),
particularmente em um data warehouse. Garantia da qualidade dos dados (Data
Quality Assurance) é o processo de verificação da confiabilidade dos dados.
(definição da http://searchDataManagement.com)
Dados -> Conhecimento
Dados
A qualidade dos
dados impacta
diretamente a
qualidade da
informação e,
conseqüentemente
, a tomada de
decisão
Informação
(contextualizada)
Qualidade da
Informação é a
integração entre
pessoas, processos
e tecnologia com o
objetivo de derivar
valor a partir dos
ativos de informação
(dados) de uma
empresa
Conhecimento
Tomada de
decisão
Aplicabilidade
Por quê Qualidade de Dados tornou-se um assunto importante?
Todos os processos ou técnicas de gestão empresarial
utilizam-se de dados corporativos, processados por IT,
como base para tomada de decisão (investimento,
marketing e vendas, gestão do negócio, planejamento
estratégico etc.)
Exemplos:
•
•
•
•
•
•
•
Data Warehouses, Data Marts, ODS (operational data store) (armazenamento e
recuperação)
BPM (Business Process Management), BAM (Business Activity Monitoring), BSC
(Balanced Scorecard) (gestão estratégica)
Visão única em projetos (métricas) – Cliente, Fornecedor, Parceiro
CRM (Customer Relationship Management) (relacionamento, marketing)
ERP (Enterprise Resource Planning) e SCM (Supply Chain Management)
E-business / E-commerce (vendas e marketing)
Compliance / Normas Regulatórias (resultados e registros)
Impactos Negativos X Benefícios
Dados incorretos (imprecisão)
• Gasta-se tempo e recursos adicionais para corrigir
problemas de dados
• Tempo é desperdiçado discutindo-se relatórios
inconsistentes
•Oportunidades de negócio são perdidas pela
indisponibilidade de dados
•Não se consegue demonstrar o potencial de
negócio em uma aquisição de empresa
•Multas têm que ser pagas pelo não cumprimento de
normas regulatórias
• Perda de confiança dos clientes e parceiros na
informação fornecida
• Tomada de decisões equivocadas
X
Dados redundantes (duplicidade)
• Custos de Hardware (CPU, discos) e software
(manutenção de programas)
• Tempo e recursos extra necessários para reconciliar
inconsistências
• Oportunidades perdidas
• Cobrança ou pagamento em excesso
• Envio de produtos ou marketing em duplicata
• Decisões tomadas com mais qualidade de análise
• O planejamento estratégico é baseado em análises
mais precisas
• Clientes mais satisfeitos com a informação
recebida ou com a área de relacionamento da empresa
• Redução dos custos operacionais (eliminação de
duplicidades)
• Foco nos clientes mais importantes (vantagem
competitiva)
• Visibilidade dos “números” da empresa, permitindo
monitoramento e controle de fraudes ou desvios
• Criação e manutenção dos dados e informações
como ativos da organização
• Aumento da confiabilidade nos dados e
informações incentiva o seu uso e realimenta o
sistema de informação
redundância de dados
+ redundância de processos
= dados “sujos”
Custo x Benefício
Essencial => Dados Críticos
– nem todos os dados são igualmente críticos para todos os usuários
– todos os dados críticos têm que ser limpos
– geralmente incluem campos de quantidade/valor
Importante => Dados Importantes
– importantes para a empresa mas não totalmente críticos
– devem ser priorizados os elementos de dados importantes
– limpar tantos quantos o tempo permitir
– os que não puderem ser limpos devem ser colocados como críticos
para a próxima versão
Desejável => Dados não Significativos
– dados informativos que seria interessante possuir
– limpeza opcional, se o tempo permitir
Ciclo da Qualidade dos Dados
Prover relatórios do
processo de qualidade
de dados
Avaliação dos dados
Total Quality
Management
Quantificar o número e
os tipos de defeitos
Medir
Reportar
Combinação e consolidação
Combinar elementos
únicos em uma fonte
única
Identificar
registros
duplicados
Avaliar a natureza e a
causa dos defeitos
Analisar
Consolidar
Limpeza dos dados
Separar
Comparar
Padronizar
Melhorar
Corrigir
Adicionar informações ao
dado, melhorando o valor
da informação
Melhoria dos dados
Verificar, limpar e combinar os dados, baseado em
um conjunto de algoritmos sofisticados que
funcionem com base de dados secundária
Identificar e isolar
elementos de dados
em estruturas de dados
Normalizar os valores dos
dados e formatos de
acordo com as regras da
empresa e dos parceiros
Conclusões
 A qualidade dos dados é fator crítico de sucesso para todos os
sistemas de informação que embasam a tomada de decisão
 O estabelecimento de processos, treinamento e conscientização das
pessoas e implementação de tecnologia adequada é essencial para
garantir a qualidade dos dados MAS...
– O monitoramento constante da qualidade dos dados deve ser realizado para
garanti-la!
– A definição das regras de negócio, processos e políticas de qualidade dos
dados é a base para o seu monitoramento efetivo
 Qualidade de dados é uma filosofia; dados e informações são ativos
estratégicos da organização
 Não se gerencia o que não se mede – qualidade de dados é
mensurável!
Bibliografia
Cooper, Mark (July/2004) Data quality: The indispensable element of BI. ITWeb
(http://www.itweb.co.za/sections/techforum/2004/0407210734.asp?S=Business%20Intelligence&A=BUI&O=FRGN) Data de
acesso: 9/nov/2005
Esteves, Luiz Antonio (Abril de 2005) Qualidade de Dados em Projetos de DW, BI, CRM e ERP. Apresentação para o
SQL Tech Day
Pereira, Maria de Nazaré Freitas e Ribeiro, Cláudio José S. e Tractenberg, Leonel e Medeiros, Priscilla Loureiro (1999)
Bases de dados na economia do conhecimento: a questão da qualidade. In Revista Ciência da Informação, v. 28(n. 2)
pages 215-223, Ibict- Instituto Brasileiro de Informação em Ciência e Tecnologia.
Valentim, Marta Lígia Pomim (2002) Inteligência competitiva em organizações: dado, informação e conhecimento. In
DataGramaZero - Revista de Ciência da Informação, n. 4(v. 3), IASI - Instituto de Adaptação e Inserção na Sociedade da
Informação.
O´NEILL, Edward T., VIZINE-GOETZ, Diane (1988). Quality Control in online Databases. ARIST, New Jersey, v.23.
Dubois, Len. Data Quality: The Indispensable Element of Business Intelligence. Business Intelligence.com
(http://www.businessintelligence.com//ex/asp/code.102/xe/article.htm) Data de acesso: 12/nov/2005
Brauer, Robert (5/oct/2001). Data Quality is the Cornerstone of Effective BI. DM Direct Newsletter
(http://www.dmreview.com/article_sub.cfm?articleId=4102) Data de acesso: 10/nov/2005
Badger, Chris (8/Apr/2005). Data Quality Best Practices for On Demand CRM. CRM2day.com
(http://www.crm2day.com/library/EEEkAulFZZRInUsYSm.php) Data de acesso: 13/nov/2005
BACKUP
SLIDES
Inteligência Competitiva
Inteligência Competitiva
Foco: Estratégias da Organização
•Desenvolvimento da capacidade criativa do capital intelectual da organização
•Prospecção, seleção e filtragem de informações estratégicas nos dois fluxos informacionais: formais e
informais
•Agregação de valor às informações prospectadas, selecionadas e filtradas
•Utilização de sistema de informação estratégico voltado à tomada de decisão
•Criação e disponibilização de produtos e serviços específicos à tomada de decisão
Trabalha com os dois fluxos de informação: formais e informais
Inteligência competitiva é um processo que "objetiva agregar valor à
informação, fortalecendo seu caráter estratégico, catalisando, assim, o
processo de crescimento organizacional. Nesse sentido, a coleta,
tratamento, análise e contextualização de informação permitem a geração
de produtos de inteligência, que facilitam e otimizam a tomada de decisão
no âmbito tático e estratégico.
(Canongia, 1998, p.2-3)
Regras de Qualidade de Dados
• Identidade
• Correção
• Cardinalidade
• Precisão
• Referência
• Não duplicação
• Herança
• Consistência
• Domínio
• Padrões de nomenclatura
• Dependência
• Existência Completa
• Validade
Os 12 mandamentos da QD
1. Conscientize-se
2. Aceite a responsabilidade
3. Decida mudar
4. Identifique as causas básicas
5. Trabalhe em equipe
6. Identifique os agentes de mudança
7. Comunique e divulgue
8. Planeje as mudanças
9. Priorize as mudanças
10. Implemente as mudanças
11. Meça a eficácia
12. Refine as mudanças
Larry English