Metadados - Stoa

Inteligência de Negócios
USP-FEA
METADADOS
UNIVERSIDADE DE SÃO PAULO - FEA
Fulvio Cristofoli – Nr. USP: 55.34.485
Inteligência de Negócios
USP-FEA
Objetivo
Apresentar os principais
conceitos relacionados a
Metadados, suas características,
exemplos, vantagens e
desvantagens.
Inteligência de Negócios
USP-FEA
Origem da Palavra
O prefixo "meta" vem do grego e significa "após" ou "esse que ultrapassa”.
Ele designa uma noção que sucede à uma outra,
ou seja,
podemos designar
"a informação sobre a informação”
Os metadados provêem uma descrição concisa a respeito dos dados.
Os dados podem ser documentos, coleção de documentos,
gráficos, tabelas, imagens, vídeos, entre tantos outros.
Inteligência de Negócios
USP-FEA
Conceito
A grande maioria dos usuários da Tecnologia da Informação já utilizou
algum tipo de metadados, mesmo não tendo conhecimento do seu
significado e até mesmo do seu uso.
“São dados.
Mas são dados que fazem referência a outros dados.”
Na literatura sobre metadados, a definição mais encontrada é a de que
eles representam "dados sobre dados“.
Metadado é uma abstração do dado, capaz, por exemplo, de
indicar se uma determinada base de dados existe, quais são os
atributos de uma tabela e suas características, tais como:
tamanho e/ou formato.
INMON, William H. Enterprise meta data. DM Review Magazine, v. 8, n. 10, Nov. 1998.
Inteligência de Negócios
USP-FEA
Conceito
Metadados são dados que descrevem atributos de um
recurso. Ele suporta um número de funções: localização,
descoberta, documentação, avaliação, seleção, etc.
BIEBER, Monty. Data warehousing in government. DM Review Magazine, v. 8, n.5, May 1998.
Metadados fornece o contexto para entender os dados
através do tempo.
DESIO, Vince. Informational Metadata. Disponível na Internet. http://www.datawarehouse.com/resources/articles/desio.htm
Metadados é dado associado com objetos que ajuda seus
usuários potenciais a ter vantagem completa do conhecimento
da sua existência ou características.
MORIATY, Terry. What is Metadata? Database Programming and Design, San Mateo, v. 10, n. 7, p. 57-59, July 1997
Metadados é o instrumental para transformar dados brutos
em conhecimento.
RIBEIRO, Gilberto Pessanha. Metadados geoespaciais digitais. In: WORKSHOP DE BANCOS DE DADOS NÃO CONVENCIONAIS, (2. : 1995 :
Niterói) Anais... Niterói, 1995
Inteligência de Negócios
USP-FEA
Importância
Metadados é extremamente importante
para o BI pois transforma dados em
informação empresarial, aumentado a
produtividade.
Flexibilidade
Produtividade
As regras de negócio das aplicações alternam de forma muito rápida, o que
implica no fato das aplicações precisarem ser desenvolvidas rapidamente e de
forma flexível.
Inteligência de Negócios
USP-FEA
Importância
Por Exemplo:
O que é o lucro?
Os metadados asseguram a correta
interpretação (baseada em
atividades, objetos, relações e
regras) do que os dados realmente
significam para o negócio.
É a Receita das Vendas menos os Custos de Produção.
Ou é um cálculo mais complicado, como:
O “Total das receitas anuais, menos
A soma do custo médio real por produto, menos
Overhead deduzido de cada produto acumulado da produção
anual, menos
Gratificações, menos
Cupons de descontos, dividido por doze?“
Inteligência de Negócios
USP-FEA
Importância
Será que todas as empresas têm a mesma compreensão de
lucro? Existe somente um cálculo para o lucro?
Se existem diferentes interpretações do lucro, todas as
interpretações são legítimas?
Se existirem várias versões para os cálculos de lucro, vários
elementos devem ser criados, cada um com seu próprio
nome, a definição, o conteúdo, as regras, os
relacionamentos, e assim por diante.
Toda esta informação contextual sobre o lucro é meta
dados.
Segundo Moriarty (1997), a finalidade principal dos metadados é
documentar e organizar de forma estruturada os dados das organizações,
com o objetivo de minimizar duplicação de esforços e facilitar a
manutenção dos dados.
Inteligência de Negócios
USP-FEA
Exemplo
Versão Original
Primeiro Título: For Me
Título Oficial: Comme d'habitude
Composição de: Claude François e Jacques Revaux
Letra de: Claude François e Gilles Thibaut
País: França
Mês de Lançamento: Novembro
Ano de Lançamento: 1967
Tamanho Música: 4:10
Nome Álbum: Comme d´habitude
Gravadora: Phillips
Gênero: Romântica
Inteligência de Negócios
USP-FEA
Exemplo
Versão Inglês
Título: My Way
Direitos autorais: Paul Anka
Cantor: Frank Sinatra
País: Estados Unidos
Mês de Lançamento: 13 de fevereiro
Ano de Lançamento: 1968
Tamanho Música: 4:04
Nome Álbum: My Way
Gravadora: Reprise Records
Warner Bros UK
Gênero: POP Clássico
Inteligência de Negócios
USP-FEA
Exemplo
Versão Inglês
Título: My Way
Direitos autorais: Paul Anka
Cantor: Elvis Presley
País: Estados Unidos
Gravação – Versão Estúdio: Junho 1971
Tamanho Música: 4:04
Nome Álbum: Walk A Mile In My Shoes
Gravadora: BMG
Gênero: POP Rock
Inteligência de Negócios
USP-FEA
Exemplo
Outras Versões
Título: My Way
Luciano Pavarotti, Plácido Domingo e José Carreras
Sex Pistols
Sid Vicious
The Great Rock'n'Roll Swindle - 1980
Inteligência de Negócios
USP-FEA
Categorias de Metadados
Existem duas categorias de Metadados:
Metadados Técnico: é a descrição dos dados necessários pelas várias
ferramentas para armazenar, manipular ou movimentar os dados.
Estas ferramentas incluem banco de dados relacionais, ferramentas de
desenvolvimento de aplicações, ferramentas de modelagem, ferramentas de
pesquisa em banco de dados, ferramentas OLAP, etc.
Por exemplo:
•
•
•
•
•
•
•
Representação de Tipos;
Descrição de Conteúdo;
Classificação de conteúdo;
Composição de documentos;
História de documentos;
Localização de documentos;
Estatística; etc.
Algumas estratégias para integração:
• Construir uma ponte proprietária entre vários produtos;
• Fornecer uma solução completa de data warehouse ou de ambiente de
desenvolvimento;
• Criar um padrão de troca de metadados.
Inteligência de Negócios
USP-FEA
Categorias de Metadados
Metadados de negócio: é a descrição de dados necessários pelos usuários
de negócio, para entender o contexto do negócio e o significado dos dados.
Seu maior uso e para armazenamento de, e quando for usado para gerar
regras de negócio executáveis, a definição de metadados será:
“A representação de instruções de regra de negócio de acordo
com o esquema de classificação que pode ser transformado
em sistemas de informação do negócio.”
Técnico
Administração
do Warehouse
Negócios
Inteligência de Negócios
USP-FEA
Tecnologias de Metadados
A tecnologia de metadados está surgindo em função:
• Necessidade de conhecer melhor os dados que são mantidos na
organização;
• Conhecer com mais detalhes os dados de outras organizações.
A Catalogação dos dados propiciará
uma maior utilização de metadados
por usuários com múltiplos interesses.
Inteligência de Negócios
USP-FEA
Metadados como Instrumento de Navegação
Em um ambiente de BI (apoio à tomada de decisões), os
metadados assumem um novo nível de importância - um novo
papel:
o de navegação, e não apenas documentação.
Os metadados ajudam os empresários a:
•
•
•
•
Localizar;
Gerenciar;
Compreender; e
Utilizar os dados em banco de dados de BI.
É FATO:
Os executivos / empresários / alto escalão, normalmente não têm
as competências técnicas, nem o tempo ou vontade, de “decifrar”
códigos de programação.
Inteligência de Negócios
USP-FEA
Metadados como Instrumento de Navegação
Eles também não querem ficar dependentes do departamento
de TI para interpretar o sentido e/o conteúdo dos dados
depois de ter sido manipulada pelos programas.
Ele deverá ser capaz de acessar os metadados, que passaria
então para ele ou ajudaria efetivamente a navegar através do
meio ambiente de BI e interpretar os dados de BI - Apoio à
tomada de decisões.
Inteligência de Negócios
USP-FEA
Contextualização na Organização
As organizações que não documentam seus dados ficam sujeitas a:
•
•
•
•
Superposição de esforços de coleta de dados;
Superposição de manutenção de seus dados;
Vulneráveis a problemas de inconsistências;
Pagarão um alto custo pelo não uso ou uso impróprio dessa informação.
Inteligência de Negócios
USP-FEA
Padronização de Metadados
Algumas importâncias da padronização dos Metadados:
Os esforços do líder de projeto é minimizado, por não criar seu
próprio material de trabalho.
As chances de sucesso do projeto e a sua qualidade aumentam.
Com o uso de padrões o gerenciamento deveria ser a habilidade do
líder de projeto em desenvolver produtos de alta qualidade em um
ambiente controlado.
Os metadados deveriam incluir a informação contextual que é
necessária para gerenciar, recuperar e interpretar a
informação eletrônica
(LORIST e MEER, 2001)
Inteligência de Negócios
USP-FEA
Classificações de Metadados
De acordo com Moss, os componentes podem ser divididos em quatro
grupos:
a propriedade, características descritivas, normas e políticas, bem
como as características físicas
Inteligência de Negócios
USP-FEA
Classificações de Metadados
Propriedade
Os dados são propriedade da organização. No entanto, uma vez que a
organização é uma entidade legal e não uma pessoa, alguém na
organização deve assumir a responsabilidade e autoridade para definir
políticas, determinar regras, e estabelecer normas para a organização dos
dados.
Captura dos
Dados
Sistemas fontes dos quais se extrai os dados de DW
• Informações descritivas das fontes
• responsabilidades
• frequências de atualização
• limitacões legais de cada fonte
• métodos de acesso, direitos, privilégios
• BDs operacionais
• esquema do sistema (estruturas, restrições)
• Informações Organizacionais
• Regras de negócio
Processo de captura
• como, quando e quem
• qual a plataforma sob cada sistema fonte
Depuração dos metadados
• tratamento dos metadados que vão ser efetivamente utilizados
Inteligência de Negócios
USP-FEA
Classificações de Metadados
Características descritivas
Nome: Cada objeto de dados, elemento de dados, e do processo deverá ter um nome único.
Definição: Cada objeto de dados, elemento de dados, e as empresas deveriam ter um breve processo
de definição explicando o que é.
Tipo e duração: A cada elemento de dados deve ter um tipo e tamanho oficial declarado.
Domínio: Cada elemento de dados deve ter declarado um conjunto de valores admissíveis.
Notas: Fatos adicional fatos de interesse sobre os dados ou processos .
Ambiente de DW - modelo estrela
• definições de dimensões e tabelas de fatos.
• políticas de dimensões que evoluem.
• correspondências entre as chaves.
Procedência de cada dado
• mapeamento do dado presente no novo ambiente.
Processo de integração
• transformações feitas sobre os esquemas originais.
• informações de como o dado foi limpo.
• quais correções e ou alterações foram realizadas.
Integração
dos Dados
Inteligência de Negócios
USP-FEA
Classificações de Metadados
Regras e Políticas
Relação: Os dados são objetos relacionados entre si através de atividades empresariais. O repositório
de metadados deve ser capaz de armazenar informações sobre esses relacionamentos.
Regras empresariais e políticas empresariais: São as regras técnicas de conversão de dados, regras
sobre integridade dos dados ou regras de processamento.
Segurança: Requisitos de segurança aplicados aos dados, metadados, processos, bases de dados,
aplicações, ferramentas, e Web sites.
Limpeza: Métricas sobre a reconciliação totais de ETL e sobre a qualidade do dados.
Aplicabilidade: Os novos dados são captados e inseridos, e os dados são antigos deixam de ser usados.
Oportunidade: Os executivos vão querer saber quando os dados foram atualizados pela última vez.
DW de acordo com a utilização de seus usuários
• que usuários estão fazendo acessos e a que dados.
• com que frequência.
• quais são as consultas mais e menos frequentes.
• quais são as consultas mais demoradas.
Carga e utilização
• quanto tempo levam as atualizações dos dados.
• quais os responsáveis pela extração dos dados.
• quando são realizadas.
Funções Administrativas
• que usuários podem ter acesso aos dados.
Gerência
do DW
Inteligência de Negócios
USP-FEA
Classificações de Metadados
Características Físicas
Origem (fonte): A origem dos dados para cada elemento deve ser documentado.
Localização física: Os vários componentes de metadados (por exemplo, tabelas, colunas, nomes de
dados) devem ter sua origem descrita.
Transformação: Os dados da origem podem ser mudados. Dependendo do processo, pode exigir
regras mais complicadas que envolvem transformações editando, filtrando, combinando,
separando, ou traduzindo estes dados.
Derivados - Provenientes: Este armazena o local das colunas.
Agregação e sumarização: Semelhante a derivação, agregação e sumarização. Todas as regras
devem ser armazenados.
Volume e crescimento: Documentar o tamanho e o crescimento das bases de dados em função do
número de linhas e o percentual de crescimento esperado.
Acesso
aos Dados
• descrição, interpretação dos dados.
• história dos dados nas fases anteriores.
• operações que podem ser realizadas sobre os dados.
• cardinalidade de cada dimensão.
• e todos as demais informações importantes para o processo de análise..
Inteligência de Negócios
USP-FEA
Classificações de Metadados
Captura dos
Dados
Integração
dos Dados
Metadados
Acesso
aos Dados
Gerência
do DW
Inteligência de Negócios
USP-FEA
Priorização de Componentes
Os componentes devem ser priorizados de acordo com cada empresa e com
cada projetos.
( Obrigatório - Importante - Opcional )
Inteligência de Negócios
USP-FEA
Alguns Desafios Enfrentados...
Desafios enfrentados na implementação de um repositório de metadados:
Desafios
Desafios
Desafios
Desafios
Desafios
técnicos – Recursos Infra-Estrutura;
Pessoais – Pessoas envolvidas;
de Orçamento – Falta de investimento financeiro;
de Usabilidade – Sistemas com alto grau de usabilidade;
Políticos – Necessidade do comprometimento de todos os envolvidos no projeto.
Inteligência de Negócios
USP-FEA
O Modelo Lógico
O modelo lógico de metadados é um modelo que indica os objetos, as
relações entre os objetos, a cardinalidade e os possíveis relacionamentos.
A diferença entre um modelo lógico de um repositório de metadados e um
modelo lógico de dados para uma aplicação empresarial reside na natureza
dos objetos.
Todos os objetos de metadados devem ter elementos que abrangem o nome,
definição, tamanho e duração, a descrição do conteúdo, relacionamentos,
regras comerciais, segurança, limpeza, localização física, aplicabilidade, a
atualidade, volume e notas.
Inteligência de Negócios
USP-FEA
Atividades de Análise
“As atividades não precisam ser executadas de
forma linear”
Analisar os requisitos do repositório de metadados:
Determina a priorização e requisitos específicos
para o seu projeto de BI.
Inteligência de Negócios
USP-FEA
Atividades de Análise
Analisar os requisitos da interface para o repositório
de metadados: Será adquirido ou construído?
Permitirá interfacear com todos os sistemas e
possíveis fontes de informação?
Inteligência de Negócios
USP-FEA
Atividades de Análise
Analisar o repositório de dados e o acesso aos requisitos de
informação: Os dados do seu banco de dados pode ser acessado,
consultado, e relatados?
Identificar as necessidades de acesso ao metadados, os requisitos de
segurança, e outras requisições que forem necessárias.
Avalie modos de exibição alternativos, tais como Arquivos PDF,
HTML, SQL entre outros.
Inteligência de Negócios
USP-FEA
Atividades de Análise
Crie o modelo lógico.
Desenhe o modelo lógico como um modelo ER (entidade –
relacionamento) para mostrar explicitamente as relações entre os
objetos de metadados.
Inteligência de Negócios
USP-FEA
Atividades de Análise
Crie o metadados.
Descreve os dados exigidos de forma detalhada.
Inteligência de Negócios
USP-FEA
Riscos
Uma vez que um dos objetivos do Sistema de apoio à tomada
de decisões é eliminar inconsistências, a fonte de dados deve
ser padronizada.
A Padronização invariavelmente resulta em alterar muito a
fonte de dados.
Estas alterações devem ser documentadas. Este traço é
chamado de metadados, e pessoas de negócios precisam dela
para navegar eficazmente através do BI apoio à tomada de
decisões ambientais.
Sem metadados, os empresários terão dificuldades na
compreensão e na utilização dos dados.
“Imagine você dirigindo um carro durante semanas ou meses sem
um mapa, descobrindo seu caminho de forma aleatória para o seu
destino.”
Inteligência de Negócios
USP-FEA
EXERCÍCIO
Quais informações são necessárias
na construção de um repositório
para uma biblioteca?
Inteligência de Negócios
USP-FEA
Primeiro: Lembrando que em uma biblioteca podemos ter:
• Livros;
• Jornais;
• Revistas Científicas;
• Revistas Comerciais;
• CD´s;
• DVD´s;
• Vídeos VHS;
• Vídeos Digitais;
• Acessos eletrônicos à portais.
Inteligência de Negócios
USP-FEA
Código da Biblioteca
Classificação (livro, artigo, revista, etc.)
Formato (digital ou impresso)
Título da Obra / Artigo
Gênero (área)
Classificação
ISBN
ISSN
Ano
Editora (todos os dados referentes a esta editora)
Autores (todos os dados referentes aos autores)
Palavras Chaves
Sinopse
Quantidade de Páginas
Tamanho do Arquivo
Data de entrada no acervo
Quantidade de exemplares
Dados do doador (todos os dados referentes a doação)
Dados da aquisição (todos os dados referentes a aquisição)
Localização física da biblioteca
Ala
Corredor
Prateleira
Inteligência de Negócios
USP-FEA
Historiando Repositórios
Os administradores têm tentado definir e organizar os metadados desde o
início de 1980.
A maioria dos administradores de dados utilizavam dicionários de dados
genéricos (repositórios de metadados costumavam ser chamados de
dicionários de dados)
Poucos tentaram projetar e construir seus próprios repositórios. Alguns
dicionários eram bastante sofisticados e expansíveis, além de poder
armazenar e atender aos todos os requisitos.
No entanto, havia muitos problemas associados a estes primeiros esforços.
Inserir estes primeiros dicionários de dados exigia um esforço manual, que
era moroso e enfadonho.
A falta de qualificação técnica por parte da maioria dos administradores de
dados impediu-os de expandir o dicionário de dados com funcionalidades
personalizadas para torná-las mais úteis.
Inteligência de Negócios
USP-FEA
Historiando Repositórios
A falta de normas (ou a falta de cumprimento das normas), criaram um
caminho intransponível para os administradores, pois tinham dados
conflitantes e inconsistentes.
OS Metadados não
podem ser evitados,
especialmente os
metadados técnicos,
pois os sistemas de
gestão de dados
(SGBDs) e demais
ferramentas não
funcionam sem ele.
Inteligência de Negócios
USP-FEA
Algumas soluções
Independentemente de qual tipo de repositório de
metadados que a empresa escolher, a empresa
deve ter a compreensão de que estas soluções são
grandes e caras.
Centralizado
Descentralizado
Distribuído XML
Inteligência de Negócios
USP-FEA
Desenho do Metadados
Entidade – Relacionamento = ER x Orientação a Objetos = OO
ER
É um modelo diagramático que descreve o modelo de dados de um sistema. Sua
maior aplicação é para visualizar o relacionamento entre tabelas de um banco de
dados, no qual as relações são construídas através da associação de um ou mais
atributos destas tabelas.
Vantagens
Desvantagens
Fáceis de ler e de fácil compreensão.
Mudanças e melhorias podem exigir um redesenho de
dados, bem como descarregá-lo e recarregá-lo no
repositório de metadados.
Devido à natureza intuitiva e explícita do projeto, as
perguntas podem ser escritas com relativamente
simplicidade.
O modelo físico é bastante grande, com muitos relações
tornando a arquitetura complexa.
Desenhos de ER são facilmente implementáveis em
estruturas de dados relacionais.
Os Objetos de metadados devem ter suas relações
devem ser muito bem definidas .
Inteligência de Negócios
USP-FEA
Desenho do Metadados
Entidade – Relacionamento = ER x Orientação a Objetos = OO
OO
Ele é baseado na composição e interação entre diversas unidades de software chamadas de objetos.
Têm como meta identificar o melhor conjunto de objetos para descrever um sistema de software. O
funcionamento deste sistema se dá através do relacionamento e troca de mensagens entre estes
objetos.
Vantagens
Desvantagens
São extremamente flexíveis. Não precisam redesenhar
os banco de dados quando forem necessárias
mudanças.
Uma vez que este objeto contenha todas as instâncias
(linhas) de metadados, esse quadro se tornam muito
grande. Este acesso pode afetar o desempenho.
Os desenhos são simplistas e, portanto, fácil de manter e
implementar (crescer).
As consultas são muito mais difíceis de serem escritas e
exigirá muitas entradas.
Requer conhecimento avançado de SQL.
Os desenhos OO são de fácil implementação.
Requerem um alto aprendizado. O modelo de dados
físico é muito abstrato (de difícil compreensão), e as
extensas regras levam tempo para entender.
Inteligência de Negócios
USP-FEA
Comprando
Quando for selecionar um repositório de metadados, você nunca deve começar com a
pergunta:
"Qual é o melhor produto deste tipo no mercado?"
Em vez disso, começar sempre com as seguintes perguntas:
Quais são as nossas necessidades?
Quais os nossos requisitos em relação à:
- Obrigatório (deve-se ter)
- Importante (positivo ter)
- Opcional (bom ter)
Dos modelos existentes no mercado (se existir) faça uma comparação entre:
modelo físico (concepção do produto) com seus modelo lógico de metanálise , para
determinar se modelo cobre todos os requisitos de metadados que precisa.
Inteligência de Negócios
USP-FEA
Desenhando as atividades
As atividades de desenho do repositório de metadados não precisam ser executadas linearmente.
•
•
•
•
Desenhar
Instalar e
Desenhar
Desenhar
o repositório de dados do metadados.
testar o repositório de metadados.
o processo de migração de metadados.
o aplicativo de dados do metadados.
Inteligência de Negócios
USP-FEA
Construindo as atividades
Atividades associadas com o desenvolvimento do repositório de metadados.
•
•
•
•
•
•
Construa o banco de dados do repositório de metadados.
Construir e testar as interfaces de processo de migração.
Construir e testar a aplicação de metadados.
Teste o programa de repositório de metadados e “verifique se funciona”.
Preparar o repositório de metadados para a produção.
Fornecer treinamento.
Finalmente deve-se documentar:
• Plano dos repositórios desenvolvidos (objetivos de cada um, testes realizados, critérios de entrada e
saída dos resultados esperados);
• Programas e ferramentas utilizadas (todos os programas de migração de dados meta, o acesso as
interfaces, ferramenta de interface, relatório, consulta de scripts, etc.);
• Biblioteca utilizada (processo de migração);
• Documentações (procedimentos operacionais que abrange todas as operações), instruções sobre como
usar ;
• Materiais de Treinamento - materiais de formação interna.