Captacao de Modelos de Dados - Anexo IV

PREFEITURA DA CIDADE DO RIO DE JANEIRO
Empresa Municipal de Informática S/A – IplanRio
Gerência de Administração de Dados - PRE/DSI/GAD
Anexo IV
Manual de Normas e
Procedimentos de Adm. de Dados
MANUAL DE NORMAS E PROCEDIMENTOS
Nome do Unidade: IPLANRIO/DSI/Gerência de Administração de Dados
Nome do Processo:
Capta Modelo de Dados
Código:
2.2.1
Página 1 de 11
HISTÓRICO DAS ALTERAÇÕES
Número
Data
Descrição: Catalogar e publicar o modelo de dados dicionarizado.
01
16/10/2008
Emissão inicial
02
31/12/2008
03
16/04/2009
04
01/06/2012
Inclusão da atividade Autoriza Metadados
Alteração do objetivo incluindo a autorização do gestor para
publicação dos metadados.
Alteração do processo para se adequar a nova estrutura funcional do
IPLAN.
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
1
a) Objetivo:
Catalogar e publicar o modelo de dados dicionarizado. O estudo dos processos suportados pelo
sistema, da estrutura do banco de dados e da sua documentação possibilitarão que o administrador de
dados inicie o cadastro dos metadados, que será realizado pelos analistas de sistemas e
posteriormente publicado no SGRI – Sistema de Gerenciamento de Recursos de Informática, após a
validação do administrador de dados e autorização do gestor do sistema. Os metadados serão
preenchidos apenas para as tabelas fundamentais do sistema.
b) Amplitude:
IplanRio/DSI/GAD – Gerência de Administração de Dados;
IplanRio/DSI/GAS – Gerência de Administração de Sistemas (Unidade Central e GTIS);
c) Definições:
Atributos: Conjunto de características que permitem descrever uma entidade. Estão presentes no
modelo lógico de dados.
Colunas: São a representação dos atributos das entidades do modelo lógico nas tabelas do
modelo físico de dados.
Databridge: é um software de plataforma cliente/servidor que replica a estrutura e dados de bancos
não Relacionais (tais como DMSII e outros considerados de Plataforma alta) para bancos que
utilizam modelagem relacional (Oracle, SQLServer e outros considerados Plataforma Baixa).
Data Browser: Funcionalidade do Aplicativo Erwin que permite a criação e customização de
relatórios de metadados.
DMSII: Gerenciador de banco de dados hierárquico utilizado no ambiente operacional de Grande
Porte.
Domínios: Representam um conjunto de valores válidos para os atributos dentro do contexto do
negócio.
EAE: Ferramenta geradora de sistemas que cria uma base de dados DMSII interativamente.
Engenharia Reversa: É um procedimento que gera um modelo físico de dados a partir da extração
de uma base de dados. A extração pode ser feita através da conexão com a base de dados ou
através de scripts.
Entidades: É uma definição abstrata de objetos semelhantes no mundo real que interagem no
contexto de um sistema.
Erwin: Conjunto de ferramentas de software para elaboração e gerenciamento de modelos
entidade-relacionamento.
Erwin Data Modeler: Ferramenta do Erwin que suporta a modelagem de dados física e lógica,
permitindo a documentação dos modelos e seus objetos.
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
2
Erwin Model Manager: Ferramenta do Erwin utilizada para armazenar e controlar as versões dos
modelos de dados no Repositório de Modelos.
Grande Porte : Tipo de sistema cujo ambiente operacional é baseado em mainframe.
Metadados: “Dados sobre dados”, ou seja, dados que documentam dados. Exemplos : descrição
de uma entidade, tipo de dados de uma coluna.
Modelo de Dados: O modelo de dados é o produto mais utilizado nas atividades da Administração
de Dados. Consiste em uma especificação que representa uma realidade do negócio através dos
dados nela existentes, seus inter-relacionamentos e suas regras. É, portanto, um retrato do contexto
do negócio.
Modelo de Dados Físico: Modelo em que a representação dos objetos é feita sob o foco do nível
físico de implementação das ocorrências, ou instância das entidades e seus relacionamentos. O
conhecimento do modo físico de implementação das estruturas de dados é ponto básico para o
domínio deste tipo de modelo.
Modelo de Dados Lógico: Modelo em que os objetos, suas características e relacionamentos têm a
representação de acordo com as regras de implementação e limitantes impostos por algum tipo de
tecnologia. Essa representação, por sua vez, é independente dos dispositivos ou meios de
armazenamento físico das estruturas de dados por ela definidas.
Mudanças solicitadas pelos desenvolvedores: Alterações nos bancos de dados para atender aos
requisitos do negócio.
Option Set: De todos os itens passíveis de reversão para tabelas e visões, como, por exemplo,
nome físico, comentários, propriedades de colunas, índices, relacionamentos, código SQL das
visões, etc., o Option Set permite que seja escolhido um conjunto personalizado de objetos
desejados para a Engenharia Reversa.
Relacionamentos: Associação de dependência ou ligação entre entidades para representar as
regras de negócio do sistema.
Report Template Builder: Funcionalidade do Aplicativo Erwin que permite a publicação, em diversos
formatos, dos relatórios de metadados gerados a partir do Data Browser.
Erwin Model Manager: É um repositório de Modelos de Dados, usado pelo Erwin para
armazenamento dos modelos de dados e suas versões.
Script: Seqüência lógica de comandos de alteração de objetos de banco de dados.
SGRI-Sistemas: Sistema de Gestão de Recursos de Informática, responsável pelo cadastramento
das principais informações sobre os sistemas da PCRJ, tais como classificação, gestão, equipe e
integração.
de o de Recursos de Informática
Subject Area: Funcionalidade do aplicativo Erwin que permite a divisão de um modelo de dados,
físico ou lógico, em áreas de negócio.
Tabelas: É a representação das entidades do modelo lógico no modelo físico de dados.
Tabelas Fundamentais: Tabelas diretamente relacionadas ao negócio, que possuem interface com
outras tabelas importantes no mesmo modelo ou que são compartilhadas por outros sistemas.
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
3
Template: Modelo padrão utilizado para automatizar determinada atividade do procedimento.
Triggers: Também conhecidos como Gatilhos, são recursos de programação utilizados para manter
a consistência dos dados ou para propagar alterações em um determinado dado de uma tabela
para outras.
Visões: Consultas SQL armazenadas na base de dados em forma tabular. Muito utilizada por
questões de segurança e para filtrar pesquisas específicas.
d)Procedimentos
IplanRio/DSI/GAD
Extrai a estrutura do Banco de Dados
Este procedimento tem a finalidade de extrair o modelo de dados do sistema através de
Engenharia Reversa.
Para os sistemas de Grande Porte, antes da Engenharia Reversa, a estrutura de dados será
extraída do DMSII através do Databridge, que gera uma base de dados em ambiente
relacional, que será utilizada como base para a Engenharia Reversa.
* Instruções de Trabalho no item “f” subitem “1” (Extrai estrutura do Banco de Dados).
IplanRio/DSI/GAS
Fornece documentação do Sistema
Para o entendimento detalhado dos dados, os analistas da GTIL diretamente envolvidos no
sistema fornecem as descrições mais detalhadas do sistema através de normas técnicas,
manuais e qualquer documento que favoreça o entendimento do sistema.
IplanRio/DSI/GAD
Estuda Sistema comparando o modelo extraído com a Documentação
A partir da documentação do sistema, fornecida pela DSI e pela documentação dos processos
(caso existam), fornecida pela CG/SIP/CIP, temos o início do entendimento das regras de
negócio implementadas no sistema.
No caso de um sistema muito complexo, dividimos as tabelas deste em subject áreas (áreas
de negócio), de acordo com o entendimento dos documentos fornecidos.
É importante que, a partir deste momento, todas as definições pertinentes sejam cadastradas
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
4
no Glossário.
* Instruções de Trabalho no item “f” subitem “2” (Cadastra dados no Glossário).
IplanRio/DSI/GAS
Esclarece Dúvidas
A partir da formação do subconjunto de tabelas fundamentais, esclarecer as dúvidas conceituais
do sistema junto aos analistas responsáveis.
IplanRio/DSI/GAD
Sugere Tabelas Fundamentais
Selecionar as tabelas fundamentais. Para este conjunto, criar uma nova área de negócio
(subject area).
Valida Interfaces com outros sistemas
Através de consulta à pasta Integrações do SGRI-Sistemas e consulta aos administradores
de bancos de dados sobre os usuários que acessam o sistema, é possível identificar as
interfaces com outros sistemas e preencher os metadados de compartilhamento definidos na
Cartilha de Metadados.
É importante manter a compatibilidade entre as informações do SGRI-Sistemas e os
metadados de compartilhamento cadastrados no Erwin.
Inicia cadastro de metadados
Após os procedimentos de estudo do sistema, chegamos ao entendimento de alto nível do
negócio. Com isso, temos base para iniciar o cadastro de metadados.
* Instruções de Trabalho no item “f” subitem “3” (Inicia cadastro de metadados).
IplanRio/DSI/GAS
Cadastra Metadados
Os analistas recebem da GAD a cartilha de metadados com a descrição das informações que
devem ser preenchidas. Os itens com fundo cinza são preenchidos automaticamente pela
ferramenta e não podem ser editados. Os demais são livres para edição.
Com posse desta cartilha, o analista responsável pelo sistema deve cadastrar, através do
Data Browser, os metadados restantes da tabelas fundamentais (entidades, atributos,
relacionamentos, tabelas, colunas, domínios...), além de revisar e, sempre que possível,
detalhar as informações já preenchidas no procedimento “Iniciar cadastro de metadados”.
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
5
IplanRio/DSI/GAD
Valida Metadados
Validar em conjunto com os analistas do sistema os metadados cadastrados. É importante
verificar se os metadados obrigatórios estão preenchidos para as tabelas fundamentais.
Salvar este modelo no repositório de modelos de dados utilizando o Erwin Model Manager,
seguindo o
Gestor do Sistema
Autoriza Metadados
O Gestor responsável pelo sistema deve autorizar a publicação dos metadados, com base na
validação anterior feita pela GAD.
IplanRio/DSI/GAD
Cadastra SGRI (Integração)
Cadastrar no SGRI a integração especificada nos metadados. Cada integração informada
poderá envolver vários objetos, e suas informações devem ser preenchidas tais como: nome,
descrição e tipo do objeto, assim como cada objeto poderá ter vários campos e para cada
campo deveremos preencher: nome, tipo e descrição do campo e o filtro utilizado na
integração.
Vale lembrar que é importante manter a compatibilidade entre as informações do SGRISistemas e os metadados de compartilhamento cadastrados no Erwin.
Publica Metadados
Por fim, com as informações coletadas, revisadas e consolidadas, os metadados são
publicados no formato HTML no SGRI.
* Instruções de Trabalho no item “f” subitem “4” (Publica Metadados)
e) Referências (normativas, técnicas, etc):
Cartilha de Metadados (AD_REPOSITORIO_METADADOS\Metadados\Docs).
Manual do curso CA All Fusion Data Modeler r7.2.
Manual do curso CA All Fusion Model Manager r7.2.
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
6
f) Instruções de trabalho, registros e sistemas:
1.Extrai estrutura do Banco de Dados:
1.1 - Executar uma engenharia reversa no banco original, utilizando a ferramenta Erwin, usando
o template de Option set (itens da Engenharia Reversa – arquivo .xml), localizado na pasta
AD_METADADOS/TEMPLATES_OPTION_SET. A engenharia reversa pode ser feita de 2
formas: via banco (opção Database) ou via script (opção Script File).
1.2 - Salvar a Reversa na pasta METADADOS/REVERSAS;
1.3-Aplicar o template de modelo de dados da pasta AD_METADADOS/TEMPLATES_MODELO
sobre o modelo captado na Engenharia Reversa, criando um novo modelo, respeitando a
plataforma na qual o sistema está inserido;
1.4 - Ao término da atividade, salvar este modelo no repositório de modelos de dados (opção
Save do Menu Services) utilizando o Erwin Model Manager, seguindo o seguinte padrão de
nomenclatura de bibliotecas e nomes de modelos:
Nomenclatura das bibliotecas: <nome do ambiente>_<nome do sistema>
Nomenclatura dos modelos: ER_<nome do sistema>
1.5 - Descrever a atividade na versão do modelo no campo Description (opção Version do
Menu Services).
2. Cadastra dados no Glossário:
2.1 – Conectar no servidor do glossário (banco de dados do Model Manager) através do
utilitário “Naming Standards Edition” da ferramenta Erwin, no item de menu Server/Connection;
2.2 – Cadastrar as definições no glossário do sistema que está sendo captado, através do item
de menu Services/Open.
3. Inicia cadastro de metadados:
3.1 – A partir do Repositório, salvar no diretório da máquina local o modelo a ser trabalhado.
3.2 - Aplicar o template de relatório do Data Browser (.erp). Nome do arquivo: Template
Metadados - Data Browser.erp da pasta METADADOS / TEMPLATES_DATA_BROWSER para
preenchimento dos metadados;
3.3 - Iniciar a descrição dos metadados de entidades e atributos do sistema com os Relatórios
gerados pelo Data Browser.
3.4 – Ao término da atividade, salvar este modelo no repositório de modelos de dados opção
Save do Menu Services) utilizando o Erwin Model Manager, seguindo o padrão estabelecido
para a nomenclatura de bibliotecas e nomes de modelos.
3.5 - Descrever a atividade na versão do modelo no campo Description (opção Version do Menu
Services).
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
7
4. Publica Metadados:
4.1 – A partir do Repositório, salvar no diretório da máquina local o modelo a ser trabalhado.
4.2 - Gerar o Relatório de metadados utilizando a funcionalidade Report Template Builder
aplicando o template de relatório de metadados (.rtb) localizado na pasta
METADADOS/TEMPLATES_RELATORIOS;
4.3 - Salvar o relatório gerado em HTML na pasta METADADOS/RELATORIOS HTML;
4.4 - Publicar o Relatório de Metadados no SGRI.
g) Indicadores operacionais relacionados:
Quantidade de Modelos captados / ano
Quantidade de Objetos Dicionarizados / Quantidade total de Objetos.
User Defined Properties – Template de Metadados:
Modelo Físico:
Diagram Reports – Relatório de Metadados – Modelo:
Nome do Campo
Descrição
Tipo
Nome Sistema
Nome do Sistema ao qual o modelo pertence.
UDP
Descrição Sistema
Descrição do sistema ao qual o modelo
pertence
UDP
Unidade Funcional Gestora
Unidade Funcional Gestora responsável pelo
sistema.
UDP
Público Alvo
Perfil de Usuários que acessam o sistema.
UDP
Banco de Dados
Banco de Dados no qual o sistema está
inserido
UDP
Versão do Banco (se Oracle)
Versão do Banco de dados no qual o sistema
está inserido.
UDP
Nome do Banco
Nome do Banco de Dados relacionado ao
sistema.
UDP
Schema (se Oracle)
Schema do banco de dados no qual o sistema
está inserido
UDP
Subject Area Reports – Relatório de Metadados – Áreas de Negócio:
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
8
Nome do Campo
Descrição
Tipo
Name
Nome da Área de Negócio (Subject Area)
Padrão
Table / View Name
Nome das tabelas / visões pertencentes à Área Padrão
de negócio em questão
Descrição da Área de Negócio
Descrição do assunto (área de negócio)
pertinente ao sistema em questão.
UDP
Modelo Lógico:
Entity Reports – Relatório de Metadados - Entidades:
Nome do Campo
Descrição
Tipo
Name
Nome da Entidade
Padrão
Definition
Descrição da Entidade
Padrão
Atribute Reports – Relatório de Metadados - Atributos:
Nome do Campo
Descrição
Tipo
Name
Nome do Atributo
Padrão
Definition
Descrição do Atributo
Padrão
Domain Reports – Relatório de Metadados – Domínios:
Nome do Campo
Descrição
Tipo
Name
Nome do Domínio
Padrão
Comment
Descrição do Domínio
Padrão
Used by column name
Domínio usado pela coluna
Padrão
Validation Constraint Name
Nome da constraint do Domínio
Padrão
Valor Default do Domínio
Padrão
Default
Relationship Reports – Relatório de Metadados - Relacionamentos:
Nome do Campo
Descrição
Tipo
Parent to child Phrase
Nome do Relacionamento Pai para Filho
Padrão
Parent Table Name
Nome da tabela pai
Padrão
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
9
Child Table Name
Nome da tabela filho
Padrão
Relationship Type
Identificado : Chave estrangeira faz parte da
chave Primária da tabela filho
Não Identificado: Chave estrangeira não faz
parte da chave Primária da tabela filho
Padrão
Regra do Relacionamento
Descrição da regra de negócio existente entre
as tabelas que compõem o relacionamento.
UDP
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
10
Table Reports – Relatório de Metadados: Tabelas:
Nome do Campo
Descrição
Tipo
Name
Nome da tabela no banco
Padrão
Comment
Descrição da tabela no banco
Padrão
Owner
Owner da tabela no banco
Padrão
Primary Key Column Name
Nome da chave primária da tabela
Padrão
Réplica
Informa se a tabela é uma réplica ou não.
UDP
Periodicidade de Carga
Informa a Periodicidade de carga de uma
tabela, caso a mesma seja réplica : diária,
semanal, quinzenal, mensal.
UDP
Procedimento da Réplica
Informa o procedimento utilizado pela tabela,
caso a mesma seja réplica.
UDP
Compartilhada pelos Sistemas
Nome dos sistemas que compartilham a tabela UDP
Tipo de Compartilhamento
Tipo de compartilhamento da tabela: Réplica,
Acesso Direto, Envio de Arquivo.
Tipo de Tabela
Tipo que a tabela pode assumir:
UDP
Negócio: Tabela transacional.
Apoio: Tabela sumarizada com informações
importantes como campos calculados,
relatórios, etc.
Associativa: Tabela gerada no modelo a partir
de um relacionamento muitos para muitos.
Auditoria: Tabela gerada contendo logs de
transações.
Domínio: Tabela gerada contendo uma lista de
valores possíveis para cada atributo do tipo
Domínio.
Histórico: Tabela gerada como um
espelhamento de uma original, contendo
informações passadas .
Ciclo de Vida
Sistema Origem: Sistema gerador da
UDP
informação, podendo ser o próprio.
Sistema Mantenedor: Sistema responsável
pela gerência da informação, podendo ser o
próprio.
Sistema Excludente: Sistema responsável pela
exclusão da informação, podendo ser o
próprio.
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
UDP
DATA DA
REVISÃO
11/06/2012
11
Column Reports – Relatório de Metadados: Colunas:
Nome do Campo
Descrição
Tipo
Name
Nome da coluna na tabela
Padrão
Comment
Descrição da coluna na tabela
Padrão
Data Type
Tipo de dados da coluna na tabela
Padrão
Validation Name
Informa o nome da validação da coluna, caso
exista
Padrão
Validation Constraint Name
Informa o nome da constraint de validação da
coluna, caso exista
Padrão
Domain Name
Informa o nome do domínio da coluna, caso
exista
Default Default
Informa o valor default da coluna, caso exista
Padrão
Null Option
Informa se o campo aceita ou não valor nulo
Padrão
Is PK
Informa se o campo é uma chave primária
Padrão
Is FK
Informa se o campo é uma chave estrangeira
Padrão
View Reports – Relatório de Metadados: Visões:
Nome do Campo
Descrição
Tipo
Name
Nome da visão
Padrão
Comment
Informa os detalhes da visão: Descrição, se é
Compartilhada pelos sistemas / Usuários e o
Tipo de compartilhamento (Réplica, Acesso
Direto ou Envio de Arquivo)
Padrão
Nome do Campo
Descrição
Tipo
Descrição da Trigger
Descreve a trigger (gatilho) referente à
tabela/ modelo.
UDP
Class: Trigger:
ELABORAÇÃO
26223175 – Aldemar Lima dos Santos
26227740 – Wallace Grola Cobian
APROVAÇÃO
26223175 – Aldemar Lima dos Santos
DATA DA
REVISÃO
11/06/2012
12