Manual DO PROCESSO

MANUAL DO
PROCESSO
OBSERVATÓRIO
Universidade Católica de Brasília - UCB
QS 07 Lote 01 - Bl. E - Sala 008 - EPCT - Águas Claras
Taguatinga/DF - CEP 72.030-170
Fone: (61) 3356.9652
1
1.
OBJETIVO ....................................................................................................................................................... 3
2.
PROCESSO ..................................................................................................................................................... 3
2.1
FLUXOGRAMA ................................................................................................................................................... 3
2.2
DEFINIÇÃO DE CADA PASSO DO PROCESSO ............................................................................................................... 3
2.2.1
Definição dos Dados .............................................................................................................................. 3
2.2.1.1
2.2.1.2
2.2.2
2.2.2.1
2.2.2.2
2.2.2.3
2.2.3
2.2.3.1
2.2.3.2
2.2.4
3.
Fluxograma ........................................................................................................................................................ 3
Documentos de Saída ........................................................................................................................................ 3
Staging .................................................................................................................................................. 3
Definição ............................................................................................................................................................ 3
Fluxograma ........................................................................................................................................................ 3
Documentos de Saída ........................................................................................................................................ 4
Data Warehouse - DW .......................................................................................................................... 4
Fluxograma ........................................................................................................................................................ 4
Documentos de Saída ........................................................................................................................................ 4
Sistema de Suporte à Decisão - SSD ...................................................................................................... 4
FERRAMENTAS .............................................................................................................................................. 4
3.1
CONFIGURAÇÕES................................................................................................................................................ 5
3.1.1
Pentaho ................................................................................................................................................. 5
3.1.2
Postgres ................................................................................................................................................. 5
Universidade Católica de Brasília - UCB
QS 07 Lote 01 - Bl. E - Sala 008 - EPCT - Águas Claras
Taguatinga/DF - CEP 72.030-170
Fone: (61) 3356.9652
2
1. Objetivo
Este documento tem como objetivo expor o passo a passo do processo para inserção de novos dados na base
integrada do observatório. Será aqui explicado o que é cada passo do processo, bem como serão definidos os
artefatos que devem ser produzidos em cada etapa.
Para que o trabalho realizado possa ser continuado e que todos os envolvidos possam ter acesso e consigam
visualizar cada parte do processo para cada nova entrada do observatório, serão aqui também definidas as
ferramentas a serem utilizadas para elaboração dos artefatos. Sendo assim, será criado um padrão de ferramentas a
serem utilizadas.
2. Processo
2.1 Fluxograma
1.
Definição
dos Dados
3. Data
Warehouse
2. Staging
4. Sistema de
Suporte à
Decisão
*OBS.: Para cada artefato/documento a ser elaborado em cada etapa do processo que serão detalhados nos passos a
seguir deve ser consultado o documento da “Estrutura Organizacional de Diretórios” para que se saiba onde cada
artefato deve ser armazenado.
2.2 Definição de Cada passo do processo
2.2.1 Definição dos Dados
2.2.1.1 Fluxograma
Identificar
Origem dos
Dados
Entender os
Dados
Determinar
Período de
Extração
Definir
Consultas
esperadas
Modelo de
Domínio
Determinar
dados a serem
extraídos
2.2.1.2 Documentos de Saída
DOCUMENTO
TEMPLATE
Definição de Dados
Definição de Dados
2.2.2 Staging
2.2.2.1 Definição
A área de Staging é uma área temporária utilizada para armazenar temporariamente os dados extraídos
das fontes definidas.
2.2.2.2 Fluxograma
Modelo
Relacional
Físico
Script de
Criação/Alteração
do Banco
Criar/Alterar
o Banco
Universidade Católica de Brasília - UCB
QS 07 Lote 01 - Bl. E - Sala 008 - EPCT - Águas Claras
Taguatinga/DF - CEP 72.030-170
Fone: (61) 3356.9652
Definição do
Processo de
ETL
3
Dicionário de
Dados
*OBS.: Deve-se criar um processo de ETL automatizado para que quando a Rotina de Sincronização execute não
seja necessário um trabalho manual por parte dos envoldidos.
2.2.2.3 Documentos de Saída
DOCUMENTO
Modelo Relacionado Físico do Staging
Script do Banco
Dicionário de Dados do Staging
Processo de ETL Staging
TEMPLATE
Dicionário de Dados
Definição Processo de ETL Staging
2.2.3 Data Warehouse - DW
2.2.3.1 Fluxograma
Modelo
Dimensional
Físico
Script de
Criação/Alteração
do Banco
Definição do
Processo de
ETL
Criar/Alterar
o Banco
Dicionário de
Dados
*OBS.: Deve-se criar um processo de ETL automatizado para que quando a Rotina de Sincronização execute não
seja necessário um trabalho manual por parte dos envolvidos.
2.2.3.2 Documentos de Saída
DOCUMENTO
Modelo Dimensional Físico
Script do Banco
Dicionário de Dados do DW
Processo de ETL DW
TEMPLATE
Dicionário de Dados
Definição Processo de ETL DW
2.2.4 Sistema de Suporte à Decisão - SSD
Vide o documento de “Definição dos Dados” devem ser implementadas as consultas que neles foram
especificadas;
3. Ferramentas
DOCUMENTO / ETAPA
FERRAMENTA
Modelo de Domínio
Jude Community
Modelo Relacional / Dimensional
Power Designer
ETL
Pentaho
Universidade Católica de Brasília - UCB
QS 07 Lote 01 - Bl. E - Sala 008 - EPCT - Águas Claras
Taguatinga/DF - CEP 72.030-170
Fone: (61) 3356.9652
4
SSD
QlikView
Banco de Dados
Postgres SQL
3.1 Configurações
3.1.1 Pentaho
DIRETÓRIO
C:\Fontes\ + “Nome da Entrada”
Ex.: C:\Fontes\IDEB
C:\Transformacoes\ + “Nome da Entrada” + \Staging
Ex.: C:\Transformacoes\IDEB\Staging
C:\Transformacoes\ + “Nome da Entrada” + \DW
Ex.: C:\Transformacoes\IDEB\DW
CONTEÚDO
Arquivos fontes dos dados.
Transformações realizadas pelo Pentaho para a área de
Staging.
Transformações realizadas pelo Pentaho para a área de
Data Warehouse.
3.1.2 Postgres
Porta
Hostname
Database Staging
Database Dimensional
Username
Password
5432
localhost
Será criado um novo banco para cada nova entrada com
o“Nome da Entrada”
observatorio
postgres
postgres
Universidade Católica de Brasília - UCB
QS 07 Lote 01 - Bl. E - Sala 008 - EPCT - Águas Claras
Taguatinga/DF - CEP 72.030-170
Fone: (61) 3356.9652
5