Arquitetura - ST IT Consulting

Arquitetura
Diagrama Funcional das Informações
Produção das Informações
Coleta das Informações
Algoritmo de
Processamento / Data
Loader
Decriptografia e
descompactação
Gestores
Extração das
Informações
Integridade
Referencial
Processo
Repositório/Cubo
Multidimensional
Gestão Estoque
Consistência
de chaves
Fornecedores
Colaboradores
Armazenamento
Consumo
F
Processos a
s
e
Servidor de
Aplicações
Performance
Vendas Margem e
Metas
Negociação com
Fornecedores
Atualização
Histórica
Geração das
Interfaces
Participação nos
Resultados com
KPI´s
Limpeza
Clientes
Upload
Sistemas




Validação de Estrutura
Criptografia
Compactação
Transferência segura
Web
Tablet
e-Mail
Smart
Fone
Excel
Word
PDF
SQL
Particionamento,
indexação e
compactação
Exploração das
informações
Motor
algoritimo
Arquivos
Administração
Executiva
Arquitetura 4Insights
4Insights Data Modeler
 Modelagem Multidimensional
 Desenho das dimensões
 Desenho das tabelas de Fatos
 Definição das agregadas
 Definição das consolidadas
 Definição das fotografias
 Definição dos relacionamentos
 Definição das estruturas de dados
 Definição das regras de transformação
 Definição das regras de atualização dos dados
 Definição das chaves das tabelas
 Definição das descrições das dimensões
 Definição das Lookups
 Controle de Versão por ambientes (Produtivo ou não)
 Definição dos usuários, credencial e grupos de acesso
 Definição da camada semântica
 Definição dos tipos de dados
 Definição das chaves de refresh
 Definição das funções de agregação
 Modelos pré-definidos
 Importação de modelos já existentes
 Painel de execução das cargas
4Insights Data Uploader
 Interface Visual
 Integrado com o Data Modeler
 Visualização das interfaces
 Validação das estrutura definida no Data Modeler
 Facilita a construção das interfaces
 Valida as estruturas das interfaces
 Criptografa as interfaces
 Compacta as interfaces
 Transfere as interfaces
 Console (linha de comando)
 Automatização do fluxo de transferência dos dados
 Validação das estrutura definida no Data Modeler
 Criptografa as interfaces
 Compacta as interfaces
 Transferência das informações
4Insights Data Loader
 Algoritmo que converte o modelo definido no Data Modeler em programas
que realizam a carga dos dados
 Motor de sincronização e atualização dos dados
 Carga histórica
 Carga eventual
 Limpeza dos históricos
 Criação e manutenção do modelo de dados físico no banco de dados
 Criação da camada de Data Quality
 Criação da camada de Working
 Carga das dimensões (modelo Star Schema ou Snowflaque)
 Carga das tabelas de fatos
 Carga das tabelas agregadas
 Carga das tabelas consolidadas
 Fotografia das tabelas não agregáveis (exemplo estoque)
 Validação da integridade referencial e recarga dos dados revalidados
durante a carga
 Validação das chaves primárias e únicas
 Validação de valores de checagem
 Validação de nulidade de valores
4Insights Data Control







Motor para automatização das cargas (Scheduler)
Controle de dependências
Geração de Logs
Histórico dos tempos de carga
Controle de falhas
Envio de mensagens
Integração com Big Data
 Hadoop, Spark e Sqoop
Observação: Ferramenta desenvolvida em System Manager sendo convertida para Java
Repositório DataWarehouse
 Compatível com bancos de dados colunares
 Proporciona maior performance
 Compatibilidade e integração com Big Data
 Hadoop, Spark e Sqoop
 Bancos Compatíveis: InfiniDB (MySql); MariaDB; RedShift; DB2 BLU
Repositório do metadados
 Compatível com bancos de dados relacionais que possuem JDBC
 Mysql, Oracle, Sql-Server, DB2 e outros
Os repositórios podem ser Proprietários ou Open Source
Plug-in 4Insights
 Construídos em ferramenta de extração e transformação dos dados (ETL)
 Utilizado para realizar as extrações de dados de forma ágil e garante que
as integrações são geradas no formato/padrão necessário
 Conecta em diferentes bases de dados, arquivos, interfaces, XML, HTTP,
HDFS, Spark, Sqoop Procedures, Querys, Hadoop e compatível com Big
Data
 Recebe os Layout das integrações já modelados na ferramenta 4Insights
Data Modeler e acelera o desenvolvimento das extrações dos dados
 Criptografa as informações
 Compacta as interfaces
 Transfere de forma segura (protocolo SFTP)
 Ferramenta visual
PDI – Pentaho Data Integration
Data Stage – IBM – (disponível em 31/12/2016)
Power Center – (disponível em 31/12/2016)
MicroStrategy – Front-End




Ferramenta Analítica
Desenvolvimento dos relatórios e Dashboard
Possui Visual Insights
Motor que criar automaticamente a camada semântica (até o final de
10/2016)
Obrigado!