Integração de Bancos de Dados Amplamente Distribuídos Ayla Dantas Degas Coelho Agenda • O que são BDAD? • Porque se deseja integrar BDAD ? • Características do mundo dos BDAD • Esforços de integração de BDAD • Uma alternativa: Semantic Grids • Considerações Finais O que são BDAD? • O planeta Terra Um BD distribuído no planeta Terra Problemas dos BDs Distribuídos • Confiabilidade dos sites • Confiabilidade das conexões • Heterogeneidade de SGBDs (Oracle, DB/2, Sql Server, PostGresSQL, etc) • Heterogeneidade de tecnologias (R, OR, OO) A ciência já apontou soluções razoáveis para estes problemas! Um BD amplamente distribuído no planeta Terra Os problemas do BD Amplamente Distribuído • • • • Todos os dos BDs distribuídos mais Múltiplos métodos de acesso Múltiplas estrutura de dados Múltiplas tecnologias de armazenamento (nem todo mundo usa SGBD) • Múltiplas políticas de acesso Não é possível padronizar essas coisas Porque se deseja integrar BDAD? • As comunidades (principalmente as científicas) necessitam disso • Dados obtidos num local podem ser muito valiosos para pessoas em outros • Resultados de análises globais dos dados podem guiar para novos conhecimentos Quem deseja integrar BDAD? Característica do mundo BDAD • Cenários em Peta-Escala • Redes Óticas (larguíssima banda) • Integração dos serviços • Paralelismo Grades computacionais compartilham das mesmas características O cenário ideal Múltiplas fontes de dados e serviços Políticas de segurança sublinham decisões de acesso e gerência Descoberta R R RM RM Acesso Registradores organizam serviços da comunidade RM Security Segurança service RM RM Atividades de integração de dados podem impor acesso e exploração de dados remotos Policy Política service Gerência de recursos para medir os progressos e arbitrar conflitos de demanda Análise e Exploração podem envolver workflows longos e complexos Cortesia de Ian Foster Esforços de integração de BDAD • Data Web (datamining de dados remotos e distribuídos) – www.dataspaceweb.net • Earth System Grid (Data Grid) – www.earthsystem.org • EU-Data Grid (Data Grid) – http://www.zib.de/schintke/datagrid/ Mais tecnologias para integração de dados • Globus Toolkit (Data Grid) – www.globus.org • Open Grid Services Architeture (Grids + WebServices) – www.ggf.org/ogsa-wg • OGSA Data Access and Integration – www.ggf.org/6_DATA/dais.htm • • • • Semantic Web – www.w3.org/2001/sw Web Services – www.w3.org/2002/ws Virtual Data Toolkit – www.griphyn.org Storage Resource Broker – www.npaci.edu/DICE/SRB Uma Alternativa: Semantic Grid Semantic Grid é uma extensão do Grid atual na qual informações e serviços apresentam um significado bem definido, permitindo assim que computadores e pessoas possam trabalhar em cooperação. Requisitos • • • • • • • Descrição de recursos Descrição de processos Anotações Comportamento autônomo Segurança Integração de informações Múltiplos fluxos constantes de dados • Suporte a decisão com base no contexto • Apoio a comunidades Tecnologias de suporte • Grids • Agentes de Software • Metadados • Ontologias • Web Services • Semantic Web Services Semantic Abstração Semantic Grid Pervasive Redes de sensores Grid Estudo de caso: MIAKT (Medical Imaging with Advanced Knowledge Technologies) Arquitetura de Semantic Grid (por Goble et al) Aplicações de Grid Avançadas Data mining Text mining Portal Collaboratory Serviços de Conhecimento OGSA Semantic Grid services Serviços de informação baseados em conhecimento Serviços de computação/ dados baseados em conhecimento Serviços de computação Knowledge Grid Serviços de dados Grid Middleware Fabric Serviços de informações OGSA Base Grid services WSRF Considerações Finais • Estamos no meio de um verdadeiro tsunami de dados • Há uma grande demanda por middleware que integre esses dados (SGBD “etéreo”) • Middleware para grid: une computadores • Middleware para semantic grid: une projetos O Futuro • Esta integração de dados promete provocar no mínimo o mesmo impacto que a tecnologia de Data Mining provocou • É necessário Semantic Grid para alcançar a ambição da visão e-Anything dos grids. Referências • De Roure, D., Jennings, N. R. and Shadbolt, N. R. (2005) The Semantic Grid: Past, Present and Future. Procedings of the IEEE 93(3) pp. 669-681. • Ian Foster , Robert L. Grossman, Data integration in a Bandwidth-Rich World, Communications of the ACM, v.46 n.11, November 2003. • Goble, C. and De Roure, D., The Semantic Grid: Myth Busting and Bridge Building. in 16th European Conference on Artificial Intelligence (ECAI-2004), Valencia, Spain, 2004. • MIAKT Architecture. http://www.ecs.soton.ac.uk/~dpd/projects/miakt/info/struct.p hp. Acesso em: Abril/2006. • De Roure, D. Semantic Grid. www.semanticgrid.org/presentations/terrasemgridshort.ppt. Acesso em: Abril/2006 Integração de Bancos de Dados Amplamente Distribuídos Ayla Dantas Degas Coêlho