Estendendo o algoritmo Partition Based Spatial Merge Join com
Propaganda
Estendendo o algoritmo Partition Based Spatial Merge Join com partições adaptáveis por Miguel Rodrigues Fornari Prof. Cirano Iochpe Sumário 1. Introdução 2. Algoritmos semelhantes: PBSM (Patel e DeWitt), SHJ (Lo e Ravishankar), SBSSJ (Arge et all) 3. PBSM-NRQB 4. Comparação 5. Conclusão e trabalhos futuros Geoinfo 2003 2 Introdução • Operação de junção espacial entre dois conjuntos de objetos utilizando um predicado espacial – Duas etapas: filtragem e refinamento • Algoritmos baseados em subdivisão do espaço, sem utilização de índices – PBSM, SHJ, SBSSJ, SSSJ • Baseados em árvores-R e outras Geoinfo 2003 3 Introdução • PBSM-NRQB – Não há replicação de pares de objetos no conjunto resposta – Histogramas armazenados em quadtrees orientam o particionamento do espaço – Arquivo hash, dividido em buckets, armazena os MBRs dos objetos. Geoinfo 2003 4 Partition Based Spatial Merge • Características – O método de divisão é rígido – As células são alocadas a partições sem contigüidade. – O cálculo do número de partições não prevê a existência de objetos transpassantes – Ocorrência de reparticionamentos – Objetos transpassantes são replicados • respostas duplicadas, que devem ser eliminadas Geoinfo 2003 5 Spatial Hash Join • Características – A divisão baseia-se em um conjunto, podendo ser inadequada para o segundo conjunto – Há objetos transpassantes no conjunto B, mas não há pares duplicados na resposta – O número de partições é alto, aumentando o fator de replicação • Reduz (elimina) reparticionamentos Geoinfo 2003 6 Sweep Based Scalable Spatial Join • Duas etapas – Ordenação externa dos arquivos. – Algoritmo baseado em sweep-line para verificar o predicado de junção. • Ordenação externa representa um custo importante. Geoinfo 2003 7 PBSM-NRQB • No-Replication – Não há duplicação de pares de objetos no conjunto de respostas • Quadtree – Armazena um conjunto de histogramas da distribuição de objetos no espaço – Inclui informação estatística • Buckets – Há um arquivo hash auxiliar Geoinfo 2003 8 PBSM-NRQB • Construção de histogramas da distribuição dos objetos, mantidos em quadtrees (HistQ) – Na carga de objetos Geoinfo 2003 9 PBSM-NRQB • Construção de um arquivo hash de descritores de objetos organizado em buckets – Descritor: OID, envelope, ponteiro para o objeto – Uma quadtree de n níveis divide o espaço por uma grade regular. – Para cada célula no nível das folhas há um bucket – Uma cópia do descritor é armazenada em cada bucket cuja célula é intersecionada pelo objeto Geoinfo 2003 10 PBSM-NRQB • As partições são definidas de acordo com a distribuição dos objetos – Define uma grade irregular, adaptada a cada operação de junção espacial Geoinfo 2003 11 PBSM-NRQB Geoinfo 2003 12 PBSM-NRQB • Carregar para memória os buckets correspondentes • Verificar o predicado de junção para pares de objetos • Gravar o conjunto de respostas Geoinfo 2003 13 PBSM-NRQB • Evitar duplicações no conjunto de respostas !" !" !" !" Geoinfo 2003 14 Comparação analítica • O número de operações de E/S previsto é o menor entre os quatro algoritmos – PBSM: (2.o.fr2+ 2.fr+1)(bA+ bB )+ 2.bRR + bRS • 0 <= overflow <= 1 • fr >= 1 – SHJ: 3bA +(1+2 frB)bB + bRS • fr em cada algoritmo é um valor diferente – SBSSJ: 3 (bA+ bB )+ 2 (bA+ bB ) logM (bA+ bB )+ bRS Geoinfo 2003 15 Comparação analítica • PBSM-NRQB – bquadA+bquadB + (2 ofr2+fr)(bA+bB)+bRS – A leitura das HistQ é um custo muito pequeno – A ocorrência de algum overflow é difícil 12 10 8 δ=1 6 δ=2 4 δ=3 2 δ=4 Valor do overflow (o ) 100% 90% 80% Geoinfo 2003 70% 60% 50% 40% 30% 20% 10% 0 0 SBSSJ: Valores máximos para o fator de replicação α 16 Testes realizados • Dois conjuntos artificiais 500 K objetos Particionamento 300 K objetos Geoinfo 2003 17 Testes realizados • Número de operações de E/S, variando o tamanho do buffer Número de operações de E/S 40000 30000 2 Mb 20000 4 Mb 8 Mb 10000 0 Quad-Join PBSM SSBSJ SHJ Algoritmo Geoinfo 2003 18 Testes realizados • Tempos obtidos – Dois conjuntos de 100K objetos Tempo de resposta 2 1,5 1 0,5 0 NRQB SHJ SSBSJ PBSM Algoritmo Geoinfo 2003 19 Conclusão • A incorporação de estatísticas espaciais e um arquivo hash demonstrou ser útil: – O algoritmo proposto realiza menor número de operações de E/S e tem menor tempo de resposta. Geoinfo 2003 20 Trabalhos futuros • Dúvidas quanto ao tamanho ideal de buffer e o número de partições – A redução do número de E/S não compensa o aumento do tempo de ordenação de conjuntos maiores de objetos. – Qual o ponto ótimo? • Comparação com R-Trees Geoinfo 2003 21 Perguntas • Contato: – [email protected] Geoinfo 2003 22
