Universidade Federal do Rio de Janeiro Pós-Graduação em I nformática DCC/ I M - NCE/ UFRJ Arquiteturas de Sistemas de Processamento Paralelo Redes de Interconexão Gabriel P. Silva Re de s de I n t e r con e x ã o Est á t ica s Topologia s Un idim e n sion a is e Bidim e n sion a is Tr idim e n sion a is e H ipe r cú bica s Té cn ica s de Ch a ve a m e n t o Ch a ve a m e n t o por pa cot e ( st or e - a n dfor w a r d) Ch a ve m e n t o por cir cu it o Vir t u a l Cu t - Th r ou gh W or m h ole Algor it m os de Rot e a m e n t o D e t e r m in íst ico Ada pt a t ivo Gabriel P. Silva Re de s de I n t e r con e x ã o Est á t ica s N or m a lm e n t e u t iliza da s e m a r qu it e t u r a s pa r a le la s por t r oca de m e n sa ge n s ( m u lt icom pu t a dor e s) . Re de s de in t e r con e x ã o e st á t ica s sã o r e de s com t opologia ba se a da e m gr a fos, on de ca da n ó é u m e le m e n t o pr oce ssa dor e ca da a r e st a do gr a fo r e pr e se n t a u m “lin k ” e n t r e dois e le m e n t os pr oce ssa dor e s. Gabriel P. Silva Topologia s de Re de s de I n t e r con e x ã o Est á t ica s Lin h a Ca da pr oce ssa dor e st á con e ct a do a os se u s vizin h os da e squ e r da e da dir e it a . A m e n sa ge m é r e pe t ida m e n t e pa ssa da pa r a o pr óx im o n ó a t é ch e ga r a o se u de st in o. Bi- dim e n sion a l An e l Qu a n do o pr im e ir o e ú lt im os n ós da t opologia e m lin h a e st ã o in t e r con e ct a dos Est r e la Um n ó a t u a com o n ó de con t r ole a o qu a l t odos de m a is n ós e st ã o con e ct a dos Por m a n ipu la r t oda a com u n ica çã o e n t r e os n ós, o n ó ce n t r a l é o ga r ga lo do sist e m a . Gabriel P. Silva Topologia s de Re de s de I n t e r con e x ã o Est á t ica s Bi- dim e n sion a l Ár vor e Um a á r vor e bin á r ia de pr ofu n dida de d t e m 2 d - 1 n ós. As r e de s e m á r vor e sofr e m de u m ga r ga lo de com u n ica çã o n os n íve is m a is a lt os da á r vor e bin á r ia . Est e pr oble m a pode se r r e solvido a u m e n t a n do a ca pa cida de de com u n ica çã o dos “lin k s” qu e e st ã o m a is pe r t o da r a iz. Est e r e de é ch a m a da de “Ár vor e Gor da ”. Gabriel P. Silva Topologia s de Re de s de I n t e r con e x ã o Est á t ica s Bi- dim e n sion a l M a lh a Bi- dim e n sion a l Ca da pr oce ssa dor t e m qu a t r o vizin h os a os qu a is e st á con e ct a do por u m “lin k ”. A m a lh a bidim e n sion a l é u m a e x t e n sã o do ve t or lin e a r . Se a s du a s dim e n sõe s da m a lh a n ã o for e m igu a is, t e m os u m a m a lh a r e t a n gu la r . Gabriel P. Silva Topologia s de Re de s de I n t e r con e x ã o Est á t ica s Gabriel P. Silva Topologia s de Re de s de I n t e r con e x ã o Est á t ica s Gabriel P. Silva I nt e r con e x ã o Est á t ica Tr i- dim e n sion a l Tor o ( M a lh a Con e ct a da n a s 2 dim e n sõe s ) Cu bo 3 - D 3 - cu be - con n e ct e d cycle Tot a lm e n t e con e ct a da Todos os n ós e st ã o con e ct a dos e n t r e si por u m “lin k ” dir e t o. O n ú m e r o de a r e st a s do gr a fo t ot a lm e n t e con e ct a do é da do por : d = n( n- 1 ) / 2 Est e t ipo de r e de é m u it o pou co u t iliz a do de vido a os a lt os cu st os de com u n ica çã o. Gabriel P. Silva I nt e r con e x ã o Est á t ica Tr i- dim e n sion a l Gabriel P. Silva Re de s de I n t e r con e x ã o H ipe r cú bica Um h ipe r cu bo é u m a m a lh a m u lt idim e n sion a l de n ós pr oce ssa dor e s com e x a t a m e n t e dois n ós e m ca da dim e n sã o. Um h ipe r cu bo com dim e n sã o d possu i u m t ot a l de n = 2 * * d pr oce ssa dor e s: d = 0 é u m h ipe r cu bo de dim e n sã o ze r o, com a pe n a s u m n ó; d = 1 n = 2 , u m h ipe r cu bo com 2 n ós con e ct a dos por u m “lin k ”; Um h ipe r cu bo de dim e n sã o d+ 1 con sist e de dois h ipe r cu bos de dim e n sã o d. Gabriel P. Silva Pr opr ie da de s da Re de H ipe r cú bica 1 . D ois n ós e st ã o con e ct a dos por u m “lin k ” se su a n u m e r a çã o bin á r ia dife r e a pe n a s de u m “bit ”. 2 . Ca da n ó e st á dir e t a m e n t e con e ct a do a ou t r os d pr oce ssa dor e s . 3 . O n ú m e r o t ot a l de posiçõe s de bit s dife r e n t e s e n t r e dois n ós é ch a m a da de D ist â n cia de H a m m in g, H D , e n t r e e le s. Est a dist â n cia é ca m in h o m a is cu r t o pa r a u m a m e n sa ge m t r a fe ga r e n t r e e sse s dois n ós. Por e x e m plo, a H D e n t r e o n ó 3 ( 0 1 1 ) e o nó 5 ( 1 0 1 ) é 2 . Gabriel P. Silva ht t p:/ / w w w .e se - m e t z.fr / m e t z/ pe r sonne l/ via lle / noe / N OE- H ype r Cube - 3 / j a va / hype r cube .ht m l Gabriel P. Silva Pr opr ie da de s da s Re de s de I nt e r con e x ã o Est á t ica s 1 ) Gr a u do n ó: N ú m e r o de ca n a is qu e in cide m e m u m n ó da r e de . 2 ) D iâ m e t r o: é a dist â n cia m á x im a e n t r e qu a isqu e r dois n ós da r e de . 3 ) Con e ct ivida de : é a m e dida da m u lt iplicida de de ca m in h os e n t r e dois n ós qu a isqu e r . 4 ) La r gu r a da Bise çã o: é de fin ida com o o n ú m e r o m ín im o de “lin k s” de com u n ica çã o qu e n e ce ssit a m se r r e m ovidos pa r a pa r t icion a r a r e de e m du a s m e t a de s igu a is. Gabriel P. Silva Pr opr ie da de s da s Re de s de I nt e r con e x ã o Est á t ica s 5 ) La r gu r a de Ba n da da Bise çã o: é de fin ido com o o volu m e m ín im o de com u n ica çã o e n t r e du a s m e t a de s da r e de com igu a l n ú m e r o de n ós. 6 ) La r gu r a do Ca n a l: n ú m e r o de bit s de ca da “lin k ” físico de com u n ica çã o. 7 ) Ta x a do Ca n a l: t a x a de pico de t r a nsm issã o dos bit s a t r a vé s de ca da “lin k ” físico. 8 ) Cu st o: O cu st o de u m a r e de pode se r a va lia do pe la con t a ge m do n ú m e r o de “lin k s” r e qu e r idos por t oda a r e de de in t e r con e x ã o. Gabriel P. Silva Pa r â m e t r os de D e se m pe n h o • • • Ba n da Pa ssa n t e : – Ta x a m á x im a com qu e a r e de é ca pa z de t r a n sm it ir a in for m a çã o. La t ê n cia : – I n t e r va lo de t e m po ga st o por u m a m e n sa ge m pa r a a t r a ve ssa r a r e de ; – La t ê n cia = ove r h e a d + ( t a m . m e n sa ge m / ba n da pa ssa n t e ) . Esca la bilida de Gabriel P. Silva Pr opr ie da de s da s Re de s de I nt e r con e x ã o Est á t ica s Topologia Gr a u N ó Lin h a An e l Est r e la 1 ou 2 N-1 2 N/ 2 1 ou 2 N-1 1 , 2 ou 2 log 2 * 3 ( ( N+ 1) / 2) 2, 3, 2 ( N 1/ 2 – 1 ) ou 4 Ár vor e Bin á r ia M a lh a 2 D D iâ m e t r o Gabriel P. Silva La r gu r a Cu st o Bisse çã o ( Lin k s) 1 2 1 N-1 N N-1 1 N–1 N 1/ 2 2( NN 1/ 2) Pr opr ie da de s da s Re de s de I nt e r con e x ã o Est á t ica s Topologia Tor o Cu bo 3 - D H ipe r cu bo Com p. Con e ct a da Gr a u Nó D iâ m e t r o La r gu r a Bisse çã o 4 ( N 1/ 2 – 1 ) 2 * ( N 1/ 2) 2* N 3, 4, 5 ou 6 log 2 N 3 ( N 1/ 3 – 1) log 2 N N 2/ 3 N/ 2 N - 1 1 ( N 2) / 4 2 ( NN 2/ 3) ( N log 2 N ) / 2 N( N-1) / 2 Gabriel P. Silva Cu st o ( Lin k s) Ex e m plos de Ar quit e t u r a s com Re de s Est á t ica s Cray T3-E: Torus 3-D, 600 Mbytes/ s por link. Cray T3-D: Torus 3-D, 300 Mbytes/ s por link. I ntel iPSC-2: Hipercubo, 2.8 Mbytes/ s por link. Chaos Router: Torus 2-D, 360 Mbytes/ s por link. MI T M-Machine: Malha 3-D, 800 Mbytes/ s por link. Gabriel P. Silva Nós: são os elementos ativos da rede, que realizam a computação e o roteamento das mensagens. São compostos por: I nterface de Rede Roteador Elemento Processador Canais: conexões ponto-a-ponto por onde trafegam as mensagens. Gabriel P. Silva Nó Nó Canal de Comunicação Nó Gabriel P. Silva Nó Elemento Processador Roteador I nterface de Rede Gabriel P. Silva I nterface de Rede Como as mensagens são transmitidas através da rede de interconexão? Existem dois métodos básicos: Chaveamento de Pacotes A mensagem é dividida em pacotes que são enviados individualmente pela rede. Chaveamento por Circuito Um circuito físico é estabelecido entre o destino e a origem para a transmissão da mensagem. Gabriel P. Silva Con h e cido t a m bé m com o “st or e - a n dfor w a r d” A m e n sa ge m é dividida e m pa cot e s qu e sã o e n via dos in de pe n de n t e m e n t e a t r a vé s da r e de de con e x ã o O pa cot e se r á t r a n sm it ido pa r a o n ó vizin h o a pe n a s se h ou ve r e spa ço dispon íve l pa r a o a r m a ze n a m e n t o L = ( P/ B) * D P B D com pr im e n t o do pa cot e la r gu r a de ba n da do ca n a l dist â n cia e n t r e os n ós A la t ê n cia é pr opor cion a l à dist â n cia e n t r e os n ós Gabriel P. Silva Gabriel P. Silva m e ssa ge m : A u n ida de de com u n ica çã o do pon t o de vist a do pr ogr a m a dor . Se u t a m a n h o é lim it a do a pe n a s pe lo e spa ço n a m e m ór ia de u su á r io. pa cot e : M e n or u n ida de de com u n ica çã o de t a m a n h o fix o con t e n do in for m a çã o de r ot e a m e n t o ( p. e x ., e n de r e ço de de st in o) e de se qu e n cia m e n t o n o se u ca be ça lh o. Se u t a m a n h o é da or de m de ce n t e n a s a de ze n a s de byt e s ou pa la vr a s. Gabriel P. Silva flit : Menor unidade de inform ação no nível do “ link” , com o t am anho de um a ou várias palavras. Os Flit s podem ser de diversos t ipos e o prot ocolo para o envio de um flit consom e diversos ciclos. phit : A m enor unidade de inform ação no nível físico que é t ransferida at ravés de um link físico em um ciclo. Gabriel P. Silva Todo u m ca m in h o é e st a be le cido pe lo e n vio de u m a pe qu e n a m e n sa ge m de “son da ” a n t e s do e n vio da m e n sa ge m pr in cipa l. Os ca n a is qu e con st it u e m o cir cu it o sã o r e se r va dos e x clu siva m e n t e . L = ( P/ B) * D + M / B P com pr im e n t o da m e n sa ge m de “son da ” M com pr im e n t o da m e n sa ge m Se P < < M , la t ê n cia in de pe n de da dist â n cia Gabriel P. Silva Solu çã o de com pr om isso. A m e n sa ge m é dividida e m pe qu e n a s u n ida de s ch a m a da s “flow con t r ol digit s” ou “flit s”. Os flit s sã o e n via dos, e m m odo pipe lin e , e n qu a n t o os ca n a is e st ive r e m dispon íve is. Se a lgu m ca n a l r e qu isit a do e st ive r ocu pa do, os flit s sã o a r m a ze n a dos n os n ós in t e r m e diá r ios . L = ( H F/ B) D + M / B HF com pr im e n t o do flit de ca be ça lh o Se H F < < M , e n t ã o in de pe n de da dist â n cia Gabriel P. Silva É u m ca so e spe cia l do “vir t u a l cu t - t h r ough” on de a ca pa cida de de a r m a ze n a m e nt o nos n ós in t e r m e diá r ios é igu a l a 1 flit . Pode r e a liza r r e plica çã o de pa cot e s, e nvia n do cópia s de flit s pa r a dive r sos ca n a is de sa ída pa r a im ple m e n t a r “m u lt ica st ” e “br oa dca st ”. Com o uso de m ú lt iplos “buffe r s” pa r a ca da ca n a l, é possíve l im ple m e nt a r ca n a is vir t u a is, pa r a que dive r sa s m e nsa ge ns possa m com pa r t ilh a r o m e sm o ca n a l físico. L = ( H F/ B) * D + M / B HF com pr im e n t o do flit de ca be ça lh o Se H F < < M , e n t ã o in de pe n de da dist â n cia Gabriel P. Silva Gabriel P. Silva Gabriel P. Silva H e a d e r o r P ro b e M essage Body T a il 6 5 N ode 4 3 2 1 5 10 15 20 25 30 20 25 30 20 25 30 T im e (a ) S to re -a n d -F o rw a rd P a c k e t S w itc h in g 6 5 N ode 4 3 2 1 5 10 15 T im e (b ) C irc u it S w itc h in g 6 5 N ode 4 3 2 1 5 10 15 T im e (c ) W o rm h o le R o u tin g o r V irtu a l C u t-T h ro u g h Gabriel P. Silva Roteamento – Canais Virtuais Gabriel P. Silva Roteamento – Canais Virtuais Vantagens Aumentam o “throughput” da rede pela reduçã o do tempo de ociosidade do canal físico Evitam a ocorrê ncia de “deadlock” Facilitam o mapeamento da topologia de comunicaçã o dos processos em uma topologia física específica Podem garantir a largura da banda para certas funções de sistemas, como monitoramento e depuraçã o Gabriel P. Silva Roteamento – Deadlock “Deadlock” é uma situação onde um subconjunto de mensagens está mutuamente bloqueado, esperando por um “buffer” ser liberado por alguma das outras mensagens deste subconjunto Métodos de resolução de deadlock, que são causados pelo estabelecimento de ciclos fechados: Preempção das mensagens por re-roteamento Preempção das mensagens por descarte Uso de canais virtuais. Desde que o número de canais virtuais seja suficiente, é sempre possível quebrar os ciclos fechados nos caminhos de transmissão de pacotes e, conseqüentemente, evitar a ocorrência de deadlocks. Gabriel P. Silva Roteamento – Deadlock M e n sa ge m A M e n sa ge m D M e n sa ge m B M e n sa ge m C Gabriel P. Silva Roteamento – Deadlock Gabriel P. Silva Roteamento – Multicast e Broadcast Algumas redes de interconexão possuem recursos de hardw are no roteamento de mensagens para suportar diferentes tipos de operações de comunicação. Todas as redes suportam a comunicação ponto-a-ponto ou “unicast” Operações coletivas “broadcasting” ( um nó origem envia uma mesma mensagem para todos os outros) “multicasting” ( um nó origem envia a mesma mensagem para um grupo especificado de nós destino) . Gabriel P. Silva Algu m a s r e de s de in t e r con e x ã o possu e m r e cu r sos de h a r dw a r e n o r ot e a m e n t o de m e n sa ge n s pa r a su por t a r dife r e n t e s t ipos de ope r a çõe s de com u n ica çã o. Toda s a s r e de s su por t a m a com u n ica çã o pon t o- a - pon t o ou “u n ica st ”. Ope r a çõe s cole t iva s: “br oa dca st in g” ( u m n ó or ige m e n via u m a m e sm a m e n sa ge m pa r a t odos os ou t r os) “m u lt ica st in g” ( u m n ó or ige m e n via a m e sm a m e n sa ge m pa r a u m gr u po e spe cifica do de n ós de st in o) . Gabriel P. Silva D e t e r m in íst icos O ca m in h o é com ple t a m e n t e de t e r m in a do pe lo e n de r e ço dos n ós fon t e e de st in o. Os n ós in t e r m e diá r ios, m e sm o n o ca so de u m con ge st ion a m e n t o, n ã o pode m r e dir e cion a r a s m e n sa ge n s. Ada pt a t ivos N o r ot e a m e n t o a da pt a t ivo os n ós in t e r m e diá r ios le va m e m con t a o e st a do a t u a l da r e de pa r a de t e r m in a r a dir e çã o pa r a qu a l a m e n sa ge m de ve se r e n via da . Gabriel P. Silva Algoritmos Determinísticos Roteamento “street-sign” Utilizado no roteamento do I w arp Do tipo “Source routing”, ou seja, a informaçã o de roteamento é montada no nó fonte. Roteamento ordenado por dimensã o Utilizado na “J-Machine” Aplicado em Malhas N-dimensionais Do tipo “Roteamento Distribuído” Roteamento por tabela de busca Do tipo “Roteamento Distribuído” Em cada nó existe uma tabela indicando para qual vizinho a mensagem deve ser roteada, de acordo com o endereço destino O I MS T9000 utiliza uma variante deste algoritmo chamada de “interval labelling”. Gabriel P. Silva Algoritmos Adaptativos Profitable Seleciona apenas aqueles canais que garantidamente levam a mensagem mais próxima do seu destino Resultam em um caminho de menor comprimento Não sofrem de “livelock” São mais fáceis de demonstrar que são livres de “deadlock” Misrouting Seleciona indistintamente qualquer dos canais São vantajosos quando há canais defeituosos na rede Gabriel P. Silva Algoritmos Adaptativos Progressivo Mensagens não podem voltar no caminho que elas já percorreram Backtracking As mensagens podem voltar e explorar todas as opções entre os nós fonte e destino Os cabeçalhos devem conter informação para assegurar que não incorrerão em “livelock” São livres de “deadlock” Não pode ser usado com “w ormhole” I mplica em cabeçalhos muito longos e maior latência Gabriel P. Silva Algoritmos Adaptativos Os protocolos adaptativos podem ser ainda completamente ou parcialmente adaptativos Exemplos: “turn model” parcialmente adaptatitvo, progressivo, misrouting “w est-first” parcialmente adaptativo, progressivo, misrouting Gabriel P. Silva This document was created with Win2PDF available at http://www.daneprairie.com. The unregistered version of Win2PDF is for evaluation or non-commercial use only.