e Aplicações em Engenharia e Medicina
Propaganda
Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares [email protected] www.fe.up.pt/~tavares Maio, 2011 Sumário 1. Apresentação 2. Análise Imagem I. Introdução II. Segmentação III. Seguimento de Movimento IV. Emparelhamento, Alinhamento e Simulação V. Reconstrução 3D 3. Equipa 4. Eventos & Publicações João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 2 Apresentação Apresentação • Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da Fac. de Eng. da Universidade do Porto (FEUP) • Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica e Gestão Industrial (INEGI) • Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) • Licenciado em Eng. Mecânica (FEUP) • Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 4 Análise de Imagem Introdução • O sistema sensorial de visão tem elevada importância para grande parte dos seres vivos – Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento – Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (reconstrução 3D) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 6 Introdução • Os investigadores da área da Análise de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo computacional 3D voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 7 Introdução • Algoritmos de Análise de Imagem são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: – Medicina, Biologia – Ciências naturais, Desporto – Engenharia, Indústria • Exemplos de tarefas comuns envolvendo algoritmos de Análise de Imagem: – Segmentação, Reconhecimento (2D-4D) – Seguimento e análise de movimento, incluindo emparelhamento, alinhamento e simulação (2D-4D) – Reconstrução 3D João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 8 Introdução: Análise de Imagem – Operações e Aplicações Melhoramento de imagem Processamento de Imagem Imagem / imagens Análise de movimento Análise de Imagem / Visão Computacional João Manuel R. S. Tavares Segmentação de imagem / extracção de características seguimento Visão 3D emparelhamento Visão por Computador alinhamento simulação Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 9 Introdução • (Pré-)Processamento de Imagem: suavização de ruído por difusão anisotrópica João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 10 Análise de Imagem: Segmentação Segmentação • Pretende-se identificar de forma automática, ou semiautomática, os objectos (2D/3D) presentes em imagens estáticas ou em sequências de imagem • As técnicas mais comuns são baseadas em emparelhamento de protótipos, modelações geométricas, estatísticas e físicas, e redes neuronais • É uma das operações mais usuais em Análise de Imagem, sendo frequentemente a primeira “grande” tarefa considerada • Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplos objectos presentes, etc. João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 12 Segmentação • Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos pressão camada opaca camada transparente lâmpada luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Após segmentação Bastos & Tavares (2004) LNCS 3179:39-50 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 13 Segmentação • Análise do dano em materiais: binarização e análise de regiões Imagem original Após segmentação Região do dano Medidas obtidas Marques et al. (2009) Composites Science and Technology 69(14):2376-2382 Albuquerque et al. (2010) Journal of Composite Materials 44(9):1139-1159 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 14 Segmentação • Medição de dureza de materiais: método de Johannsen and Bille, crescimento de regiões Dureza Vickers Dureza Brinell Filho et al. (2010) Journal of Testing and Evaluation 38(1):88-94 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 15 Segmentação • Segmentação de estruturas do ouvido: método de crescimento de regiões Region Growing, x=215; y=254 X: 254 Y: 214 Index: 116.7 RGB: 0.459, 0.459, 0.459 Imagem original Segmentação obtida (labirinto ósseo) Barroso et al. (2011) CNME João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 16 Segmentação • Análise de microestruturas em materiais: rede neuronal Imagens originais Após segmentação Albuquerque et al. (2008) Nondestructive Testing and Evaluation 23(4):273-283 Albuquerque et al. (2009) NDT & E International 42(7):644-651 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 17 Segmentação • Análise das fases secundárias em materiais em imagens de microscopia electrónica de varrimento: rede neuronal Imagem original Imagem segmentada Albuquerque et al. (2011) Microscopy Research and Technique 74(1):36-46 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 18 Segmentação • Análise de porosidade de materiais a partir de imagens de microscopia óptica: rede neuronal Imagem original e pixels de treino Imagem segmentada Albuquerque et al. (2010) Journal of Microscopy 240(1):50-59 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 19 Working g Segmentação • Controlo de um sistema por linguagem gestual: histogramas de orientação Modo de Execução Aquisição de imagem de ordem Conversão para 256 níveis de cinzento Comparação do histograma da nova imagem com os histogramas das imagens de ordem treinadas Modo de Aprendizagem Aquisição de imagens de ordem (uma a uma) Conversão para 256 níveis de cinzento Cálculo e registo dos histogramas de orientação de cada ordem 1 3 2 4 Execução da ordem reconhecida 1 2 3 4 1 2 3 4 1 2 1 2 4 3 4 Tavares et al. (2005) International Journal of Advanced Robotic Systems 2(1):39-44 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 20 Segmentação • Detecção de tumores na mama a partir de imagens de mamografia: transformada de Hough Imagem original Após segmentação Chagas et al. (2007) VIPimage 2007, 363-368 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 21 Segmentação • Reconhecimento de objectos em imagens: emparelhamento de imagem protótipo fft fft Imagem protótipo Imagem original ift max CC ift 2D CC ift 3D CC Carvalho & Tavares (2005) CMNI 2005 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 22 Segmentação • Segmentação de características: protótipos deformáveis geométricos Exemplo de um protótipo deformável Carvalho & Tavares (2006) CompIMAGE 2006, 129-134 Carvalho & Tavares (2007) VipIMAGE 2007, 209-215 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 23 Segmentação • Segmentação de características faciais: protótipos deformáveis geométricos Imagem original e imagens de campos de energia (força) Segmentação da íris usando um protótipo deformável (circulo) Carvalho & Tavares (2006) CompIMAGE 2006, 129-134 Carvalho & Tavares (2007) VipIMAGE 2007, 209-215 João Manuel R. S. Tavares Segmentação do olho usando um protótipo deformável Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 24 Segmentação • Segmentação de regiões de pele em imagens: modelos estatísticos Amostras de pele usadas para construir o modelo Função de probablidade usada Imagem original e segmentação obtida Carvalho & Tavares (2005) CMNI 2005 Carvalho & Tavares (2008) Tékhne VI(9):245-266 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 25 Segmentação • Segmentação do fundo da cena/objecto em sequências de imagens: modelos estatísticos Imagens originais Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 26 Segmentação • Segmentação do fundo da cena/objecto em sequências de imagens: modelos estatísticos Imagens originais (www.nada.kth.se/cvap/actions) Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium 511 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 27 Segmentação • Segmentação de objectos em imagens: modelos de distribuição pontual (i. e. modelos de forma) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 28 Segmentação • Segmentação de objectos em imagens: modelos activos de forma Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 29 Segmentação • Segmentação de mãos e faces em imagens: modelos activos de forma Segmentações obtidas (inicial, intermédias e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 30 Segmentação • Segmentação de objectos em imagens: modelos activos de aparência Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 31 Segmentação • Segmentação de faces em imagens: modelos activos de aparência Imagem original e segmentações obtidas (inicial, intermédia e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 32 Segmentação • Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos activos de forma Imagem original + modelo médio Segmentação intermédia I Segmentação internmédia II Segmentação final Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 33 Segmentação • Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos activos de aparência Segmentações intermédias Segmentação inicial Segmentação final Segmentações intermédias Vasconcelos et al. (2010) Journal of Voice, doi:10.1016/j.jvoice.2010.05.002 (in press) Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 34 Segmentação • Segmentação de objectos em imagens: contornos activos (i.e. snakes) Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 35 Segmentação • Segmentação de objectos em imagens: contornos activos (i.e. snakes) Imagem original e contorno inicial Contorno final Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 36 Segmentação • Segmentação de objectos em imagens: contorno deformável, FEM, equação de Lagrange Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 37 Segmentação • Segmentação de objectos em imagens: contorno deformável, FEM, equação de Lagrange borracha k = 200N/m 14s Imagens originais e contornos iniciais Contornos finais Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 38 Segmentação • Segmentação de objectos em imagens: métodos de level set Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 39 Segmentação • Segmentação de objectos em imagens médicas: método de level set Imagem original Segmentação inicial Segmentação final Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 40 Segmentação • Segmentação do pavimento pélvico a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 41 Segmentação • Segmentação do pavimento pélvico feminino a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Segmentação do pavimento pélvico Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 42 Segmentação • Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação em simultâneo de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica (3 exemplos) Ma et al. (2011) Computers in Biology and Medicine (submitted) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 43 Segmentação • Segmentação da bexiga a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação das paredes internas e externas da bexiga (3 exemplos) Ma et al. (2011) Annals of Biomedical Engineering, DOI: 10.1007/s10439-011-0324-3 (in press) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 44 Segmentação • Nova plataforma para segmentação de imagens médicas (VC++, OpenCV, ITK) Interface da plataforma Ma et al. (2008) CMBBE 2008 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 45 Segmentação • Segmentação de órgãos da cavidade pélvica da mulher a partir de imagens de ressonância magnética: nova plataforma Crescimento de regiões Watershed Contorno activo geodesico Método de Malladi Level-set framework Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 46 Análise de Imagem: Seguimento Seguimento • Pretende-se seguir o movimento e/ou a deformação de objectos em sequências de imagem (2D/3D) • Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos • Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação • Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc. João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 48 Seguimento • Análise da propagação de fendas em materiais: detecção da fenda em cada imagem por fluxo óptico Setup experimental Detecção da propagação de uma fenda ao longo de uma sequencia de imagens Richter-Trummer (2009) ESMC2009, 223-224 Richter-Trummer (2011) Materialwissenschaft und Werkstofftechnik 42(5):452-459 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 49 Seguimento • Plataforma desenvolvida para seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, optimização, distância de Mahalanobis, modelo de gestão Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, 299-304 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 50 Seguimento • Seguimento de marcas em análise da marcha: filtro de Kalman, distância de Mahalanobis, optimização, modelo de gestão (5 frames) Previsão Incerteza Medição Correspondência Resultado Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 51 Seguimento • Análise da marcha com detecção de eventos: filtro de Kalman, distância de Mahalanobis, optimização Sousa et al. (2007) ISHF2007, 331-340 Sousa et al. (2007) ICCB2007, 291-296 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 52 Seguimento • Seguimento de ratos em sequências longas de imagem: filtro de Kalman, distância de Mahalanobis, optimização, modelo de gestão (547 frames) Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 53 Seguimento • Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) #15 #16 #17 KF + previsão x medição x correcção UKF (22 frames) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 54 Seguimento • Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) – cont. Resultados do filtro de Kalman João Manuel R. S. Tavares Resultados do filtro Unscented Kalman (22 frames) Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 55 Seguimento • Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) – cont. (22 frames) Erro de seguimento (previsão/estado real) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 56 Análise de Imagem: Emparelhamento, Alinhamento e Simulação – Análise de Objectos Análise de Objectos • Emparelhamento – É uma das tarefas mais usuais em Análise de Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. – Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier – Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 58 Análise de Objectos • Alinhamento – É uma tarefa habitualmente necessária para comparar objectos representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas – O alinhamento é essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens – Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida – Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 59 Análise de Objectos • Simulação – É uma tarefa muito usada em Computação Gráfica (morphing) mas também muito útil em Análise de Imagem, por exemplo, para estimar a deformação existente entre dois objectos distintos ou entre dois instantes de um mesmo objecto, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. – Geralmente é conseguida através da consideração de transformações geométricas – No entanto, quando se deve considerar o comportamento físico dos objectos envolvidos, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) • Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais • Fase de emparelhamento dos objectos torna-se crucial João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 60 Emparelhamento • Emparelhamento de contornos em imagens: modelação física/geométrica, análise modal, optimização Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 61 Emparelhamento • Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, optimização pressão camada opaca camada transparente lâmpada luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Contornos emparelhados Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 62 Emparelhamento • Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, optimização Emparelhamento de dois contornos Emparelhamento entre iso-contornos (2 vistas) Imagem de pedobarografia dinâmica Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas) Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 63 Emparelhamento • Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, optimização Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre superfícies Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 64 Alinhamento • Alinhamento de contornos em imagens: modelação geométrica/física, optimização, programação dinâmica Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 65 Alinhamento • Alinhamento de contornos em imagens: modelação geométrica, optimização, programação dinâmica Imagens originais e contornos extraidos Contornos emparelhados antes do alinhamento Contornos após alinhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 66 Alinhamento • Alinhamento de imagens de pedobarografia: modelação geométrica, optimização, programação dinâmica Imagens originais e contornos extraídos Contornos emparelhados e imagens antes e após alinhamento Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 67 Alinhamento • Alinhamento de imagens de pedobarografia: transformada de Fourier Imagens originais Imagens antes e após alinhamento Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 68 Alinhamento • Alinhamento de imagens de pedobarografia: método híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Optimização de semelhança – MSE/MI/XOR Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3):313-323 João Manuel R. S. Tavares Imagens originais Imagens antes e após alinhamento Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 69 Alinhamento • Alinhamento de imagens de pedobarografia para identificação (esq. / direito), extracção de medidas e índices Oliveira et al. 2011 Computer Methods in Biomechanics and Biomedical Engineering, DOI: 10.1080/10255842.2011.581239 (in press) João Manuel R. S. Tavares Imagens originais, após normalização, contornos e áreas identificadas Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 70 Alinhamento • Alinhamento de sequências de imagem de pedobarografia dinâmica: alinhamento espacial e temporal Oliveira et al. 2011 Medical & Biological Engineering & Computing, DOI: 10.1007/s11517011-0771-x (in press) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 71 Alinhamento • Alinhamento de sequências de imagem de pedobarografia dinâmica: alinhamento espacial e temporal Sequências originais antes do alinhamento Sequências de imagem originais camada de contacto + vidro espelho câmara Sequências após alinhamento Sequências préprocessadas Oliveira et al. 2011 Medical & Biological Engineering & Computing, DOI: 10.1007/s11517011-0771-x (in press) João Manuel R. S. Tavares 72 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 72 Alinhamento • Alinhamento de sequências de imagem de pedobarografia dinâmica: alinhamento espacial e temporal Sequências originais antes do alinhamento Sequências de imagem originais Sequências após alinhamento Sequências préprocessadas Oliveira et al. 2011 Medical & Biological Engineering & Computing, DOI: 10.1007/s11517011-0771-x (in press) João Manuel R. S. Tavares 73 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 73 Alinhamento • Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos Extracção do contorno Suavização Binarização Extracção do contorno João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 74 Alinhamento • Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Imagens a alinhar Contornos antes/após emparelhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 75 Alinhamento • Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Soma Imagem originais Imagens Alinhadas Soma Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 João Manuel R. S. Tavares Diferença 76 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 76 Alinhamento • Alinhamento de imagens de uma mesma modalidade: maximização directa da correlação cruzada Soma Imagem originais (RM - proton density) Imagens Alinhadas Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740 João Manuel R. S. Tavares Soma 77 Diferença Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 77 Alinhamento • Alinhamento de imagens de uma mesma modalidade: optimização pelo Método de Powell de medida de semelhança (MSE) Soma Imagem originais (RX) Imagens Alinhadas Oliveira et al. 2011 Medical & Biological Engineering & Computing 49(3):313-323 João Manuel R. S. Tavares Soma 78 Diferença Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 78 Alinhamento • Alinhamento intermodal (CT/RM): optimização pelo Método de Powell de medida de semelhança (MI) CT RM CT+RM Imagem originais Imagens Alinhadas Oliveira et al. 2011 Medical & Biological Engineering & Computing 49(3):313-323 João Manuel R. S. Tavares CT+RM Diferença 79 CT+RM Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 79 Simulação • Simulação (morphing) física de contornos em imagens: FEM, análise modal, optimização, eq. de Lagrange João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 80 Simulação • Simulação de contornos em imagens: FEM, análise modal, optimização, equação de Lagrange Emparelhamento obtido Deformações simuladas Imagens originais Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 81 Simulação • Simulação de contornos em imagens: FEM, análise modal, optimização, equação de Lagrange Imagens originais Emparelhamentos obtidos Deformações simuladas Emparelhamentos obtidos Deformações simuladas Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 82 Análise de Imagem: Reconstrução 3D Reconstrução 3D • Pretende-se obter a forma 3D de objectos ou a informação 3D de cenas a partir de imagens 2D • Nesta área, destacam-se: 1) formas exteriores: técnicas activas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, e segmentação 3D • Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação • Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc. João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 84 Reconstrução 3D • Reconstrução 3D de objectos a partir de slices: segmentação 2D, Delaunay, marching cubes Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 85 Reconstrução 3D • Reconstrução 3D de órgãos a partir de imagens médicas: segmentação 2D, Delaunay, marching cubes Segmentação realizada num slice e reconstrução 3D obtida Perdigão et al. (2005) CMNI 2005 João Manuel R. S. Tavares Orgãos do braço reconstruidos 3D Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 86 Reconstrução 3D • Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens de ressonância magnética: segmentação 2D, loft, suavização slices Segmentação 2D realizada num slice Pavimento pélvico reconstruído 3D Órgãos da cavidade pélvica reconstruídos 3D Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 87 Reconstrução 3D • Reconstrução 3D de cenas a partir de sequências de imagem: visão estéreo densa Azevedo et al. (2006) VISAPP 2006, 383-388 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 88 Reconstrução 3D • Reconstrução 3D de uma cena a partir de par de imagens: visão estéreo densa Par de imagens original Mapa de disparidade obtido Azevedo et al. (2006) VISAPP 2006, 383-388 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 89 Reconstrução 3D • Reconstrução 3D de objectos a partir de sequências de imagem: escavação espacial Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 90 Reconstrução 3D • Reconstrução 3D de objectos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 91 Reconstrução 3D • Reconstrução 3D de objectos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 92 Reconstrução 3D • Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 93 Reconstrução 3D • Reconstrução 3D a partir de radiografias 2D: calibração Calibração de um sistema de Raio-X Método desenvolvido Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 94 Reconstrução 3D • Reconstrução 3D a partir de radiografias 2D: calibração Estimativa da distância entre a fonte de Raio-X e a mesa Duas radiografias de uma coluna seca usada para validar a calibração e reconstrução 3D obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics, DOI: 10.1016/j.medengphy.2011.03.007 (in press) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 95 Análise de Imagem: Sumário Sumário • A área da Análise de Imagem é complexa e exigente, mas de elevado interesse em muitos domínios • Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados • Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver • Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios • Para tal, Colaborações são Necessárias e Bem-vindas João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 97 Equipa Equipa (Análise de Imagem) • Estudantes de Doutoramento (13): – Concluído: Daniel Moura – Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Teresa Azevedo, Zhen Ma, Elza Chagas, Francisco Oliveira, António Gomes, João Nunes, Alex Araújo, Sandra Rua • Estudantes de Mestrado (17): – Em curso: Elisa Barroso, Ana Jesus, Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Célia Cruz, Priscila Alves, Diana Cidre – Concluídos: Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves • Estudantes de pré-Graduação (2) – Concluídos: Ricardo Ferreira, Soraia Pimenta João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 99 Eventos & Publicações Webpage (www.fe.up.pt/~tavares) João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 101 Agradecimentos • Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projectos: – – – – – – – – PTDC/SAU-BEB/102547/2008 PTDC/SAU-BEB/104992/2008 PTDC/EEA-CRO/103320/2008 UTAustin/CA/0047/2008 UTAustin/MAT/0009/2008 PDTC/EME-PME/81229/2006 PDTC/SAU-BEB/71459/2006 POSC/EEA-SRI/55386/2004 João Manuel R. S. Tavares Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina 102 Análise de Imagem: Exemplos de Métodos e Aplicações em Engenharia e Medicina João Manuel R. S. Tavares [email protected] www.fe.up.pt/~tavares
