Aplicações da Visão Computacional
Propaganda
Aplicações da Visão Computacional em Biomedicina João Manuel R. S. Tavares [email protected] www.fe.up.pt/~tavares Sumário 1. Apresentação 2. Visão Computacional em Biomedicina i. Introdução ii. Segmentação iii. Seguimento de Movimento iv. Análise de Objetos: Emparelhamento, Alinhamento e Simulação v. Reconstrução 3D 3. Equipa 4. Eventos & Publicações João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 2 Apresentação Apresentação • Prof. Auxiliar no Dep. de Eng. Mecânica (DEMec) da FEUP • Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do INEGI • Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) • Licenciado em Eng. Mecânica (FEUP) • Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento, emparelhamento, alinhamento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (dispositivos biomédicos), Movimento Humano (Marcha, Postura) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 4 Visão Computacional em Biomedicina: Introdução Introdução • O sistema sensorial de visão tem elevada importância para grande parte dos seres vivos – Podendo disponibilizar informações de índole básica, como verificar a existência ou não de obstáculos, ou complexa, como o seguimento e a análise de movimento – Operações comuns: identificação (segmentação), seguimento e reconhecimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), interpolação de formas (simulação), obtenção da forma/informação 3D (reconstrução 3D) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 6 Introdução • Os investigadores da área do Processamento e Análise de Imagem tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo computacional 3D voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 7 Introdução • Algoritmos de Processamento e Análise de Imagem são de elevado interesse para a Sociedade, sendo frequentemente usados, por exemplo, em: – Medicina, Biologia – Ciências naturais, Desporto – Engenharia, Indústria • Exemplos de tarefas comuns envolvendo algoritmos de Processamento e Análise de Imagem: – Remoção de ruído, Correcção geométrica – Segmentação, Reconhecimento (2D-4D) – Seguimento e análise de movimento, incluindo emparelhamento, alinhamento e simulação (2D-4D) – Reconstrução 3D João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 8 Introdução: Processamento e Análise de Imagem – Operações e Objectivos Melhoramento de imagem Processamento de Imagem Imagem / imagens Análise de movimento Análise de Imagem / Visão Computacional João Manuel R. S. Tavares Segmentação de imagem / extração de características seguimento Visão 3D emparelhamento Visão por Computador alinhamento simulação Aplicações da Visão Computacional em Biomedicina 9 Introdução • (Pré-)Processamento de Imagem: suavização de ruído por difusão anisotrópica João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 10 Visão Computacional em Biomedicina: Segmentação Segmentação • Pretende-se identificar de forma automática, ou semiautomática, os objetos (2D/3D) presentes em imagens estáticas ou em sequências de imagem • As técnicas mais comuns são baseadas em emparelhamento de protótipos, modelações geométricas, estatísticas e físicas, e redes neuronais • É uma das operações mais usuais em Visão Computacional, sendo frequentemente a primeira “grande” tarefa considerada • Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc. João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 12 Segmentação • Segmentação de contornos em pedobarografia dinâmica: método de Otsu, operadores morfológicos, XOR pressão camada opaca camada transparente lâmpada luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Após segmentação Bastos & Tavares (2004) LNCS 3179:39-50 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 13 Segmentação • Segmentação de estruturas do ouvido: método de crescimento de regiões Region Growing, x=215; y=254 X: 254 Y: 214 Index: 116.7 RGB: 0.459, 0.459, 0.459 Imagem original Segmentação obtida (labirinto ósseo) Barroso et al. (2011) CNME 2011 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 14 Segmentação • Segmentação do lumen da carotida em imagens Bmode: detetor de orlas, operadores morfologicos, seguimento de orlas Segmentação obtida em imagens de Doppler - B-mode (3 exemplos) Pereira & Tavares (2011) RecPad 2011, 40-41 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 15 Segmentação • Deteção de tumores na mama a partir de imagens de mamografia: transformada de Hough Imagem original Após segmentação Chagas et al. (2007) VipIMAGE 2007, 363-368 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 16 Segmentação • Reconhecimento de objetos em imagens: emparelhamento de imagem protótipo fft fft Imagem protótipo Imagem original ift max CC ift 3D CC ift 2D CC Carvalho & Tavares (2005) CMNI 2005 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 17 Segmentação • Segmentação de caraterísticas: protótipos deformáveis geométricos Exemplo de um protótipo deformável Carvalho & Tavares (2006) CompIMAGE 2006, 129-134 Carvalho & Tavares (2007) VipIMAGE 2007, 209-215 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 18 Segmentação • Segmentação de caraterísticas faciais: protótipos deformáveis geométricos Imagem original e imagens de campos de energia (força) Segmentação da íris usando um protótipo deformável (circulo) Carvalho & Tavares (2006) CompIMAGE 2006, 129-134 Carvalho & Tavares (2007) VipIMAGE 2007, 209-215 João Manuel R. S. Tavares Segmentação do olho usando um protótipo deformável Aplicações da Visão Computacional em Biomedicina 19 Segmentação • Segmentação de regiões de pele em imagens: modelos estatísticos Amostras de pele usadas para construir o modelo Função de probabilidade usada Imagem original e segmentação obtida Carvalho & Tavares (2005) CMNI 2005 Carvalho & Tavares (2008) Tékhne VI(9):245-266 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 20 Segmentação • Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 21 Segmentação • Segmentação do fundo da cena/objeto em sequências de imagens: modelos estatísticos Imagens originais (www.nada.kth.se/cvap/actions) Subtracção do fundo Detecção do objecto em movimento Vasconcelos & Tavares (2008) WCCM8 / ECCOMAS 2008 Vasconcelos & Tavares (2011) EUROMECH Colloquium 511 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 22 Segmentação • Segmentação de objetos em imagens: modelos de distribuição pontual (i. e. modelos de forma) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 23 Segmentação • Segmentação de objetos em imagens: modelos ativos de forma Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 24 Segmentação • Segmentação de mãos e faces em imagens: modelos ativos de forma Segmentações obtidas (inicial, intermédias e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 25 Segmentação • Segmentação de objectos em imagens: modelos ativos de aparência Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 26 Segmentação • Segmentação de faces em imagens: modelos ativos de aparência Imagem original e segmentações obtidas (inicial, intermédia e final) Vasconcelos & Tavares (2008) Computer Modeling in Engineering & Sciences 36(3):213-241 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 27 Segmentação • Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de forma Imagem original + modelo médio Segmentação intermédia I Segmentação intermédia II Segmentação final Vasconcelos et al. (2011) Journal of Voice 25(6):732-742 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 28 Segmentação • Análise do tracto vocal durante a fala partir de imagens de ressonância magnética: modelos ativos de aparência Segmentações intermédias Segmentação inicial Segmentação final Segmentações intermédias Vasconcelos et al. (2011) Journal of Engineering in Medicine 225(1):68-76 Vasconcelos et al. (2011) Journal of Engineering in Medicine, DOI:10.1177/0954411911431664 (in press) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 29 Segmentação • Segmentação de objetos em imagens: contornos ativos (i.e. snakes) Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 30 Segmentação • Segmentação de objetos em imagens: contornos ativos (i.e. snakes) Imagem original e contorno inicial Contorno final Tavares et al. (2009) International Journal for Computational Vision and Biomechanics 2(2):209-220 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 31 Segmentação • Segmentação de objetos em imagens: contorno deformável, FEM, equação de Lagrange Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 32 Segmentação • Segmentação de objetos em imagens: contorno deformável, FEM, equação de Lagrange borracha k = 200N/m 14s Imagens originais e contornos iniciais Contornos finais Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 33 Segmentação • Segmentação de objetos em imagens: métodos de level set Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 34 Segmentação • Segmentação de objetos em imagens médicas: método de level set Imagem original Segmentação inicial Segmentação final Perdigão et al. (2005) Encontro_1_Biomecânica, 81-85 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 35 Segmentação • Segmentação de bifurcação da carótida em imagens de Doppler: métodos de contornos ativos e de level set Segmentação usando um modelo de contornos ativos (Yessi) Segmentação usando um modelo de level set (Chan-Vese) Silva et al. (2011) VipIMAGE 2011, 117-122 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 36 Segmentação • Segmentação de objetos em imagens: métodos de level set, conhecimento prévio Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 37 Segmentação • Segmentação do pavimento pélvico feminino a partir de imagens de ressonância magnética: método de level set, conhecimento prévio Segmentação do pavimento pélvico Ma et al. (2010) Medical Engineering & Physics 32(7):766-774 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 38 Segmentação • Segmentação de órgãos da cavidade pélvica feminina a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação de órgãos (bexiga, pavimento pélvico, ânus) da cavidade pélvica (3 exemplos) Ma et al. (2011) Computers in Biology and Medicine (submitted) Ma et al. (2011) The International Journal for Numerical Methods in Biomedical Engineering (accepted) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 39 Segmentação • Segmentação da bexiga a partir de imagens de ressonância magnética: modelos de level set, conhecimento prévio Segmentação das paredes internas e externas da bexiga (3 exemplos) Ma et al. (2011) Annals of Biomedical Engineering 39(8):2287-2297 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 40 Segmentação • Nova plataforma para segmentação de imagens médicas (VC++, OpenCV, ITK) Interface da plataforma Ma et al. (2008) CMBBE 2008 Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 41 Segmentação • Segmentação de órgãos da cavidade pélvica da mulher a partir de imagens de ressonância magnética: nova plataforma Crescimento de regiões Watershed Contorno ativo geodésico Método de Malladi Level-set framework Ma et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(2):235-246 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 42 Visão Computacional em Biomedicina: Seguimento Seguimento • Pretende-se seguir o movimento e/ou a deformação de estruturas em sequências de imagem (2D/3D) • Nesta área, destacam-se as técnicas baseadas em fluxo óptico, emparelhamento de blocos e em métodos estocásticos • Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação • Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação variáveis, oclusão, ruído, múltiplas estruturas, etc. João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 44 Seguimento • Plataforma desenvolvida para seguimento de entidades (pontos / rectas) em sequências de imagem: filtro de Kalman ou filtro Unscented Kalman, otimização, distância de Mahalanobis, modelo de gestão Pinho et al. (2007) Int. Journal of Simulation Modelling 6(2):84-92 Pinho & Tavares (2009) VipIMAGE 2009, 299-304 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 45 Seguimento • Seguimento de marcas em análise da marcha: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (5 frames) Previsão Incerteza Medição Correspondência Resultado Pinho et al. (2005) ICCB 2005, 915-926 Pinho & Tavares (2009) Computer Modeling in Engineering & Sciences 46(1):51-75 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 46 Seguimento • Análise da marcha com deteção de eventos: filtro de Kalman, distância de Mahalanobis, otimização Sousa et al. (2007) ISHF2007, 331-340 Sousa et al. (2007) ICCB2007, 291-296 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 47 Seguimento • Seguimento de ratos em sequências longas de imagem: filtro de Kalman, distância de Mahalanobis, otimização, modelo de gestão (547 frames) Pinho et al. (2005) LSCCS, Vol. 4A:463-466 Pinho et al. (2007) International Journal of Simulation Modelling 6(2):84-92 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 48 Seguimento • Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) #15 #16 #17 KF + previsão x medição x correcção UKF (22 frames) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 49 Seguimento • Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) – cont. Resultados do filtro de Kalman João Manuel R. S. Tavares Resultados do filtro Unscented Kalman (22 frames) Aplicações da Visão Computacional em Biomedicina 50 Seguimento • Seguimento de ratos numa sequência de imagem real: filtro de Kalman (KF) e filtro Unscented Kalman (UKF) – cont. (22 frames) Erro de seguimento (previsão/estado real) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 51 Visão Computacional em Biomedicina: Emparelhamento, Alinhamento e Simulação – Análise de Objetos Análise de Objetos • Emparelhamento – É uma das tarefas mais usuais em Visão Computacional, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. – Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos (assinaturas) em espaços globais/próprios, como no espaço modal ou de Fourier – Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 53 Emparelhamento • Emparelhamento de contornos em imagens: modelação física/geométrica, análise modal, otimização Bastos & Tavares (2006) Inverse Problems in Science and Engineering 14(5):529-541 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 54 Emparelhamento • Emparelhamento de contornos em pedobarografia dinâmica: FEM, análise modal, otimização pressão camada opaca camada transparente lâmpada luz reflectida vidro lâmpada camada de contacto + vidro espelho câmara Imagens originais Contornos emparelhados Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2010) Progress in Computer Vision and Image Analysis, 339-368 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 55 Emparelhamento • Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, otimização Emparelhamento de dois contornos Emparelhamento entre iso-contornos (2 vistas) Imagem de pedobarografia dinâmica Emparelhamento entre duas superfícies de intensidade (pressão) (2 vistas) Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 56 Emparelhamento • Emparelhamento de contornos e superfícies em pedobarografia dinâmica: FEM, análise modal, otimização Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre superfícies Bastos & Tavares (2004) LNCS 3179:39-50 Tavares & Bastos (2005) Electronic Letters on Computer Vision and Image Analysis 5(3):1-20 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 57 Análise de Objetos • Alinhamento – É uma tarefa habitualmente necessária para comparar objetos representados em imagens adquiridas em instantes de tempo distintos ou segundo diferentes condições/técnicas – O alinhamento é geralmente essencial, por exemplo, em medicina para analisar a evolução de patologias a partir de imagens – Geralmente é conseguido através da consideração de características invariantes, como pontos de curvatura máxima, emparelhamento e estimativa da transformação envolvida – Problemas envolvidos: características não determinadas facilmente, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 58 Alinhamento • Alinhamento de contornos em imagens: modelação geométrica/física, otimização, programação dinâmica Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 59 Alinhamento • Alinhamento de contornos em imagens: modelação geométrica, otimização, programação dinâmica Imagens originais e contornos extraídos Contornos emparelhados antes do alinhamento Contornos após alinhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 60 Alinhamento • Alinhamento de imagens de pedobarografia: modelação geométrica, otimização, programação dinâmica Imagens originais e contornos extraídos Contornos emparelhados e imagens antes e após alinhamento Oliveira et al. (2009) Journal of Biomechanics 42(15):2620-2623 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 61 Alinhamento • Alinhamento de imagens de pedobarografia: transformada de Fourier Imagens originais Imagens antes e após alinhamento Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 62 Alinhamento • Alinhamento de imagens de pedobarografia: método híbrido: Alinhamento de Contornos ou Alinhamento baseado na transformada de Fourier + Otimização de semelhança (MSE/MI/XOR) Oliveira & Tavares 2011 Medical & Biological Engineering & Computing 49(3):313-323 João Manuel R. S. Tavares Imagens originais, antes e após alinhamento Aplicações da Visão Computacional em Biomedicina 63 Alinhamento • Alinhamento de imagens de pedobarografia para identificação (esq. / direito), extração de medidas e índices Oliveira et al. 2011 Computer Methods in Biomechanics and Biomedical Engineering, DOI: 10.1080/10255842.2011.581239 (in press) João Manuel R. S. Tavares Imagens originais, após normalização, contornos e áreas identificadas Aplicações da Visão Computacional em Biomedicina 64 Alinhamento • Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos Extracção do contorno Suavização Binarização Extracção do contorno João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 65 Alinhamento • Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Imagens a alinhar Contornos antes/após emparelhamento Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 66 Alinhamento • Alinhamento de imagens de uma mesma modalidade: alinhamento de contornos - cont. Soma Imagem originais Imagens Alinhadas Soma Oliveira & Tavares (2008) Computer Modeling in Engineering & Sciences 31(11):1-11 Oliveira & Tavares (2009) Computer Modeling in Engineering & Sciences 43(1):91-110 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina Diferença 67 67 Alinhamento • Alinhamento de imagens de uma mesma modalidade: maximização direta da correlação cruzada (transformada de Fourier) Soma Imagem originais (RM - proton density) Imagens Alinhadas Oliveira et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(6):731-740 João Manuel R. S. Tavares Soma 68 Diferença Aplicações da Visão Computacional em Biomedicina 68 Alinhamento • Alinhamento de imagens de uma mesma modalidade: otimização pelo Método de Powell de medida de semelhança (MSE) Soma Imagem originais (RX) ROI para cálculo da MSE Imagens Alinhadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323 João Manuel R. S. Tavares Soma Aplicações da Visão Computacional em Biomedicina 69 Diferença 69 Alinhamento • Alinhamento intermodal (CT/RM): otimização pelo Método de Powell de medida de semelhança (MI) CT CT+RM RM Imagem originais Imagens Alinhadas Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(3):313-323 João Manuel R. S. Tavares CT+RM Diferença 70 CT+RM Aplicações da Visão Computacional em Biomedicina 70 Alinhamento • Otimização iterativa e alinhamento 3D curvo usando Bsplines Imagem modelo Imagem a alinhar Pré-alinhamento usando transformação rígida Novo pré-alinhamento usando transformação afim Alinhamento curvo “grosseiro” usando B-splines Alinhamento “fino” usando B-splines Imagem alinhada Metodologia implementada com recurso ao Insight Toolkit (ITK) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 71 Alinhamento • Otimização iterativa e alinhamento 3D curvo usando Bsplines Princípio – Após alinhamento global, é realizado um alinhamento local do tipo free-form deformation João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 72 Alinhamento • Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pré-alinhamento (CT, tórax – mesma pessoa, Δt: 8.5 meses) (xadrez - construído substituindo algumas partes (voxels) da imagem modelo pelas partes da imagem a alinhar que têm as mesmas coordenadas das partes retiradas à imagem modelo) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 73 Alinhamento • Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 74 Alinhamento • Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 75 Alinhamento • Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pré-alinhamento (CT, cérebro – duas pessoas) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 76 Alinhamento • Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: afim) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 77 Alinhamento • Alinhamento de imagens 3D: otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: B-splines cúbicas) Oliveira & Tavares (2011) Computer Methods in Biomechanics and Biomedical Engineering (submitted) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 78 Alinhamento • Alinhamento de imagens: usando multi-resolução Alinhamento Transformação geométrica Alinhamento Transformação geométrica Alinhamento Transformação geométrica … João Manuel R. S. Tavares … … Aplicações da Visão Computacional em Biomedicina 79 Alinhamento • Alinhamento de imagens 3D: multi-resolução, otimização iterativa, alinhamento 3D Xadrez das imagens pré-alinhamento (CT/MR-PD, cérebro, mesmo paciente) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 80 Alinhamento • Alinhamento de imagens 3D: multi-resolução, otimização iterativa, alinhamento 3D Xadrez das imagens pós-alinhamento (Semelhança: MI, Transf.: rígida) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 81 Alinhamento • Alinhamento de sequências de imagem 2D: alinhamento espacial e temporal Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 82 Alinhamento • Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências originais antes do alinhamento camada de contacto + vidro espelho câmara Sequências préprocessadas Sequências após alinhamento Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 João Manuel R. S. Tavares 83 Aplicações da Visão Computacional em Biomedicina 83 Alinhamento • Alinhamento de sequências de imagem 2D de pedobarografia dinâmica: alinhamento espacial e temporal Sequências de imagem originais Sequências préprocessadas Sequências originais antes do alinhamento Sequências após alinhamento Oliveira et al. (2011) Medical & Biological Engineering & Computing 49(7):843-850 João Manuel R. S. Tavares 84 Aplicações da Visão Computacional em Biomedicina 84 Análise de Objectos • Simulação – É uma tarefa muito usada em Computação Gráfica (morphing) mas também muito útil em Visão Computacional, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. – Geralmente é conseguida através da consideração de transformações geométricas – No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelações físicas (por exemplo, usando FEM) • Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais • Fase de emparelhamento das estruturas torna-se crucial João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 85 Simulação • Simulação (morphing) física de contornos em imagens: FEM, análise modal, otimização, eq. de Lagrange João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 86 Simulação • Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Emparelhamento obtido Deformações simuladas Imagens originais Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 87 Simulação • Simulação de contornos em imagens: FEM, análise modal, otimização, equação de Lagrange Imagens originais Emparelhamentos obtidos Deformações simuladas Emparelhamentos obtidos Deformações simuladas Tavares & Pinho (2005) Journal of Computer Science 4(1):9-18 Gonçalves et al. (2008) Computer Modeling in Engineering & Sciences 32(1):45-55 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 88 Visão Computacional em Biomedicina: Reconstrução 3D Reconstrução 3D • Pretende-se obter a forma 3D de objectos ou a informação 3D de cenas a partir de imagens 2D • Nesta área, destacam-se: 1) formas exteriores: técnicas ativas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; 2) formas interiores: segmentação 2D (i.e. contornos) e interpolação, e segmentação 3D • Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação • Problemas envolvidos: distorção geométrica, iluminação variável, oclusão, ruído, formas complexas, etc. João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 90 Reconstrução 3D • Reconstrução 3D de objetos a partir de slices: segmentação 2D, Delaunay, marching cubes Perdigão et al. (2005) CMNI 2005 Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 91 Reconstrução 3D • Reconstrução 3D de órgãos a partir de imagens médicas: segmentação 2D, Delaunay, marching cubes Segmentação realizada num slice e reconstrução 3D obtida Perdigão et al. (2005) CMNI 2005 João Manuel R. S. Tavares Órgãos do braço reconstruidos 3D Aplicações da Visão Computacional em Biomedicina 92 Reconstrução 3D • Reconstrução 3D de órgãos da cavidade pélvica feminina partir de imagens de ressonância magnética: segmentação 2D, loft, suavização slices Segmentação 2D realizada num slice Pavimento pélvico reconstruído 3D Órgãos da cavidade pélvica reconstruídos 3D Pimenta et al. (2006) CompIMAGE 2006, 343-348 Alexandre et al. (2007) VipIMAGE 2007, 359-362 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 93 Reconstrução 3D • Reconstrução 3D de cenas a partir de sequências de imagem: visão estéreo densa Azevedo et al. (2006) VISAPP 2006, 383-388 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 94 Reconstrução 3D • Reconstrução 3D de uma cena a partir de par de imagens: visão estéreo densa Par de imagens original Mapa de disparidade obtido Azevedo et al. (2006) VISAPP 2006, 383-388 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 95 Reconstrução 3D • Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 96 Reconstrução 3D • Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2008) Advances in Computational Vision and Medical Image Processing: Methods and Applications, 117-136 Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 97 Reconstrução 3D • Reconstrução 3D de objetos a partir de sequências de imagem: escavação espacial Imagens originais Modelo computacional 3D obtido voxalizado e poligonizado Azevedo et al. (2010) Computer Methods in Biomechanics and Biomedical Engineering 13(3):359-369 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 98 Reconstrução 3D • Reconstrução 3D da coluna a partir de duas radiografias 2D e usando um modelo deformável (atlas) Interface desenvolvida Modelo ajustado (duas vistas) e reconstrução obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 99 Reconstrução 3D • Reconstrução 3D a partir de radiografias 2D: calibração Calibração de um sistema de Raio-X Método desenvolvido Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 100 Reconstrução 3D • Reconstrução 3D a partir de radiografias 2D: calibração Estimativa da distância entre a fonte de Raio-X e a mesa Duas radiografias de uma coluna seca usada para validar a calibração e reconstrução 3D obtida Moura et al. (2010) Computer Modeling in Engineering & Sciences 60(2):115-138 Moura et al. (2011) Medical Engineering & Physics 33(8):924-933 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 101 Visão Computacional em Biomedicina: Sumário Sumário • A área da Visão Computacional é complexa e exigente, mas de elevado interesse em muitos domínios, em particular em Medicina • Vários desafios existem, como, por exemplo, condições de aquisição difíceis, oclusão, formas e topologias complexas, movimentos complicados • Trabalho considerável já foi desenvolvido, mas existem ainda muitos desafios importantes e difíceis a resolver • Métodos e metodologias de outras áreas do conhecimento, como da Matemática, Mecânica Computacional, Medicina e Biologia, podem contribuir para a resolução de tais desafios • Para tal, Colaborações são Necessárias e Bem-vindas João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 103 Equipa Equipa (Visão Computacional) • Estudantes de Doutoramento (13): – Concluído: Daniel Moura, Teresa Azevedo – Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Zhen Ma, Elza Chagas, Francisco Oliveira, António Gomes, João Nunes, Alex Araújo, Sandra Rua • Estudantes de Mestrado (20): – Concluídos: Elisa Barroso, Ana Jesus, Célia Cruz, Priscila Alves, Frederico Jacob, Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves – Em curso: Jorge Pereira, Carolina Tabuas, Gabriela Queiros, Diana Cidre, Diogo Faria, Nuno Mafra, Luís Ferro • Estudantes de pré-Graduação (2) – Concluídos: Ricardo Ferreira, Soraia Pimenta João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 105 Agradecimentos • Os trabalhos apresentados têm vindo a ser realizados parcialmente com o apoio da Fundação para a Ciência e a Tecnologia (FCT) em Portugal, nomeadamente, através dos projetos: – – – – – – – – PTDC/SAU-BEB/102547/2008 PTDC/SAU-BEB/104992/2008 PTDC/EEA-CRO/103320/2008 UTAustin/CA/0047/2008 UTAustin/MAT/0009/2008 PDTC/EME-PME/81229/2006 PDTC/SAU-BEB/71459/2006 POSC/EEA-SRI/55386/2004 João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 106 Eventos & Publicações Webpage (www.fe.up.pt/~tavares) João Manuel R. S. Tavares Aplicações da Visão Computacional em Biomedicina 108 Aplicações da Visão Computacional em Biomedicina João Manuel R. S. Tavares [email protected] www.fe.up.pt/~tavares
