Processamento e Análise de Imagem em Biomecânica João Manuel
Propaganda
Processamento e Análise de Imagem em Biomecânica João Manuel R. S. Tavares [email protected] Hotel Porto Palácio Porto 18-19 Julho 2008 www.fe.up.pt/~tavares Conteúdo • Apresentação • Introdução • Tarefas e Aplicações – – – – Segmentação Seguimento Emparelhamento e Morphing Reconstrução 3D • Conclusões João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 2 Apresentação Apresentação • Prof. Auxiliar no Dep. de Eng. Mecânica e Gestão Industrial (DEMEGI) da Fac. de Eng. da Universidade do Porto (FEUP) • Investigador Sénior e Coordenador de Projecto no Lab. de Óptica e Mecânica Experimental (LOME) do Instituto de Eng. Mecânica e Gestão Industrial (INEGI) • Doutorado e Mestre em Eng. Electrotécnica e de Computadores (FEUP) (com Tese e Dissertação na área do Processamento e Análise de Imagem) • Licenciado em Eng. Mecânica (FEUP) • Áreas de Investigação: Processamento e Análise de Imagem (segmentação, seguimento e reconstrução 3D), Interfaces Homem/Máquina (visualização de dados e percepção humana), Desenvolvimento de Produto (sistemas protótipos biomédicos) João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 4 Introdução Processamento e Análise de Imagem • O sistema sensorial da visão tem elevada importância para os seres vivos – Podendo disponibilizar informações de índole mais básica, como verificar a existência ou não de obstáculos, ou de cariz mais complexo, como o seguimento e análise de movimento – Operações comuns: identificação (segmentação), seguimento de movimento (seguimento e análise), correspondência e alinhamento (emparelhamento e alinhamento), obtenção da forma 3D (reconstrução 3D) João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 6 Processamento e Análise de Imagem • Os investigadores desta área do conhecimento tentam desenvolver algoritmos computacionais para realizar de forma automática, ou semi-automática, operações e tarefas desenvolvidas pelos (complexos) sistemas de visão dos seres vivos Imagens originais Modelo 3D obtido voxelizado poligonizado Azevedo et al. 2007, 3D Volumetric Reconstruction and Characterization of Objects from Uncalibrated Images, VIIP 2007, Spain João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 7 Processamento e Análise de Imagem • Exemplos de tarefas mais comuns usando algoritmos de Processamento e Análise de Imagem são: remoção de ruído, correcção geométrica, compressão, segmentação (2D/3D), seguimento e análise de movimento (2D/3D), emparelhamento e alinhamento (2D/3D), reconstrução 3D, etc. • Domínios em que são frequentes algoritmos de Processamento e Análise de Imagem: Medicina, Industria, Engenharia, Biomecânica, Realidade Virtual, etc. João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 8 Tarefas e Aplicações: Segmentação Segmentação • Pretende-se identificar de forma automática, ou semiautomática, as estruturas (2D/3D) presentes numa imagem • As metodologias mais comuns são baseadas em modelizações estatísticas, geométricas ou físicas • É uma das operações mais usuais em Processamento e Análise de Imagem, sendo frequentemente a primeira “grande” tarefa considerada • Problemas envolvidos: ruído, baixa resolução, reduzido contraste, formas não conhecidas, oclusões parciais, múltiplas estruturas presentes, etc. João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 10 Segmentação • Exemplo: segmentação de contornos em pedobarografia dinâmica pressure opaque layer transparent layer lamp reflected light glass lamp contact layer + glass mirror camera Imagens originais Após segmentação Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 11 Segmentação • Exemplo: segmentação usando modelos pontuais de distribuição Etapas da segmentação numa nova imagem (usando modelo geométrico) Vasconcelos & Tavares 2006, Methodologies to Build Automatic Point Distribution Models for Faces Represented in Images, CompIMAGE 2006, Portugal Vasconcelos & Tavares 2005, Introdução aos modelos pontuais de distribuição e sua utilização na segmentação e reconhecimento de objectos em imagens, CMNI 2005, España João Manuel R. S. Tavares 12 Processamento e Análise de Imagem em Biomecânica Segmentação • Exemplo: segmentação usando modelos estatísticos Background subtraction method Foreground object detection method Vasconcelos & Tavares 2008, Image Segmentation for Human Motion Analysis: Methods and Applications, WCCM8 / ECCOMAS 2008, Italy João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 13 Segmentação • Exemplo: segmentação usando um protótipo geométrico deformável Imagem original e de campos de forças considerados Protótipo deformável usado para o olho Carvalho & Tavares 2006, Two Methodologies for Iris Detection and Location in Face Images, CompIMAGE 2006, Portugal Carvalho & Tavares 2007, Eye detection using a deformable template in static images, VipIMAGE 2007, Portugal João Manuel R. S. Tavares Determinação iterativa do olho usando um protótipo deformável Processamento e Análise de Imagem em Biomecânica 14 Segmentação • Exemplo: segmentação usando modelos físicos deformáveis (contornos activos - snakes) Imagem original e contorno inicial Contorno final obtido Tavares et al. 2002, Apresentação de um Banco de Desenvolvimento e Ensaio para Objectos Deformáveis, RESI – Revista Electrónica de Sistemas de Informação, Vol. 1, No. 1 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 15 Segmentação • Exemplo: segmentação usando modelos físicos deformáveis (level-sets) Imagem original Segmentação inicial Segmentação final obtida Perdigão et al. 2005, Geração de modelos de malhas de elementos finitos a partir de imagens médicas 2D, Encontro_1_Biomecânica, Portugal João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 16 Tarefas e Aplicações: Seguimento Seguimento • Pretende-se seguir o movimento (e/ou a deformação) de estruturas em sequências de imagem • Nesta área, destacam-se as metodologias baseadas em emparelhamento de blocos e em métodos estocásticos • Usualmente, envolve a estimativa do movimento envolvido, a gestão das entidades seguidas, a análise do movimento seguido bem como a sua quantificação • Problemas envolvidos: movimento não rígido, distorção geométrica, condições de iluminação, oclusão, ruído, múltiplas estruturas, etc. João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 18 Seguimento • Exemplo: seguimento de contornos em pedobarografia dinâmica Seguimento de contornos Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 19 Seguimento • Exemplo: seguimento usando filtragem de Kalman e técnicas de optimização Prediction Uncertainty Area Measurement Correspondence Result Pinho et al. 2005, Human Movement Tracking and Analysis with Kalman Filtering and Global Optimization Techniques, ICCB 2005, Portugal João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 20 Seguimento • Exemplo: análise da marcha com detecção de eventos Sousa et al. 2007, Registration between Data from Visual Sensors and Force Platform in Gait Event Detection, ISHF2007, Portugal Sousa et al. 2007, Selecting Biomechanical Variables for Detect Gait Events using Computational Vision, ICCB 2007, Venuzuela João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 21 Seguimento • Exemplo: seguimento usando filtragem de Kalman, técnicas de optimização e modelo de gestão (547 frames) Pinho et al. 2005, A Movement Tracking Management Model with Kalman Filtering, Global Optimization Techniques and Mahalanobis Distance, LSCCS, Vol. 4A Pinho et al. 2007, Efficient Approximation of the Mahalanobis Distance for Tracking with the Kalman Filter, International Journal of Simulation Modelling, Vol. 6, No. 2 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 22 Tarefas e Aplicações: Emparelhamento e Morphing Emparelhamento e Morphing • Emparelhamento – É uma das tarefas mais usuais em Processamento e Análise de Imagem, por exemplo, para alinhar estruturas, reconhecer estruturas, obter informação 3D, analisar movimento, etc. – Geralmente é conseguido através da consideração de características invariantes, como a curvatura, ou de deslocamentos em espaços globais, como no espaço modal – Problemas envolvidos: oclusão, deformações não rígidas, variações elevadas de forma, etc. João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 24 Emparelhamento e Morphing • Morphing – É uma tarefa muito usada em Computação Gráfica mas também muito útil em Processamento e Análise de Imagem, por exemplo, para estimar a deformação existente entre duas estruturas distintas ou entre dois instantes de uma mesma estrutura, estimar as transições entre duas formas adquiridas com espaçamento temporal elevado, etc. – Geralmente é conseguida através da consideração de transformações geométricas – No entanto, quando se deve considerar o comportamento físico das estruturas envolvidas, devem ser usadas metodologias e modelizações físicas, por exemplo usando FEM • Dificuldades comuns são relativas à estimativas das forças envolvidas e das propriedades adoptadas para os materiais (virtuais) • Fase de emparelhamento das estruturas torna-se crucial João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 25 Emparelhamento • Exemplo: emparelhamento em pedobarografia dinâmica usando modelização física, análise modal e optimização Objecto Inicial Objecto Final Imagem de pedobarografia dinâmica Emparelhamento obtido Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 26 Emparelhamento • Exemplo: emparelhamento em pedobarografia dinâmica usando modelização física, análise modal e optimização Emparelhamentos obtidos entre iso-contornos Emparelhamentos obtidos entre superficies Tavares & Bastos 2005, Improvement of Modal Matching Image Objects in Dynamic Pedobarography using Optimization Techniques, Electronic Letters on Computer Vision and Image Analysis, Vol. 5, No. 3 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 27 Morphing • Exemplo: morphing usando modelização física e emparelhamento modal Imagens originais Emparelhamentos Deformações estimadas Emparelhamentos Deformações estimadas Tavares & Pinho 2005, Estimação Temporal da Deformação entre Objectos utilizando uma Metodologia Física, InfoComp, Vol. 4, No. 1 Gonçalves et al. 2007, Simulação da Deformação de Objectos em Imagens segundo Princípios Físicos, 2º Encontro Nacional de Biomecânica, Portugal João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 28 Tarefas e Aplicações: Reconstrução 3D Reconstrução 3D • Pretende-se obter a forma 3D de estruturas a partir de imagens • Nesta área, destacam-se as metodologias baseadas em: formas exteriores – técnicas activas (com projecção de energia ou movimento relativo), passivas (sem projecção de energia ou movimento relativo) e de escavação espacial; formas interiores – segmentação 2D (contornos, por exemplo) e interpolação • Usualmente, envolve tarefas de calibração, segmentação, emparelhamento, triangulação e interpolação • Problemas envolvidos: distorção geométrica, condições de iluminação, oclusão, ruído, múltiplas estruturas, formas complexas, etc. João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 30 Reconstrução 3D • Exemplo: reconstrução 3D a partir de imagens médicas Pavimento pélvico reconstruído Slices Segmentação Pimenta et al. 2006, Reconstruction of 3D Models from Medical Images: Application to Female Pelvic Organs, CompIMAGE 2006, Portugal João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 31 Reconstrução 3D • Exemplo: reconstrução 3D usando escavação espacial Imagens originais Modelo 3D obtido voxelizado poligonizado Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 32 Reconstrução 3D • Exemplo: reconstrução 3D usando escavação espacial Imagens originais Modelo 3D obtido voxelizado poligonizado Tavares et al. 2008, 3D Reconstruction of External Anatomical Structures using Computer Vision, CMBBE 2008, Portugal João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 33 Conclusões Conclusões • O Processamento e Análise de Imagem é uma área multidisciplinar com elevada aplicabilidade em vários domínios • Existem inúmeros desafios associados: imagens de baixa qualidade, estruturas complexas e com variações topológicas, falta de conhecimento apriori, movimento não rígido, múltiplas estruturas, oclusão, etc. • Muito trabalho já foi desenvolvido mas muito há ainda a fazer, inclusive na validação em contexto real • Um domínio no qual existe um vasto número de aplicações é o da Biomecânica: análise da marcha, pedobarografia, reconstrução 3D, etc. João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 35 Equipa Equipa (Processamento e Análise de Imagem) • Alunos de Doutoramento (11): – Em curso: Raquel Pinho, Patrícia Gonçalves, Maria Vasconcelos, Ilda Reis, Teresa Azevedo, Daniel Moura (INEB), Zhen Ma, Elza Chagas (PUC - Minas Gerais, Brasil), Victor Albuquerque, Francisco Oliveira, Eduardo Ribeiro • Alunos de Mestrado (17): – Em curso: Fernando Carvalho, Mauro Trindade, Lara Quintela, Andreia Sousa, Frederico Jacob, Diogo Faria, Verónica Marques, Sérgio Martins, Carolina Rodrigues – Finalizados: Daniela Sousa, Francisco Oliveira, Teresa Azevedo, Maria Vasconcelos, Raquel Pinho, Luísa Bastos, Cândida Coelho, Jorge Gonçalves (INEB) • Alunos de Licenciatura (2) – Finalizados: Ricardo Ferreira, Soraia Pimenta • … João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 37 Equipa (Processamento e Análise de Imagem) • Colaboradores/Supervisores: – – – – – – – – – – – – – – Renato Natal Jorge, Joaquim Gabriel Mendes (IDMEC/FEUP) Mário Vaz, Miguel Angel Guevara (LOME/FEUP) Luís Durão (ISEP) Miguel Velhote, Jorge Barbosa (FEUP) Francisco Freitas, Nuno Correia (INEGI/FEUP) Emília Mendes (CRPG) Denilson Rodrigues (PUC - Minas Gerais, Brasil) Diana Miranda, Georgeta Oliveira, Ricardo Duarte (HPH) Ana Mafalda Reis, Manuel Laranjeira (ICBAS/INC) Manuel Paulo (FMDUP) Adelino Leite-Moreira (FMUP) Durval Campos Costas (HPP-Medicina Molecular, SA.) Luis Metello (ESTSP) … João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 38 Agradecimentos • Parte do trabalho apresentado foi desenvolvido no âmbito do Projecto de Investigação “Segmentação, Seguimento e Análise de Movimento de Objectos Deformáveis (2D/3D) usando Princípios Físicos” financiado pela FCT - Fundação para a Ciência e a Tecnologia em Portugal, com a referência: POSC/EEASRI/55386/2004 João Manuel R. S. Tavares Processamento e Análise de Imagem em Biomecânica 39 Muito Obrigado pela Vossa Atenção! Processamento e Análise de Imagem em Biomecânica João Manuel R. S. Tavares [email protected] Hotel Porto Palácio Porto 18-19 Julho 2008 www.fe.up.pt/~tavares Colaborações são Bem-Vindas!
