Trabalho Futuro
Propaganda
DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental Índice I. Introdução: Visão Computacional; Exemplos; Técnicas de Visão 3D; Objectivos do projecto; Metodologia considerada. II. Plataforma Computacional em Desenvolvimento; III. Alguns resultados experimentais obtidos; IV. Conclusões; V. Trabalho futuro. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 2 Visão Computacional Introdução Plataforma Resultados Interesse da Visão: ~50% do cérebro humano está dedicado à Visão; O sistema de Visão reflecte a percepção do mundo exterior. Conclusões Trabalho Futuro Porquê a Visão Computacional: Abundância de imagens digitais no dia-a-dia; Inúmeras aplicações possíveis; Obter informações úteis a partir de imagens de forma o mais semelhante possível à realizada pelo homem. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 3 Aplicações: exemplos Medicina: planeamento de cirurgias Introdução Plataforma Resultados Conclusões Trabalho Futuro Determinação da pose de órgãos ou de estruturas anatómicas Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 4 Aplicações : exemplos Medicina: reconstrução 3D Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 5 Aplicações : exemplos Arquitectura: reconstrução de estruturas Introdução Plataforma Resultados Conclusões Trabalho Futuro Modelação 3D de edifícios Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 6 Aplicações : exemplos Sistemas de navegação Introdução Plataforma Resultados Conclusões Trabalho Futuro Controlo de robots Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 7 Técnicas Introdução Plataforma Em Visão Computacional, existem várias técnicas para recuperar a estrutura 3D de uma cena ou de um objecto: Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 8 Objectivos e Metodologia Objectivo do projecto: Introdução Obtenção de modelos 3D de cenas ou de objectos reais. Plataforma Resultados Conclusões Trabalho Futuro Metodologia utilizada: estrutura a partir do movimento reconstrução de cenas/objectos a partir de movimento relativo; pretende-se não impor qualquer tipo de restrição ao movimento. Sequência de imagens Reconstrução 3D Extracção de pontos fortes Emparelhamento denso Emparelhamento de pontos fortes Auto-calibração / Estimativa da Pose Partindo de uma sequência de imagens não calibradas, pretende-se extrair o movimento e a calibração da(s) câmara(s) considerada(s), assim como obter a geometria 3D do objecto em causa. Extracção da geometria epipolar Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 9 Plataforma Computacional Introdução Plataforma Integração de funções disponibilizadas em várias bibliotecas de domínio público: OpenCV; Peter’s Matlab Functions for Computer Vision and Image Analysis (portada para C); Resultados Conclusões Trabalho Futuro Torr’s Matlab Toolkit (portada para C); KLT; Projective Rectification without Epipolar Geometry; Depth Discontinuities by Pixel-to-Pixel Stereo. Desenvolvimento modular; Interface gráfica adequada para o utilizador; Linguagem: C++; Sistema operativo: Microsoft Windows. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 10 Funções incluídas As funções incluídas abrangem várias técnicas de Visão Activa: Introdução Plataforma Resultados Conclusões Trabalho Futuro extracção de pontos fortes (pontos característicos); emparelhamento de pontos fortes entre imagens; cálculo da geometria epipolar; rectificação; emparelhamento denso. O utilizador pode escolher o algoritmo que pretende usar, assim como definir comodamente os seus parâmetros. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 11 Extracção de pontos fortes Introdução Utilizaram-se pares de imagens estéreo (540x612 píxeis), capturadas usando uma câmara digital convencional. Plataforma Resultados Conclusões Funções disponíveis para a extracção de pontos fortes Trabalho Futuro São pontos que reflectem discrepâncias relevantes entre os seus valores de intensidades e os dos seus vizinhos; A sua extracção permite posteriormente correlacioná-los sequencialmente noutras imagens (emparelhamento). Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 12 Pontos fortes - resultados Exemplos obtidos pelas técnicas integradas: Introdução Plataforma Resultados Conclusões Trabalho Futuro Peter Torr OpenCV KLT Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 13 Emparelhamento de pontos fortes Introdução Funções disponíveis para o emparelhamento de pontos fortes Plataforma Resultados Coordenadas dos pontos fortes da primeira imagem Conclusões Trabalho Futuro Identificação dos pontos nas várias imagens que resultem da projecção do mesmo ponto da cena (matching); Um reduzido número de pontos de correspondência, é suficiente para se poder determinar a relação geométrica entre as duas imagens (matriz fundamental). Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 14 Emparelhamento de pontos fortes Introdução Plataforma Resultados Coordenadas dos pontos emparelhados da segunda imagem Conclusões Matriz fundamental Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 15 Emparelhamento - resultados Exemplos obtidos pelas técnicas integradas: Introdução Plataforma Resultados Conclusões Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 16 Geometria epipolar Obtém-se informação da pose relativa entre vistas da mesma cena. Introdução Plataforma Resultados Funções disponíveis para o cálculo da geometria epipolar Conclusões Exemplo obtido pelas técnicas integradas: Trabalho Futuro Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 17 Rectificação Introdução Plataforma Traduz-se em alterar as imagens de forma a colocar as linhas epipolares paralelas ao eixo horizontal da imagem; Facilita o problema do emparelhamento de pontos entre imagens. Resultados Conclusões Trabalho Futuro Função disponível para a rectificação Exemplo obtido pelas técnicas integradas: Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 18 Mapa de disparidade Introdução Plataforma Resultados Cálculo do mapa de disparidade, que codifica em níveis de cinzento a distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos distantes têm disparidade zero (preto) e pontos muito próximos terão a máxima disparidade (branco); Conclusões Um mapa de disparidade dá a percepção das descontinuidades em termos de profundidade de uma cena; Trabalho Futuro Um dos algoritmos disponíveis também retorna um mapa de descontinuidades, definido pelos píxeis que fazem fronteira entre uma mudança de pelo menos dois níveis de disparidade. Funções disponíveis para o emparelhamento denso Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 19 Mapa de disparidade - resultados Exemplos obtidos pelas técnicas integradas: Introdução Imagens originais Plataforma Resultados Conclusões Trabalho Futuro Mapa de disparidade Mapa de descontinuidades Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 20 Conclusões Introdução Plataforma Resultados Conclusões Trabalho Futuro As funções analisadas obtêm bons resultados experimentais quando aplicadas em objectos que apresentam características fortes; Os resultados experimentais obtidos com menor qualidade, geralmente estão relacionados com a determinação dos pontos característicos nas imagens a considerar (pontos fortes); Esta debilidade, das técnicas analisadas e integradas na plataforma computacional, é tanto maior, quanto menor as variações da forma dos objectos em causa. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 21 Trabalho futuro Introdução Plataforma Resultados Conclusões Trabalho Futuro As próximas etapas deste projecto irão concentrar-se no sentido de melhorar os resultados obtidos quando os objectos a reconstruir apresentam formas contínuas e suaves: consideração de técnicas de “escavação” do espaço tridimensional - space carving - para a reconstrução do objecto; os pontos característicos serão determinados utilizando um reduzido número de marcadores nos objectos, por forma a referenciar o objecto no espaço 3D; integração de uma técnica de calibração da(s) câmara(s), assim como de algoritmos de obtenção da pose e do movimento relativo. Posteriormente, pretende-se utilizar a plataforma computacional apresentada na reconstrução e caracterização de formas 3D anatómicas exteriores. Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 22 Trabalho futuro Introdução Plataforma Space carving: determinar o volume inicial V, que englobe o objecto 3D; Resultados para cada voxel de V: Conclusões • projectá-lo nas imagens capturadas; Trabalho Futuro • removê-lo se não for consistente. Exemplos de Resultados: Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz 23 DESENVOLVIMENTO DE UMA PLATAFORMA COMPUTACIONAL PARA OBTENÇÃO DA FORMA 3D DE OBJECTOS USANDO TÉCNICAS DE VISÃO ACTIVA Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Laboratório de Óptica e Mecânica Experimental
