Trabalho Futuro

DESENVOLVIMENTO DE UMA PLATAFORMA
COMPUTACIONAL PARA OBTENÇÃO DA
FORMA 3D DE OBJECTOS USANDO TÉCNICAS
DE VISÃO ACTIVA
Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
FEUP – Faculdade de Engenharia da Universidade do Porto
LOME – Laboratório de Óptica e Mecânica Experimental
Índice
I. Introdução:





Visão Computacional;
Exemplos;
Técnicas de Visão 3D;
Objectivos do projecto;
Metodologia considerada.
II. Plataforma Computacional em Desenvolvimento;
III. Alguns resultados experimentais obtidos;
IV. Conclusões;
V. Trabalho futuro.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
2
Visão Computacional
Introdução
Plataforma
Resultados
 Interesse da Visão:


~50% do cérebro humano está dedicado à Visão;
O sistema de Visão reflecte a percepção do mundo exterior.
Conclusões
Trabalho Futuro
 Porquê a Visão Computacional:

Abundância de imagens digitais no dia-a-dia;

Inúmeras aplicações possíveis;
Obter informações úteis a partir de imagens de forma o mais
semelhante possível à realizada pelo homem.

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
3
Aplicações: exemplos
 Medicina: planeamento de cirurgias
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Determinação da pose de órgãos ou de estruturas anatómicas
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
4
Aplicações : exemplos
 Medicina: reconstrução 3D
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
5
Aplicações : exemplos
 Arquitectura: reconstrução de estruturas
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Modelação 3D de
edifícios
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
6
Aplicações : exemplos
 Sistemas de navegação
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Controlo de robots
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
7
Técnicas
Introdução
Plataforma
Em Visão Computacional, existem várias técnicas para
recuperar a estrutura 3D de uma cena ou de um objecto:
Resultados
Conclusões
Trabalho Futuro
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
8
Objectivos e Metodologia
 Objectivo do projecto:
Introdução
Obtenção de modelos 3D de cenas ou de objectos reais.
Plataforma
Resultados
Conclusões
Trabalho Futuro
 Metodologia utilizada: estrutura a partir do movimento
reconstrução de cenas/objectos a partir de movimento relativo;
 pretende-se não impor qualquer tipo de restrição ao movimento.

Sequência de imagens
Reconstrução 3D
Extracção de pontos
fortes
Emparelhamento denso
Emparelhamento de
pontos fortes
Auto-calibração /
Estimativa da Pose
 Partindo de uma sequência de
imagens não calibradas,
pretende-se extrair o movimento
e a calibração da(s) câmara(s)
considerada(s), assim como
obter a geometria 3D do objecto
em causa.
Extracção da geometria
epipolar
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
9
Plataforma Computacional
Introdução
Plataforma
 Integração de funções disponibilizadas em várias bibliotecas de
domínio público:
OpenCV;

Peter’s Matlab Functions for Computer Vision and Image Analysis
(portada para C);

Resultados
Conclusões
Trabalho Futuro

Torr’s Matlab Toolkit (portada para C);

KLT;

Projective Rectification without Epipolar Geometry;

Depth Discontinuities by Pixel-to-Pixel Stereo.
 Desenvolvimento modular;
 Interface gráfica adequada para o utilizador;
 Linguagem: C++;
Sistema operativo: Microsoft Windows.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
10
Funções incluídas
 As funções incluídas abrangem várias técnicas de Visão Activa:
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
extracção de pontos fortes
(pontos característicos);
 emparelhamento de pontos
fortes entre imagens;
 cálculo da geometria
epipolar;
 rectificação;
 emparelhamento denso.

 O utilizador pode escolher o
algoritmo que pretende usar,
assim como definir comodamente
os seus parâmetros.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
11
Extracção de pontos fortes
Introdução
 Utilizaram-se pares de imagens estéreo (540x612 píxeis), capturadas
usando uma câmara digital convencional.
Plataforma
Resultados
Conclusões
Funções disponíveis
para a extracção de
pontos fortes
Trabalho Futuro
São pontos que reflectem discrepâncias relevantes entre os seus valores de
intensidades e os dos seus vizinhos;

A sua extracção permite posteriormente correlacioná-los sequencialmente
noutras imagens (emparelhamento).

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
12
Pontos fortes - resultados
 Exemplos obtidos pelas técnicas integradas:
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Peter
Torr
OpenCV
KLT
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
13
Emparelhamento de pontos fortes
Introdução
Funções disponíveis
para o
emparelhamento de
pontos fortes
Plataforma
Resultados
Coordenadas dos
pontos fortes da
primeira imagem
Conclusões
Trabalho Futuro
Identificação dos pontos nas várias imagens que resultem da projecção
do mesmo ponto da cena (matching);
 Um reduzido número de pontos de correspondência, é suficiente para se
poder determinar a relação geométrica entre as duas imagens (matriz
fundamental).

Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
14
Emparelhamento de pontos fortes
Introdução
Plataforma
Resultados
Coordenadas dos
pontos
emparelhados da
segunda imagem
Conclusões
Matriz fundamental
Trabalho Futuro
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
15
Emparelhamento - resultados
 Exemplos obtidos pelas técnicas integradas:
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
16
Geometria epipolar
 Obtém-se informação da pose relativa entre vistas da mesma cena.
Introdução
Plataforma
Resultados
Funções
disponíveis para o
cálculo da
geometria
epipolar
Conclusões
 Exemplo obtido pelas técnicas integradas:
Trabalho Futuro
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
17
Rectificação
Introdução
Plataforma
 Traduz-se em alterar as imagens de forma a colocar as linhas
epipolares paralelas ao eixo horizontal da imagem;
 Facilita o problema do emparelhamento de pontos entre imagens.
Resultados
Conclusões
Trabalho Futuro
Função disponível
para a
rectificação
 Exemplo obtido pelas técnicas integradas:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
18
Mapa de disparidade
Introdução
Plataforma
Resultados
Cálculo do mapa de disparidade, que codifica em níveis de cinzento a
distância dos objectos em relação à(s) câmara(s), ou seja, pontos muitos
distantes têm disparidade zero (preto) e pontos muito próximos terão a
máxima disparidade (branco);

Conclusões
Um mapa de disparidade dá a percepção das descontinuidades em
termos de profundidade de uma cena;
Trabalho Futuro


Um dos algoritmos disponíveis também retorna um mapa de
descontinuidades, definido pelos píxeis que fazem fronteira entre uma
mudança de pelo menos dois níveis de disparidade.
Funções
disponíveis para o
emparelhamento
denso
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
19
Mapa de disparidade - resultados
 Exemplos obtidos pelas técnicas integradas:
Introdução
Imagens originais
Plataforma
Resultados
Conclusões
Trabalho Futuro
Mapa de disparidade
Mapa de descontinuidades
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
20
Conclusões
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
 As funções analisadas obtêm bons resultados experimentais
quando aplicadas em objectos que apresentam características
fortes;
 Os resultados experimentais obtidos com menor qualidade,
geralmente estão relacionados com a determinação dos pontos
característicos nas imagens a considerar (pontos fortes);
 Esta debilidade, das técnicas analisadas e integradas na
plataforma computacional, é tanto maior, quanto menor as
variações da forma dos objectos em causa.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
21
Trabalho futuro
Introdução
Plataforma
Resultados
Conclusões
Trabalho Futuro
 As próximas etapas deste projecto irão concentrar-se no sentido
de melhorar os resultados obtidos quando os objectos a reconstruir
apresentam formas contínuas e suaves:
 consideração de técnicas de “escavação” do espaço tridimensional
- space carving - para a reconstrução do objecto;
 os pontos característicos serão determinados utilizando um
reduzido número de marcadores nos objectos, por forma a referenciar
o objecto no espaço 3D;
 integração de uma técnica de calibração da(s) câmara(s), assim
como de algoritmos de obtenção da pose e do movimento relativo.
 Posteriormente, pretende-se utilizar a plataforma computacional
apresentada na reconstrução e caracterização de formas 3D
anatómicas exteriores.
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
22
Trabalho futuro
Introdução
Plataforma
 Space carving:
 determinar o volume inicial V,
que englobe o objecto 3D;
Resultados
 para cada voxel de V:
Conclusões
• projectá-lo nas imagens
capturadas;
Trabalho Futuro
• removê-lo se não for
consistente.
Exemplos de
Resultados:
Teresa Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
23
DESENVOLVIMENTO DE UMA PLATAFORMA
COMPUTACIONAL PARA OBTENÇÃO DA
FORMA 3D DE OBJECTOS USANDO TÉCNICAS
DE VISÃO ACTIVA
Teresa C. S. Azevedo, João Manuel R. S. Tavares, Mário A. P. Vaz
FEUP – Faculdade de Engenharia da Universidade do Porto
LOME – Laboratório de Óptica e Mecânica Experimental