FluxoOpticoLeonardo - PUC-Rio

Estimativa do fluxo óptico através do
algoritmo de Horn-Shunck
Leonardo de Oliveira Martins
Fluxo óptico

Pode ser compreendido como um campo de
velocidade que descreve o movimento
aparente dos padrões de intensidade em uma
imagem


Dada uma sequência de imagens variando no
tempo, é possível obter, para cada pixel, um vetor
de velocidade
Aplicações

Correspondência de pontos, navegação
exploratória, acompanhamento e segmentação de
objetos, avaliação de tempo para colisão
Fluxo óptico

Os métodos para estimativa do fluxo
óptico podem ser divididos em 3 grupos



Técnicas diferenciais
Técnicas de correlação
Técnicas de frequência e energia
Equação de restrição

Técnicas diferenciais assumem por
hipótese que a intensidade entre uma
imagem e outra em um intervalo
pequeno é aproximadamente constante,
ou seja
I ( x, y, t )  I ( x  dx, y  dy, t  dt )
Equação de restrição
I
I
I
I ( x  dx, y  dy, t  dt )  I ( x, y, t )  x  y  t  O 2
x
y
t
I
I
I
I ( x, y, t )  I ( x, y, t )  x  y  t
x
y
t
0
I
I
I
x  y  t
x
y
t
I x I y I

 0
x t y t t
I .v  I t  0
 I I 
 x y 
v   , , I   , 
 t t 
 x y 
Equação de restrição



Somente a equação anterior não é suficiente
para determinar as componentes de
velocidade
A solução é utilizar alguma técnica de
estimativa, como o método de Lucas-Kanade
ou Horn-Shunck
O método de Lucas-Kanade apresenta
robustez contra ruídos, porém a malha
gerada não é densa
Método de Horn-Shunck

A velocidade é computada a partir das
derivadas espaço-temporais na imagem
Método de Horn-Shunck

Restrições

Restrição de iluminação


A iluminação é constante nas duas imagens
Restrição de suavização

Pontos vizinhos apresentam velocidades
semelhantes
Método de Horn-Shunck

Restrição de iluminação constante

Iluminação em (x,y) é descrita por E(x,y,t)
dE
0
dt
E dx E dy E


0
x dt y dt t
dx
u
dt
E x u  E y v  Et  0
e
dy
v
dt
Método de Horn-Shunck

Restrição de suavização


Se cada ponto se movesse de forma
independente, seria quase impossível
recuperar o campo de movimento
Pontos vizinhos têm velocidades
semelhantes e a velocidade varia
suavemente na maior parte do campo
Método de Horn-Shunck

Uma maneira de expressar esta
restrição é

minimizar o quadrado da magnitude do
gradiente da velocidade do fluxo nas duas
direções
 u   u 
    
 x   y 
2
2
 y   y 
    
 x   y 
2
e
2
Método de Horn-Shunck

Estimativa das derivadas parciais

A estimação é feita pela média das quatro
primeiras regiões adjacentes da imagem
Ex  (img 1[i + 1][j] + img 2 [i + 1][j] + img 1[i + 1][j + 1] + img 2 [i + 1][j + 1] img 1[i][j] - img 2 [i][j] - img 1[i]][j + 1] - img 2 [i][j + 1]) /4.0
E y  (img 1[i][j  1] + img 2 [i][j  1] + img 1[i + 1][j + 1] + img 2 [i + 1][j + 1] img 1[i][j] - img 2 [i][j] - img 1[i  1][j] - img 2 [i  1][j])
/4.0
Et  (img 2 [i][j] + img 2 [i][j  1] + img 2 [i + 1][j] + img 2 [i + 1][j + 1] img 1[i][j] - img 1[i][j  1] - img 1[i  1][j] - img 1[i  1][j  1])
/4.0
Método de Horn-Shunck

O problema passa a ser então um problema de
minimização, ou seja, achar o valor eb que minimize a
expressão
 b  E xu  E y v  Et

com a restrição
2
 u   u   y   y 
            
 x   y   x   y 
2
2
2
2
c

Uma solução direta é computacionalmente cara,
portanto é necessária uma abordagem interativa
Método de Horn-Shunck

Solução interativa

Método de Gauss-Seidel

u
n 1
v
n 1
Com base nas derivadas estimadas e na média dos
valores obtidos anteriormente, é possível obter novos
valores de u e v a partir das equações abaixo
 E x u  E y v  Et
 u  Ex  2
   E2  E2
x
y

n
 E x u  E y v  Et
 v  Ey  2
   E2  E2
x
y

n








Sendo :
u n : média dos 4 vizinhos de u na iteração n
v n : média dos 4 vizinhos de v na iteração n
 : fator de peso proporcion al ao erro de quantização
Resultados (Simples rotação)
Resultados (Horn-Schunck)
Resultados (vision.middlebury.edu)
Resultados (vision.middlebury.edu)
Resultados (Hale)
Resultados (Hale)
Próximos passos

Testar outros métodos de estimação



Técnicas variacionais
Combinação de Lucas-Kanade com Horn-Schunck
Implementar a extensão do método de HornSchunk para dados tridimensionais (dados
sísmicos)
Referências

Faria, Alexandre. Fluxo óptico. Visão computacional, UFMG.



http://www.verlab.dcc.ufmg.br/_media/cursos/visao/20071/alunos/alexandrewagner/optical_flow_article.pdf?id=cursos%3Avisao%3A
2007-1%3Aalunos%3Aalexandrewagner%3Aindex&cache=cache
Horn and Schunck. Determining Optical Flow.Artificial Intelligence,
1981
Tutorial: Computing 2D and 3D Optical flow.

http://www.tina-vision.net/docs/memos/2004-012.pdf