presentation in pdf

METODOLOGIAS PARA IDENTIFICAÇÃO DE FACES EM IMAGENS:
INTRODUÇÃO E EXEMPLOS DE RESULTADOS
Fernando Carvalho, João Manuel R. S. Tavares
ISEP – Instituto Superior de Engenharia do Porto
FEUP – Faculdade de Engenharia da Universidade do Porto
LOME – Laboratório de Óptica e Mecânica Experimental
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Introdução:
• Em Visão Computacional, uma das áreas que tem tido
elevado interesse, por parte dos seus investigadores, é a das
imagens de faces;
• Nesta apresentação, são resumidamente indicadas várias
aplicações e sumariamente descritas três das metodologias
existentes;
• Para cada metodologia considerada são apresentados alguns
resultados experimentais, obtidos a partir do uso da
plataforma de desenvolvimento Matlab.
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
As metodologias existentes, no domínio das imagens de faces, são
usualmente utilizadas em Visão Computacional para:
• Detecção de faces;
• Extracção de características faciais;
• Reconhecimento e seguimento temporal de faces;
• Classificação/análise de expressões faciais;
• Geração de faces virtuais;
• Simulação do estado emocional nas faces;
• Simulação do efeito do envelhecimento nas faces; etc.
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Metodologias consideradas:
1. Correlação Cruzada;
2. Detecção de zonas de Pele;
3. Modelos Protótipos Deformáveis.
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Método de Correlação Cruzada
Descrição :
• Permite a detecção de uma sub-imagem (Template), relativa a uma dada
característica facial, como o olho, a boca, etc;
• Consiste na determinação da transformada de Fourier, da Imagem com a face
e da sub-imagem, seguida da correlação cruzada entre as transformadas;
• Os coeficientes de correlação são obtidos pela transformada Inversa de
Fourier;
•As coordenadas correspondentes ao valor máximo dos coeficientes de
correlação, corresponde à potencial localização da sub-imagem.
Imagem com a face e sub-imagem do olho: imagens originais (em cima),
após a normalização (em baixo) e respectivos histogramas (ao lado).
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Exemplo de resultados
“Mapa” dos Coeficientes de
Correlação
Imagem original com a sinalização, a vermelho, da
correspondente localização da sub-imgem
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Método de Detecção de Zonas de Pele
Descrição:
• Conversão do formato RGB para o formato YCRCB, permite:
 A eliminação do efeito da luminosidade;
 A implementação de um modelo de probabilidade que segue
uma distribuição normal ou Gaussiana;
• É calculada a Média e a Covâriancia do modelo de probabilidade, a
partir de um conjunto de amostras de pele, convertidas no formato
YCRCB, de vários indivíduos;
• O algoritmo, tendo como referência a Média e a Covâriancia das
amostras, procede à determinação da probabilidade de dado pixel, de
dada imagem em análise, pertencer a uma dada zona de pele;
• Por último, faz a segmentação da imagem pelas zonas de pele
encontradas, e procede à respectiva representação binária dessas
mesmas
zonas.
Congreso
de Métodos
Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Conversão do Formato RGB para o Formato YCRCB
R
RG  B
B
Cb 
RG  B
Cr 
Imagem original, Componente Y - intensidade, Cb – Componente
azul, Cr – Componente vermelha. (da esquerda para a direita)
• Amostras de pele
Imagem com 32 amostras de pele, extraídas da face de
indivíduos de raça branca, e de ambos os sexos
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Modelo de probabilidade da distribuição normal
Consideremos as variáveis aleatórias Cr e Cb, cuja média
são representadas por:
  E  x

C  E  x    x   
T

e atendendo que:
 e a co-variância C
x   Cr Cb 
T
pode-se definir a função de probabilidade da distribuição Gaussiana como:
F  Cr , Cb   e

1
 x   T C 1  x   
2
Função de probabilidade obtido das
amostras de pele consideradas
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Resultado obtido a partir do detector de zonas de pele
Imagem de probabilidade e
respectiva binarização (da
esquerda para a direita).
• Verificação dos segmentos correspondentes a Faces:
 Utiliza-se o algoritmo de correlação cruzada;
 A sub-imagem é um modelo facial adequado;
 A imagem a correlacionar, de níveis de cinzento, corresponde a uma
dada zona de pele a verificar;
 É determinado o ângulo de inclinação da zona a verificar, sendo este
atribuído ao modelo facial (aumenta-se a eficácia da correlação);
 É estabelecido um limiar nos coeficientes de correlação, cerca de 0.6,
que permite considerar ou não o segmento como face.
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Exemplos de resultados
Segmento facial, níveis de correlação e modelo facial
(da esquerda para a direita)
Face circunscrita por
um rectângulo
Congreso de Métodos Numéricos en Ingeniería 2005
Sequência de detecção, com
múltiplas faces
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Método dos Modelos Protótipos Deformáveis
Descrição:
• Permitem a detecção de faces e a extracção de características;
• Modelos parametrizados, os parâmetros conferem-lhe o
comportamento deformável;
• Considera-se o principio da Minimização de Energia para
actualização dos parâmetros (por exemplo, pelo método do gradiente
descendente);
• É necessário aplicar um pré-processamento à imagem em análise, de
forma a realçar a característica facial pretendida (por exemplo,
detector de orlas);
• O processamento correspondente ao ajuste dinâmico do modelo à
característica facial, é dividido por épocas (processo iterativo).
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Exemplos de resultados
Imagem de Intensidade, vales de Intensidade,
Picos de Intensidade, Orlas de intensidade
(da esquerda para a direita e de cima para baixo)
• Exemplo de modelo protótipo para o olho

f  xc , xe , p1 , p2 , r , a, b, c, 

 
Min Ec f
Modelo paramétrico, definido por 11 parâmetros
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
• Exemplos de resultados, determinação da íris
Primeira época:
 É usado o campo de energia correspondente aos vales de
Intensidade, permite encontrar o centro da íris;
 Coordenadas do ponto inicial P a vermelho (ponto (30, 35) – ponto
dado);
 Coordenadas do ponto final Q a verde (ponto (38 ,21) – ponto
obtido).
Imagem com ponto inicial a vermelho,
percurso iterativo a azul e ponto final a verde
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Segunda época:
 São usados os campos de energia correspondentes aos vales de
intensidade e intensidade da imagem, permite encontrar a orla
correspondente à íris.
(Raio inicial: 20 pixels,
Raio final: 9,3 pixels)
Imagem com representação da íris através de uma circunferência,
a vermelho o contorno final, a azul os contornos das sucessivas iterações
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Terceira época:
 É usado o campo correspondente às orlas de intensidade,
permitindo um ajuste fino à orla da íris.
(Raio inicial: 9,3 pixels,
Raio final: 10,3 pixels)
Imagem com a representação da íris através de um
circunferência, a vermelho o contorno final, a azul os contornos
das sucessivas iterações durante o ajuste fino
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Conclusões
• O algoritmo de correlação cruzada é eficiente, embora por
vezes não apresente resultados conclusivos (por exemplo
quando a imagem em estudo é bastante distinta da usada
para extrair a sub-imagem usada na correlação).
• O Algoritmo de detecção de zonas de pele apresenta bons
resultados ao nível da detecção da face, no entanto a
existência de outras zonas de pele, correspondentes a
distintas partes do corpo na imagem, implica que as mesmas
sejam também detectadas.
• O Algoritmo dos modelos protótipos deformáveis apresenta
boas características de detecção, contudo o valor de
algumas constantes associadas aos níveis de energia têm de
ser obtidos experimentalmente (pesos a usar).
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Imagens de Faces: Exemplos de Metodologias e Aplicações
| Introdução | Aplicação | Metodologias | Conclusões | Trabalho Futuro
Trabalho Futuro
•Determinar a rotação da face a partir dos segmentos de
pele obtidos;
•Continuação dos ensaios experimentais usando modelos
protótipos deformáveis mais complexos;
•Aplicação do método dos protótipos deformáveis ao
seguimento de características faciais em sequências de
Imagens (por exemplo usando em conjunto com o filtro de
Kalman).
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares
Obrigado!
Congreso de Métodos Numéricos en Ingeniería 2005
Fernando Carvalho, João Tavares