estimação de pose e movimentação de um robô - DCA

ESTIMAÇÃO DE POSE E MOVIMENTAÇÃO DE
UM ROBÔ HUMANÓIDE UTILIZANDO
IMAGENS DE UMA CÂMERA MÓVEL EXTERNA
Marcelo B. Nogueira
Bruno Xavier da Costa
Adelardo A. D. Medeiros
Pablo J. Alsina
Universidade Federal do Rio Grande do Norte
Departamento de Engenharia de Computação e Automação
UFRN-CT-DCA -- Campus Universitário -- 59072-970 Natal-RN Brazil
Objetivo

Propor um método para realizar a
movimentação de um robô humanóide
simples, sem uma eletrônica embarcada
avançada
Introdução

Uma das principais tarefas de um sistema de
navegação de um robô móvel: determinar a
sua posição e orientação no ambiente de
trabalho
 Feito através de Sensores
 Laser e GPS: caros
 Odometria: barato, mas não apropriado a
humanóides
Introdução

Câmeras embutidas no
humanóide:



Humanóide grande
Eletrônica embarcada cara
Câmera externa e cérebro
remoto



O cérebro e câmera não se
encontra no robô
Cérebro e corpo interligados por
links sem fio
Robô pequeno, leve e barato
Robô utilizado:
Robosapien
Metodologia

Utilizamos um outro robô móvel com rodas
dotado de um sistema de localização
(odometria ou marcos naturais) e equipado
com uma câmera e um computador
(cérebro remoto)
Sistema Proposto
Metodologia

A partir de imagens, localizamos o
humanóide no ambiente de trabalho e
tomamos as ações necessárias para
realizar a sua movimentação
 Simultaneamente, movimentamos o robô
que contem a câmera, de forma que este
tenha uma boa visada do humanóide
Estimação de Pose por Imagens

Calibração de Câmera
Determinar um conjunto de valores relativos
à câmera que possibilite interpretar
imagens obtidas por esta
 Dividida em duas etapas

Determinação dos seus parâmetros intrínsecos
 Determinação dos seus parâmetros extrínsecos

Calibração de Câmera

Determinação dos seus parâmetros
intrínsecos



Determinar as propriedades intrínsecas da câmera,
como distância focal, centro de imagem,
coeficiente de distorção das lentes
Sem restrição de tempo real
MÉTODO DE ZHANG


Necessário que a câmera observe um padrão plano
de no mínimo duas posições diferentes
Não é necessário que se tenha conhecimento sobre
o deslocamento realizado pela câmera entre uma
observação e outra
Calibração de Câmera

Determinação dos seus parâmetros
extrínsecos



Indicam a posição e a orientação da câmera com
relação ao sistema de coordenadas do mundo
Realizado em tempo real
Métodos PnP (Perspective-n-Point)

Utiliza n pontos notáveis presentes na cena e em
uma imagem da cena
Determinação dos Pontos Notáveis
para Calibração Interna

Método de Zhang: mínimo de 6 pontos



Melhor precisão: utilizamos 81 pontos
Localizar diretamente pontos: impreciso
Localizar intercessões de retas

Localizar retas: Método de Hough
Padrão para
calibração interna
Determinação dos Pontos Notáveis
para Calibração Externa




Métodos P4P (necessários 4 pontos)
Intercessão das arestas de um quadrilátero
Hough: lento (aplicação em tempo real)
Desenvolvimento de sistema de detecção de arestas
mais rápido
Padrão para
calibração externa
Sistema de Detecção de Arestas



Losango de cor característica
Determinar vários pontos sobre cada uma das arestas
(com erros)
Utilizar um conjunto de pontos para calcular a melhor
reta que representa cada aresta
Extração dos
vértices do losango
Movimentação do Humanóide




Controlado por Infra-vermelho
Técnica Heurística (restrições de
movimento: frente,trás,direita,esquerda)
Dado Ponto inicial e final gerar trajetória
A cada passo



Calcular ‘e’ (erro entre posição do robô e
referência) e α (ângulo entre a reta
definida pela posição atual do robo e a
posição referencia , e o eixo z do robo zR)
Se α > k, girar até que α ≈ 0
Se e > l, andar para frente
Movimentação da Câmera



Depende da movimentação do humanóide
Captação de uma boa imagem do humanóide
A cada passo
 Comandada para uma posição que esteja
a um distancia d do humanóide e de forma
que a câmera aponte em sua direção
 Caso o eixo x do humanóide (xR) atinja um
ângulo θ crítico em relação ao eixo z da
câmera (zC), o humanóide e comandado
para parar, e a câmera é comandada para
uma posição que esteja a um distancia d
do humanóide e de forma que θ seja 90o
(posição PD)
Resultados

Calibração interna

Detecção dos pontos notáveis com Hough
Detecção das retas

Erro médio de 0,37 pixel
Resultados

Calibração externa
 Detecção dos pontos notáveis com o método proposto
Detecção das arestas


Erro médio de 1,5 pixel
Posição da câmera em relação ao humanóide:
[-3,3 -4,9 50,4]
Resultados

Movimentação do humanóide


Para a foto do slide anterior, supondo que a
posição referencia seja [-3 0 60], o humanóide
foi comandado para ir pra frente
Movimentação da câmera

Para a foto do slide anterior, supondo que a
distância que a câmera deve guardar para o
humanóide seja d = 40 cm e que o referencial do
mundo coincide com o referencial da câmera, a
câmera foi comandada para a posição
PD = [0 0 10,5]
Resultados

Movimentação da câmera
 Situação onde foi detectado o ângulo crítico:
Posição de ângulo crítico

Neste caso, a posição da câmera em relação ao humanóide foi
[-3,2 -3,4 20,6] e θ = 11,10. A câmera foi comandada para a
posição PD = [-11 0 -19]
Conclusões

Calibração interna:



Calibração externa:



Zhang: flexível, rápida e robusta
Hough: alta precisão
P4P: resposta em tempo constante (ideal para aplicações em
tempo real)
Detecção das arestas do losango: rápida, precisa e robusta
Controle de humanóide sem sensor interno em
situações onde está disponível um robô móvel com
câmera e sistema de localização preciso;
ESTIMAÇÃO DE POSE E MOVIMENTAÇÃO DE
UM ROBÔ HUMANÓIDE UTILIZANDO
IMAGENS DE UMA CÂMERA MÓVEL EXTERNA
Marcelo B. Nogueira
Bruno Xavier da Costa
Adelardo A. D. Medeiros
Pablo J. Alsina
Universidade Federal do Rio Grande do Norte
Departamento de Engenharia de Computação e Automação
UFRN-CT-DCA -- Campus Universitário -- 59072-970 Natal-RN Brazil