Plano de Pesquisa - PUC-Rio

Plano de Pesquisa
Programa de Doutorado
Departamento de Informática PUC-RIO
Candidato: Manuel Eduardo Loaiza Fernández
Orientador: Marcelo Gattass
Co-orientador: Alberto Raposo
Rastreamento Óptico do Movimento de Marcadores para
Interação em Ambientes 3D de Realidade Virtual
1. Introdução
A realidade virtual (Virtual Reality – RV), como área da computação, nos últimos
anos, vem evolucionando e incrementado seu campo de aplicação, devido, ao alto grau
interdisciplinar e a evolução das tecnologias e novos hardwares que apóiam as pesquisas
nesta área. É assim que, um conjunto de possíveis novas aplicações, geradas a partir
destas pesquisas, surgiram e vêm sendo aproveitadas na industria automobilística,
aeronáutica, no campo militar, na medicina, na pesquisa cientifica e em outras áreas de
âmbito comercial e acadêmico diversos.
É assim, que a Realidade Virtual vem trazendo ao uso do computador um novo
paradigma de interface com o usuário [Hancock 95]. Neste paradigma, o usuário não
estará mais em frente ao monitor ou a uma interface em 2D com a qual terá que interagir,
mas sim, se sentirá “dentro da aplicação” ou interagindo dentro de um ambiente virtual
3D onde se estará desenvolvendo a aplicação; até incluso interagindo dentro do ambiente
real onde são inseridos objetos virtuais com os quais, sem perder a noção de imersão,
deverá trabalhar em harmonia, ou seja, tanto com objetos reais e virtuais ao mesmo
tempo, isto forma parte de outras duas áreas relacionadas à Realidade Virtual: a
Realidade Aumentada e a Mixed Reality, nas quais este paradigma de interface também
está mudando a percepção do usuário.
Em todos os casos antes mencionados, a noção de misturar ao usuário, como um
ator imerso dentro do desenvolvimento de uma aplicação, tem criado várias definições do
que realmente busca a Realidade Virtual, dentro das quais, podemos agrupar algumas
[Jacobson 91, Burdea 94, Krueger 91] e defini-las como técnicas avançadas para realizar
imersão, navegação e interação num ambiente sintético tridimensional onde usando os
diferentes canais multisensorais, que o usuário possui, ou seja, a visão, o tato, a audição
e até os movimentos e a intensidade destes, serão formas de interação com esse ambiente
sintético. Estes canais permitem a emissão e até recepção de eventos, que o sistema deve
saber interpretar e reconstruir no mundo sintético (virtual), como resposta aos
movimentos e as ações naturais feitas pelo usuário, com as quais se cria um nexo entre o
que o ele quer expressar no mundo real e que visualiza no mundo virtual.
Então a partir do enunciado acima, podemos identificar 4 elementos chave em
uma experiência na VR [Sherman 03]:




Mundo Virtual ou o espaço imaginário, onde há uma coleção de objetos no
espaço, regras e relações que governam esses objetos.
Imersão, que é a sensação de estar dentro do ambiente virtual.
Resposta sensorial, ou seja ter resposta sensorial (visual, auditiva, pelo tato e até
olfativa) em contrapartida as ações feitas no mundo virtual.
Interatividade, que é a habilidade de interagir no mundo através de ações.
Para complementar o antes definido, deve-se ter em conta 4 tecnologias críticas
[Brooks 99] que devem estar presentes nas aplicações de Realidade Virtual para dar
apoio aos 4 elementos chaves antes definidos, estes são:




Os dispositivos de exibição e imersão para com o mundo virtual, não só no
aspecto visual senão também no auditivo, e até o tátil, são muito importantes
porque estão encarregados de fazer o bloqueio das impressões sensoriais que vêm
do mundo real e só permitir ao usuário a percepção dos que são gerados a partir
de nosso mundo virtual.
Os sistemas de renderização de gráficos da aplicação de RV devem gerar pelo
menos de 20- 30 fps (frames per second), isto para não perder a sensação de
tempo real e imersão que o usuário tem dentro do ambiente virtual.
O sistema de rastreamento, o qual não só permite constantemente identificar a
posição e orientação da cabeça de nosso usuário senão também permitir ampliar a
outras partes do corpo o rastreamento, como mãos e pés, e assim ampliar a
quantidade de eventos que o usuário possa gerar.
As construções de dados criadas para dar suporte e manter um alto nível de
realismo do cenário virtual desenhado, dando qualidade às imagens que
compõem uma cena virtual.
1.1 Dispositivos de Interação na Realidade Virtual
Dentro de todo este campo de elementos e tecnologias que compõem uma
aplicação de RV é importante ressaltar a participação dos dispositivos físicos que
permitem esse nexo entre o usuário e o mundo virtual onde ele interage. Estes elementos
físicos têm um papel muito importante porque são as primeiras tentativas de ajuda,
orientada aos usuários, para lidar com o este novo paradigma de interagir dentro de um
mundo virtual 3D.
Fazendo uma comparação, assim como o mouse ajuda a interpretar um conjunto
de eventos que o usuário tenta expressar em 2D e que deseja ver refletidos na tela do
computador, novos dispositivos terão que ser desenvolvidos para dar suporte aos usuários
de aplicações de RV, e poder expressar-se dentro do mundo 3D onde eles ficarão
imersos.
É assim que, uma ampla gama de dispositivos foi desenvolvida para tal fim, e
fazendo uma analise mais especifica entendemos que estes dispositivos estão dirigidos a
dar suporte direto a 3 dos 4 elementos chave presentes nas aplicações RV: Imersão,
Resposta sensorial e Interatividade.
Estes dispositivos variam em diversos aspectos, especialmente na tecnologia que
usam, e têm como principal objetivo dar um alto grado de imersão ao usuário. Por tanto
estes dispositivos atuam de duas formas:


Lendo os movimentos realizados pelo usuário (e pelas várias partes de seu corpo);
Impressionando seus sentidos a fim de simular sensações.
No que tange à leitura, temos duas categorias:


Leitura da posição de um ponto no corpo do usuário (rastreamento);
Leitura do ângulo de flexão ou rotação de um membro ou parte do corpo do
usuário.
A continuação descrevermos algumas das categorias onde são colocadas estes
dispositivos:
1. Dispositivos de Visão Estereoscópica ou Visão Espacial : Na visão
estereoscópica, cada olho registra uma imagem diferente e o cérebro usa o
pequeno deslocamento lateral destas imagens para medir a profundidade [Burdea
94, Richardson 95] . Exemplos:



Stereo Glasses ou Shutter Glasses.
Head Mounted Displays.
BOOMs - Binocular Omni-Orientation Monitor.
2. Dispositivos de Rastreamento : são chamados de "tracking devices", estes
dispositivos têm por objetivo principal determinar a posição ou a orientação de
uma parte do corpo do usuário. Existem 6 tipos básicos de rastreadores:






Mecânicos: são usados quando são necessária alta velocidade e precisão no
rastreamento.
Ultrassônicos: determinam uma posição pela emissão de um som que é
captado por um conjunto de receptores.
Magnéticos: usam conjuntos de bobinas para produzir campos magnéticos e
sensores para determinar o tamanho e a direção destes campos.
Por Extração De Imagens : A idéia destes rastreadores é colocar pequenas
luzes (led’s) nas partes do corpo que devem ser rastreadas e, com uma
câmera, filmar estas luzes
Ópticos: os rastreadores óticos são como uma inversão dos sistemas de
extração de imagens: algumas mini-câmeras são colocadas sobre a cabeça
do usuário e filmam o teto que é composto de uma matriz de leds estáticos.
Luvas Eletrônicas : as luvas eletrônicas buscam capturar os movimentos
das mãos (e dos dedos) e usá-los como forma de interação com o usuário.
3. Dispositivos Geradores de Som 3D : aqui se trabalha com o conceito de áudio
virtual definido por Currell no artigo "Virtual audio: new uses for 3-D sounds"
como de grande importância na Realidade Virtual para dar ao usuário a real
sensação de imersão[Burdea 94]. A adição de sons em qualquer processo de
exibição de imagens pretende ser de alguma forma interativa tornando a
experiência muito mais realista.
4. Dispositivos Geradores de Sensação de Tato e de Força : Também chamados
de haptic interfaces os sistemas que produzem sensação de tato (touch feedback)
ou de força (force feedback) são usados em ambientes de Realidade Virtual para
aumentar a sensação de imersão[Hirota 95].
1.2 Dispositivos de Rastreamento Óptico
Dentro da categorização anterior estão os dispositivos de rastreamento óptico e
por extração de imagens. Estes são utilizados para capturar os movimentos que um
usuário pode fazer com a cabeça ou com as mãos. Isto é conseguido a partir da captura e
reconstrução 3D de marcadores específicos situados na parte do corpo a ser rastreada.
Esta é a minha atual área de interesse no mestrado sobre a qual estou
desenvolvendo meu tema de dissertação o qual tem como objetivo principal à pesquisa e
desenvolvimento de um sistema de rastreamento óptico dos movimentos de um conjunto
de marcadores em seus 6DoF(Degree of Freedom) baseados na tecnologia óptica.
É a partir do conhecimento obtido nesta área de pesquisa que achei um amplo
campo de ação para o estudo, avaliação e desenvolvimento de novas aplicações para
Realidade Virtual que se baseiam no aproveitamento das vantagens que dão este tipo de
dispositivos de tecnologia óptica. Encontrei que este tipo de tecnologia tem suporte em
varias áreas de conhecimento as quais podem encaixar dentro de:
 Computação Gráfica .
 Visão Computacional.
 Processamento De Imagens .
 Interface Humano Computador.
 Realidade Virtual, Realidade Aumentada e Mixed Reality.
Este interesse pessoal nesta ampla gama de aplicações a ser explorada dentro da
Realidade Virtual, fazendo uso da tecnologia óptica, é o que me leva a candidatar ao
doutorado e continuar minha pesquisa nesta área.
2. Proposta
Estudar, avaliar e desenvolver novos mecanismos de suporte para a interação do
usuário com ambientes virtuais e aplicações baseadas nos elementos chave [Sherman 03]
definidos na Realidade Virtual e áreas afins como a Realidade Aumentada e Mixed
Reality utilizando as vantagens da tecnologia de rastreamento óptico como principal
ferramenta de detecção dos eventos que o usuário poderá gerar e esperará visualizar no
ambiente virtual onde estará imerso.
Dentro do meu estudo destes mecanismos e aplicações, não só estarei centrado nos
aspectos teóricos que são próprios da implementação, mas também à aspectos cognitivos
e abstratos que estão internamente enlaçados com os paradigmas da nova interface 3D
entre Humano – Computador. Esta interface se origina ao desenvolver este tipo de
mecanismo para ambientes de Realidade Virtual, e que no futuro nos servirá como um
ponto importante de avaliação final das reações e apreciações do usuário para com as
aplicações desenvolvidas neste paradigma de interação.
Este tema encontra-se em uma das linhas de pesquisa do laboratório TecGraf , e a
presente proposta será orientada pelo Prof. Marcelo Gattass, com a co-orientação do Prof.
Alberto Raposo.
O laboratório TecGraf tem trabalhado conjuntamente com a PETROBRAS na
pesquisa e desenvolvimento de projetos na área da VR, entre os projetos destaca-se o
AmbVirt (Ambientes Virtuais para o Desenvolvimento de Projetos Upstream &
Downstream), ViRAL ( Virtual Reality Abstraction Layer ). Um dos produtos deste
projeto é o Environ (Figura ), uma ferramenta para visualização foto-realista de
ambientes compostos por modelos tridimensionais complexos. Modelos reais de
plataformas e reservatórios da Petrobrás são visualizados com esta ferramenta.
Dentro do ViRAL, que é uma ferramenta desenhada para facilitar o
desenvolvimento de aplicações de RV, está englobado o desenvolvimento da aplicação
de teste do meu projeto de dissertação de mestrado, que é a criação do dispositivo de
rastreamento óptico em 6DoF, que no final dará o suporte a tarefas como rastreamento
dos movimentos da mão de um usuário, imitando um mouse 3D (Spaceball) como
dispositivo de interação dentro de uma aplicação de RV.
3. Metodologia
A metodologia para a presente proposta é a seguinte:













Levantamento de surveys sobre recentes técnicas de interação para RV e MR;
Investigar sobre as técnicas e tecnologias usadas dentro do campo dos
dispositivos de rastreamento óptico existentes na atualidade.
Implementar aplicações de teste para ver as vantagens e desvantagens das técnicas
e tecnologias investigadas sobre interação baseada em rastreamento óptico.
Avaliação do desempenho de dispositivos de interação com tecnologia diferente à
óptica (luvas, capacetes,...) .
Comparação de resultados de teste de precisão dos dispositivos testados e
recopilação das dificuldades na adaptação do usuário para com estes.
Investigar técnicas de computação gráfica para tarefas de manipulação e controle
espacial de objetos virtuais.
Analisar a influência de fatores externos, como as variações de intensidade
luminosa, resolução de captura que os dispositivos de hardware utilizados no
rastreamento óptico.
Analisar os componentes internos do hardware que utilizam os dispositivos de
rastreamento óptico.
Analisar erros na data de entrada e saída que são próprios dos componentes de
hardware que utilizam os dispositivos ópticos.
Investigar algoritmos que reduzem erros decorrentes da imprecisão própria do
hardware que utilizam os dispositivos de rastreamento e são utilizados como
dados de entrada.
Desenvolver protótipos (aplicações) para avaliar modelos de interação.
Investigar novas abordagens para interfaces espaciais, fazendo ênfase no
paradigma de interface 3D Humano – Computador.
Cursar disciplinas relacionadas nas áreas de Computação Gráfica e Interação
Homem-Máquina.
4. Cronograma
Ano
Primeiro Ano
Revisão
Bibliográfica
Atividades
Cursar Disciplinas
Segundo Ano
Terceiro Ano
Revisão
Bibliográfica
Monografias
Artigos
Quarto Ano
e
Elaboração da Tese
Monografias
Artigos
e Elaboração
Tese
da
Defesa da Tese
Desenvolvimento de Desenvolvimento
Aplicações
de Aplicações
Revisão Bibliográfica: Revisão dos diversos assuntos envolvidos com
interatividade em ambientes virtuais. Maior ênfase será dada à manipulação de objetos no
espaço, e o estudo dos dispositivos de rastreamento óptico.
Monografias e Artigos: Elaborar monografias e artigos sobre assuntos e
conclusões achadas a partir dos testes realizados sobre a interatividade em ambientes
virtuais.
Desenvolvimento de Aplicações: Desenvolver aplicações para o estudo de caso
sobre técnicas de interatividade, e avaliação de modelos de interação, baseados na
interpretação de eventos gerados a partir dos movimentos feitos pelo usuário, dentro do
espaço real, que os dispositivos de rastreamento ópticos capturam.
5. Referências
[Hancock 95]
[Burdea 94]
[Jacobson 91]
[Sherman 03 ]
[Brooks 99]
[Richardson 95]
[Hirota 95]
HANCOCK, D. - Viewpoint: Virtual Realityin Search of Middle
Ground, IEEE Spectrum, 32(1):68, Jan 1995.
BURDEA,G. & COIFFET,P. - Virtual RealityTechnology, John Wiley
& Sons, New York, NY, 1994.
JACOBSON, L. - Virtual Reality: A Status Report, AI Expert, pp. 2633, Aug. 1991. 60. KRUEGER, M.W. - Artificial Reality II, AddisonWesley, Reading, MA, 1991.
SHERMAN, W.; CRAIG, A. - Understanding Virtual Reality –
Interface, Application, and Design. Morgan Kaufmann Publishers ,
2003.
BROOKS, F.P - What’s Real about Virtual Reality? - IEEE Computer
Graphics and Applications, November/December, 16-27., 1999.
RICHARDSON, D.-A Mágica dos estereogramas no PC. Waite Group
Press - Axcel Books, 1995.
HIROTA, K. E HIROSE, MICHITAKA - Providing force feedback in
Virtual Environment - IEEE Computer Graphics and Application, Sep.
1995, p. 22