Realidade Aumentada

TÓPICOS DE INFORMÁTICA
AVANÇADA II
1
Realidade Aumentada
Prof. Mário Dantas
O QUE É REALIDADE AUMENTADA?

Uma combinação de uma cena
real visualizada por um usuário
e uma cena gerada por um
computador que aumenta a cena
com informações adicionais.
2
OUTRA DEFINIÇÃO

É um sistema que suplementa o mundo real com
objetos virtuais gerados por computador,
parecendo coexistir no mesmo espaço e
apresentando as seguintes propriedades:

combina objetos reais e virtuais no ambiente real;

executa interativamente em tempo real;

alinha objetos reais e virtuais entre si;

aplica-se a todos os sentidos, incluindo audição, tato e
força e cheiro (AZUMA, 2001).
3
OBJETIVO

É criar um sistema tal que o utilizador não
consiga distinguir o mundo real do
virtualmente aumentado.
4
EXEMPLO
5
REALIDADE AUMENTADA X REALIDADE
VIRTUAL

A realidade aumentada e a realidade virtual
(BIMBER, 2004) podem ser comparadas da
seguinte forma:

a realidade aumentada enriquece a cena do mundo
real com objetos virtuais, enquanto a realidade
virtual é totalmente gerada por computador;

no ambiente de realidade aumentada, o usuário
mantém o sentido de presença no mundo real,
enquanto que, na realidade virtual, a sensação visual
é controlada pelo sistema;

a realidade aumentada precisa de um mecanismo
para combinar o real e o virtual, enquanto que a
realidade virtual precisa de um mecanismo para
integrar o usuário ao mundo virtual.
6
CONTÍNUO DE REALIDADE
Realidade Mis turada
Ambie nte Re a l
Re a lida de Aume nta da
Virtua lida de Aume nta da
Re a lida de Virtua l
7
REALIDADE AUMENTADA X
“HOLLYWOOD MOVIES”
 Muitos
dos efeitos especiais recorrem à
composição de imagens reais e virtuais
 Mas:
Os efeitos especiais são aplicados quadro a
quadro sobre um “produto acabado”.
 O espectador não pode interagir com o filme.

Não
é Realidade Aumentada
8
UM SISTEMA TÍPICO


Tecnologias de Apresentação
 Simples monitor;
 HMD;
 Um Dispositivo de Captação de Imagem (DCI);

Um Sistema Gráfico para gerar objectos virtuais;

Um Sistema que misture os mundos.
Tecnologias de ratreiamento (Tracking)
 Sensores Magnéticos;
 Sensores Ópticos;
 Sistemas Gráficos;
 Sistemas Híbridos.
9
COMPONENTES DE UM SISTEMA TÍPICO
Mundo
Real
Realidade
Aumentada
Sistema de Seguimento
( Para alinhar a
Câmara Virtual
com a Câmara Real )
Imagem
Real
Imagem
Virtual
Objecto
Virtual
Câmara
Virtual
Sistema
Gráfico
10
TIPOS DE SISTEMAS DE REALIDADE
AUMENTADA

Os sistemas de realidade aumentada podem ser
classsificados conforme o tipo de display utilizado
(AZUMA, 2001):
 Sistema de visão ótica direta;
 Sistema de visão direta por vídeo;
 Sistema de visão por vídeo baseado em
monitor;
 Sistema de visão ótica por projeção.
11
SISTEMA DE VISÃO ÓTICA DIRETA

Sistema de visão ótica direta utiliza óculos ou
capacetes, com lentes que permitam o
recebimento direto da imagem real, ao mesmo
tempo em que permitam a projeção de imagens
virtuais devidamente ajustadas com a cena real.
12
SISTEMA DE VISÃO ÓTICA DIRETA
13
SISTEMA DE VISÃO ÓTICA DIRETA
14
SISTEMA DE VISÃO ÓTICA DIRETA
15
SISTEMA DE VISÃO ÓTICA DIRETA
16
SISTEMA DE VISÃO DIRETA POR VÍDEO


O sistema de visão direta por vídeo utiliza
capacetes com microcâmeras de vídeo acopladas.
A cena real, capturada pela microcâmera, é
misturada com os elementos virtuais gerados por
computador e apresentadas diretamente nos
olhos do usuário, através de pequenos monitores
montados no capacete.
17
SISTEMA DE VISÃO DIRETA POR VÍDEO
18
SISTEMA DE VISÃO POR VÍDEO BASEADO
EM MONITOR



O sistema de visão por vídeo baseado em monitor
utiliza uma webcam para capturar a cena real;
Depois de capturada, a cena real é misturada com
os objetos virtuais gerados por computador e
apresentada no monitor;
O ponto de vista do usuário normalmente é fixo e
depende do posicionamento da webcam.
19
SISTEMA DE VISÃO POR VÍDEO BASEADO
EM MONITOR
20
SISTEMA DE VISÃO POR VÍDEO BASEADO
EM MONITOR
21
SISTEMA DE VISÃO ÓTICA POR PROJEÇÃO


O sistema de visão ótica por projeção utiliza
superfícies do ambiente real, onde são projetadas
imagens dos objetos virtuais, cujo conjunto é
apresentado ao usuário que o visualiza sem a
necessidade de nenhum equipamento auxiliar;
Embora interessante, esse sistema é muito
restrito às condições do espaço real, em função da
necessidade de superfícies de projeção.
22
SISTEMA DE VISÃO ÓTICA POR PROJEÇÃO
23
TIPOS DE SISTEMAS DE REALIDADE
AUMENTADA



Os sistemas de visão direta são apropriados para
situações, onde a perda da imagem pode ser
perigosa, como é o caso de uma pessoa andando
pela rua, dirigindo um carro ou avião;
Para locais fechados, onde o usuário tem controle
da situação, o uso da visão por vídeo é adequada e
não oferece perigo, pois em caso de perda da
imagem, pode-se retirar o capacete com
segurança, se for o caso;
O sistema com visão por vídeo é mais barato e
mais fácil de ser ajustado.
24
ÓTICO VERSUS VÍDEO
Ótico
 prós


contras:


o mundo real é “realmente” observado em tempo real e
directamente pelo olho humano.
é mais difícil controlar os desfasamentos (tempo e espaço)
porque só o canal virtual é processado electronicamente.
conclusão:
aparentemente mais simples torna-se de utilização mais
limitada;
 tem sido abandonado em favor do Video.

25
ÓTICO VERSUS VÍDEO
Vídeo

Prós


contras:


Podemos compensar o alinhamento e a latência porque tanto o
mundo real (video) como o virtual são processados
electronicamente.
O mundo real observado está sempre atrasado em relação ao
mundo real de fato (pelo menos um quadro ou 30 ms).
conclusões:


Aparentemente mais complexo é mais controlável;
Tem ganho preponderância sobre o Ótico.
26
REALIDADE AUMENTADA - APLICAÇÕES
 Navegação
em espaços desconhecidos
 Uma simples “visão de Raios X”
 Manutenção e reparação
 Televisão
 Comércio
 Militar
 Projectos de Engenharia
 Robótica e Telerobótica
 Medicina
27
REALIDADE AUMENTADA
NAVEGAÇÃO EM ESPAÇOS DESCONHECIDOS
A
imagem virtual pode guiar um bombeiro
numa estrutura habitacional
desconhecida;
28
REALIDADE AUMENTADA
VISÃO DE RAIOS X

A imagem virtual permite ver:
 A temperatura dos canos;
 Ou os fios eléctricos;

O interior de uma parede;
29
APLICAÇÕES DE REALIDADE
AUMENTADA
SISTEMAS DE MANUTENÇÃO
Durante a manutenção duma
impressora Laser o utilizador
vê como remover tabuleiro de
alimentação de papel através
da imagem em “fio de arame”
gerada por computador.
Grupo de Steve Feirner Columbia University
KARMA- (Knowledge-based
Augmented Reality for Maintenance
Assistance)
30
http://www.cs.columbia.edu/graphics/projects/karma
APLICAÇÕES DE REALIDADE
AUMENTADA
COMÉRCIO
 Decoração

de Interiores
Superimposição de peças decorativas
virtuais nos interiores reais
 Vestuário

Experimentar vestidos virtuais e executar as
alterações nesses vestidos
 Institutos

de Beleza
Experimentar cortes de cabelo e executá-los
sobre o modelo virtual
31
REALIDADE AUMENTADA - MILITAR



Projeção de informação no cockpit de um avião.
Sobreposição de imagens virtuais dos alvos no
capacete do piloto.
Sobreposição de imagens virtuais (captadas por
satélite) do “inimigo” localizado fora do raio de
visão no capacete do soldado
32
SIMNET - sistema distribuído de simulação dos jogos da guerra
APLICAÇÕES DE REALIDADE AUMENTADA
ANOTAÇÃO E VISUALIZAÇÃO EM PROJECTOS DE ENGENHARIA
European ComputerIndustry Research
Centre (ECRC)
O utilizador
aponta para
determinada
localização e o
sistema de RA
mostra a
respectiva
legenda.
33
APLICAÇÕES DE REALIDADE AUMENTADA
ANOTAÇÃO E VISUALIZAÇÃO EM PROJECTOS DE ENGENHARIA
Em sistemas de
vigilância de
instalações a imagem
das camcorder é por
vezes indistinta. O seu
realce por wireframe
ajuda o operador
34
APLICAÇÕES DE REALIDADE
AUMENTADA
ROBÓTICA E TELEROBÓTICA


Um operador de telerobótica
usa uma imagem visual do
espaço de trabalho remoto
para conduzir o robô.
O aumento da imagem real
com o modelo virtual
(wireframe) facilita a
visualização da geometria 3d
remota.
35
APLICAÇÕES DE REALIDADE
AUMENTADA
ROBÓTICA E TELEROBÓTICA


O operador testa a
operação com a
imagem virtual.
E manda executar
apenas a sequência
de passos completa
para obtenção dos
resultados
desejados.
36
APLICAÇÕES DE REALIDADE
AUMENTADA
ROBÓTICA E TELEROBÓTICA
37
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projeto sobre Cirurgia Guiada por Imagem
Uma colaboração
entre o
Laboratório de IA
do MIT e o
Laboratório de
Planeamento
Cirúrgico
Feminino de
Brigham
38
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
39
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projecto sobre Cirurgia Guiada por Imagem

Objetivo:


Suportar cirurgia guiada por imagem
Vamos ver:

Construção de modelos tridimensionais

A sala de operações

Digitalização por laser

Alinhamento espacial

Visualização da Realidade Aumentada
40
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projecto sobre Cirurgia Guiada por Imagem
Construção de Modelos Tridimensionais
As estruturas anatómicas que
aparecem na RM ou na TC são
explicitamente extraídas ou
segmentadas antes de serem
aplicadas no alinhamento de
superficie para visualização 3D
41
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projecto sobre Cirurgia Guiada por Imagem
A sala de operações
Braço
Articulado
Video camera
calibrada por laser
SUN UltraSPARC
workstation
Digitalizador
Laser
Dispositivo de
seguimento
Controlador do
dispositivo de
seguimento
Hardware do
digitalizador lazer
42
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projecto sobre Cirurgia Guiada por Imagem
Digitalização por lazer
O modelo 3D obtido
a partir da RM é
alinhado com a
posição do paciente
na mesa de
operações
recorrendo a um
digitalizador laser
43
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projecto sobre Cirurgia Guiada por Imagem
Alinhamento espacial
O modelo 3D
obtido a partir da
RM é “projetado”
no cérebro do
paciente deitado
na sala de
operações
44
APLICAÇÕES DE REALIDADE
AUMENTADA
MEDICINA
Projecto sobre Cirurgia Guiada por Imagem
Visualização da realidade Aumentada
“Removendo a pele” do modelo tridimensional
obtido a partir da RM o cirurgião passa a dispor de
visão de raio X sobre a estrutura interna
relativamente à posição da câmera de video
45
APLICAÇÕES DE REALIDADE
AUMENTADA
NOTAS FINAIS


Várias das aplicações apresentadas dispõem, já
de sistemas comerciais em utilização.
As principais dificuldades atuais prendem-se
com:
 A precisão da sincronização espacial e
temporal da imagem virtual com a real.
 O seguimento do utilizador e de objetos que se
movam na cena real.
 Os objeto virtuais têm (muitas vezes) uma
aparência demasiado simplista
46
FERRAMENTAS

ARToolKit:
 Opera
através de técnicas de visão computacional,
processamento de imagens e programação;
é
um software livre implementando pelo Dr. Hirokazu Kato, na
Universidade de Washington.

ARToolKit Plus:
A
ARToolKitPlus [WAG08] é uma biblioteca baseada na
ARToolKit. Foi desenvolvida pela Graz University Technology e
fez parte do projeto Studierstube [SCH96].
47
FERRAMENTAS

ARTag:


É um sistema de detecção de marcadores baseado na
biblioteca ARToolKit, consiste em uma biblioteca de
padrões, que ao serem colocados em uma superfície
plana e visualizados por uma câmera de vídeo ou
webcam, podem ser precisamente rastreados.
Dart:

É um conjunto de ferramentas que provêem um
desenvolvimento rápido em Realidade Aumentada, e
foi desenvolvido pelo GVU Center no Georgia Institute
of Technology.
48
FERRAMENTAS

OSGART:

Facilita o desenvolvimento de aplicações de Realidade
Aumentada, ela combina as funções de detecção e
rastreamento de marcadores do ARToolKit com as
funções para construção de modelos virtuais da
biblioteca OpenSceneGraph.
49
HIPER-REALIDADE

hiper-realidade é a capacidade tecnológica de
combinar realidade virtual, realidade física,
inteligência artificial e inteligência humana,
integrando-as de forma natural para acesso do
usuário (TIFFIN, 2001);
50
REFERÊNCIAS
http://www.realidadeaumentada.com.br/
 http://www.realidadevirtual.com.br/

51