Anais WRVA2010
Anais WRVA2010
Anais WRVA2010
VII WORKSHOP DE REALIDADE
VIRTUAL E AUMENTADA
WRVA'2010
08 a 11 de Novembro de 2010
São Paulo SP Brasil
Faculdade de
Computação e Informática
ANAIS WRVA'2010
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA
São Paulo (SP), 08 a 11 de Novembro de 2010
COORDENADOR
Luciano Silva
Universidade Presbiteriana Mackenzie ‐ MACKENZIE
EDITADO POR
Luciano Silva
Universidade Presbiteriana Mackenzie ‐ MACKENZIE
ii
006.3 Workshop de Realidade Virtual e Aumentada; 7. : 2010 : São Paulo, SP.
W873 [Anais do] WRVA’2010 7 Workshop de Realidade Virtual e Aumentada, 08 a 11
de Novembro de 2010, São Paulo ‐ SP / Luciano Silva (org.). – São Paulo :
MackPesquisa, Mackenzie‐Faculdade de Computação e Informática : Sociedade
Brasileira de Computação 2010.
313p. + xx
Bibliografia
ISSN 1982‐1657
1. Realidade Virtual. 2. Realidade Aumentada. 3. Linguagens – Bibliotecas.
I. Silva, Luciano. II. Título.
iii
PROCEEDINGS WRVA'2010
VII WORKSHOP ON VIRTUAL AND AUGMENTED REALITY
São Paulo (SP), November 08‐11, 2010
CHAIR
Luciano Silva
Universidade Presbiteriana Mackenzie ‐ MACKENZIE
EDITED BY
Luciano Silva
Universidade Presbiteriana Mackenzie ‐ MACKENZIE
iv
WRVA'2010
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA
Realização:
Faculdade de
Computação e Informática
Apoio:
v
WRVA'2010
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA
Comitê Organizador
Luciano Silva (Chair) ‐ Mackenzie‐SP
Beatriz de Almeida Pacheco Fronterotta (Vice‐Chair) ‐ Mackenzie‐SP
Ismar Frango Silveira ‐ Mackenzie‐SP
Ilana de Almeida Souza ‐ Mackenzie‐SP
Maria Amelia Eliseo‐ Mackenzie‐SP
vi
WRVA'2010
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA
Comitê de Programa
Luciano Pereira Soares ‐ Chair ‐ PUC/RJ
José Remo Ferreira Brega ‐ Vice‐Chair ‐ UNESP/Bauru
Alberto Raposo ‐ PUC‐Rio
Alexandre Cardoso ‐ UFU
Anderson Maciel ‐ UFRGS
Antonio Carlos Sementille ‐ UNESP
Arthur Augusto Bastos Buccioli – UEMG
Asla Medeiros e Sá ‐ FGV
Beatriz de Almeida Pacheco ‐ MACKENZIE‐SP
Bianchi Serique Meiguinis – UFPA
Carlos Morimoto ‐ USP
Celso Kurashima ‐ UFABC
Claudio Kirner ‐ UNIFEI
Creto Vidal ‐ UFC
Cristina Vasconcelos ‐ UFF
Daniela Kutschat Hanns ‐ SENAC‐SP
Edgard Afonso Lamounier Júnior – UFU
Eduardo Albuquerque ‐ UFG
Eliane Raimann ‐ IFET/GO
Eunice Nunes ‐ UFMT
Ezequiel Roberto Zorzal ‐ IFET/SP
Fátima de Lourdes dos Santos Nunes – USP
Glauco Todesco ‐ Universidade de Sorocaba
Ildeberto Aparecido Rodello ‐ FEARP/USP
Joaquim Bento Cavalcante‐Neto ‐ UFC
José Barbosa Jr. ‐ UFU e IFET/GO
Jose Paiva ‐ UFU
Jucelino Araujo ‐ Iles/Ulbra
vii
Judith Kelner ‐ UFPE
Kenedy Lopes Nogueira ‐ UFU
Luciana Nedel ‐ UFRGS
Luciano Silva ‐ Mackenzie‐SP
Liliane Machado – UFPB
Luiz Fernando Braga Lopes – UFU
Manuel Loaiza ‐ PUC‐Rio
Marcelo de Paiva ‐ Faculdade Campo Limpo Paulista
Marcio Lobo Netto ‐ USP
Marcos Wagner Souza Ribeiro ‐ UFG ‐ Jataí
Mario Massakuni Kubo ‐ FATEB
Monica Oliveira ‐ UFU
Paulo Bressan ‐ Universidade Federal de Alfenas
Robson Siscoutto ‐ Universidade de Cuiabá
Romero Tori ‐ USP e Senac/SP
Rosa Maria Costa ‐ UERJ
Selan Rodrigues dos Santos ‐ UFRN
Veronica Teichrieb – UFPE
Wender Antônio da Silva ‐ UFRR
viii
WRVA'2010
VII WORKSHOP DE REALIDADE VIRTUAL E AUMENTADA
Revisores
Alberto Raposo PUC‐Rio
Alexandre Cardoso UFU
Anderson Maciel Universidade Federal do Rio Grande do Sul
Antonio Carlos Sementille Universidade Estadual Paulista ‐ UNESP
Arthur Augusto Bastos Universidade Federal de Uberlândia
Bucioli
Asla Medeiros e Sá Fundação Getúlio Vargas
Bianchi Meiguins Universidade Federal do Pará
Carlos Morimoto USP
Celso Kurashima Universidade Federal do ABC
Claudio Kirner Universidade Federal de Itajubá ‐ UNIFEI
Creto Vidal Federal University of Ceará
Cristina Vasconcelos Universidade Federal Fluminense
Daniel Trindade Pontificia Universidade Católica
Daniela Kutschat Hanns CAS_SENAC SP/ FAUUSP
Edgard Lamounier UFU
Eduardo Albuquerque UFG
Eliane Raimann IFGoias ‐ Jataí
Eunice Nunes Universidade Federal de Mato Grosso
Ezequiel Roberto Zorzal Universidade Federal de São Paulo ‐ UNIFESP
Fatima Nunes EACH‐USP
Glauco Todesco Universidade de Sorocaba
Henrique Debarba Universidade de Caxias do Sul
Herbet Rodrigues Universidade Federal da Paraíba
Ildeberto Rodello FEARP ‐ USP
Jerônimo Grandi Universidade de Caxias do Sul
Joaquim Bento Cavalcante‐ Universidade Federal do Ceará
Neto
Jose Remo F. Brega UNESP ‐ Bauru
Jose Paiva Universidade Federal de Uberlandia
Jucelio C. Araujo Iles‐Ulbra
ix
Judith Kelner CIn ‐ UFPE
Kenedy Nogueira Universidade Federal de Uberlândia
Leonardo Fischer Universidade Federal do Rio Grande do Sul
Liliane Machado Universidade Federal da Paraíba
Lucas Teixeira PUC‐Rio
Luciana Nedel UFRGS
Luciano Silva Universidade Presbiteriana Mackenzie
Luciano Soares PUC‐Rio ‐ Pontifícia Universidade Católica do
Rio de Janeiro
Luiz Fernando Braga Lopes UFU
Manuel Loaiza Tecgraf ‐ Depto. de Informática, PUC‐Rio
Marcelo de Paiva Instituto Fed. de São Paulo/Faculdade Campo
Guimarães Limpo Paulista
Marcio Netto EPUSP
Marcos Wagner Souza
Ribeiro Universidade Federal de Goiás ‐ Campus Jataí
Marcus Alencar PUC
Marilena Maule UFRGS
Mario Kubo FATEP
Monica Oliveira UFU
Paulo Bressan Universidade Federal de Alfenas
Robson Siscoutto Universidade de Cuiabá
Romero Tori Centro Universitário Senac / Universidade de
Sao Paulo
Rosa Maria Costa Universidade do Estado do Rio de Janeiro
Selan dos Santos Universidade Federal do Rio Grande do Norte
Thaise Costa UFPB
Veronica Teichrieb Centro de Informática ‐ UFPE
Wender Silva Universidade Federal de Roraima
x
SUMÁRIO
Mensagem ‐ Presidente da CERV ................................................................... 1
Mensagem ‐ Comitê Organizador ................................................................... 2
Mensagem ‐ Comitê de Programa ................................................................... 3
Mini‐cursos ............................................................................................................ 4
Palestras ............................................................................................................ 5
TRABALHOS COMPLETOS/FULL PAPERS
Jogos em Realidade Virtual e Aumentada
Chair: Ilana de Almeida Souza
Uma Arquitetura para Integração de Sistemas Hápticos e Engines de Jogos ........................... 8
Herbet Rodrigues, Liliane Machado, Universidade Federal da Paraíba, Brasil.
Análise de um Sistema de Interação Tangível 3D para Jogos com Realidade Aumentada ...... 14
Daniel Tokunaga, University of São Paulo, Brasil
Silvio Sanches, Escola Politécnica da Universidade de São Paulo, Brasil
Fernando Tsuda, Escola Politécnica da USP, Brasil
Ricardo Nakamura, POLI‐USP, Brasil
Romero Tori, Centro Universitário Senac / Universidade de Sao Paulo, Brasil.
Livro Interativo de Xadrez Potencializado com Realidade Aumentada .................................... 20
Raryel Souza, Universidade Federal de Itajubá (UNIFEI), Brasil
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil.
Desenvolvimento de um Jogo Tridimensional com Realidade Aumentada ............................. 26
Kleber Silva, UNIFEI, Brasil,
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil.
xi
Aplicações em Engenharia Elétrica
Chair: Ismar Frango Silveira
Realidade Aumentada para Auxiliar o Aprendizado de Motor Elétrico ................................. 32
Roberto Costa Junior, Roberto Claudino da Silva, Christopher Cerqueira, Universidade
Federal de Itajubá, Brasil
Antonio Almeida, UNIFEI, Brasil.
Ferramenta de Auxilio ao Aprendizado de Motores com o Uso de Realidade Virtual ............ 37
Wedson Gomes, Universidade Federal de Uberlândia, Brasil
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil.
Uso de Realidade Aumentada na melhoria do processo de ensino‐aprendizagem ............... 42
de motores elétricos
Fábio Henrique Monteiro Oliveira, Universidade Federal de Uberlândia, Brasil
Eliane Raimann, IFGoias ‐ Jataí, Brasil
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil.
Museu 3I: Publicação e Visitação Online de Acervos Tridimensionais .................................... 60
Eduardo Lucena Falcão, UFPB, Brasil
Liliane Machado, Universidade Federal da Paraíba, Brasil.
X3D e Integração Multimídia para Representação de um Sítio Arqueológico ........................ 66
Daniel Pires de S∙ Medeiros, UFPB, Brasil.
Liliane Machado, Universidade Federal da Paraíba, Brasil.
xii
Técnicas de Interação
Chair: José Remo Ferreira Brega
Reconhecimento de Gestos com Segmentação de Imagens Dinâmicas
Aplicadas a Libras ...................................................................................................................... 78
Adilson Pavan, Fábio Caravieri Modesto, Anhanguera Educacional, Brasil.
Controle de Navegação em Ambientes Virtuais 3D através do Rastreamento de Objetos ..... 84
Matheus Gadelha, Selan dos Santos, Universidade Federal do Rio Grande do Norte, Brasil.
Melhorando o desempenho do rastreamento de pontos de interesse em imagens
através do paralelismo em GPU ................................................................................................ 90
Crystian Leão, Universidade Federal de Pernambuco, Brasil
Joãoo Marcelo Teixeira, CIn ‐ UFPE, Brasil
Eduardo Albuquerque, UFG, Brasil
Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil
Judith Kelner, CIn ‐ UFPE, Brasil.
Metodologia de geração de dados de referência para rastreamentos ópticos ..................... 96
Lucas Teixeira, PUC‐Rio, Brasil
Manuel Loaiza, Tecgraf ‐ Depto. de Informática, PUC‐Rio, Peru
Alberto Raposo, Marcelo Gattass, PUC‐Rio, Brasil.
Fatores Humanos
Chair: Fátima Nunes
Estudo Comparativo sobre a Percepção de Pistas Sonoras em Ambientes Virtuais ............. 103
Alyson Souza, Selan dos Santos, Universidade Federal do Rio Grande do Norte, Brasil.
Conceitos de Presença ........................................................................................................... 109
Fernando Obana, Universidade do Estado de Mato Grosso, Brasil
Romero Tori, Centro Universitário Senac / Universidade de São Paulo, Brasil.
Realidade Aumentada e Publicidade: Até onde pode ir essa relação ? ............................... 113
Antonio Lutfi, Alberto Raposo, PUC‐Rio, Brasil.
xiii
Visualização
Chair: Claudio Kirner
Evaluating the CapCam: a device for thermal inspection of electrical equipment ............. 120
Eduardo Souza, UFPE, Brasil
Luis Arthur Vasconcelos, Universidade Federal de Pernambuco, Brasil
João Marcelo Teixeira, CIn ‐ UFPE, Brasil
Eduardo Albuquerque, UFG, Brasil
Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil
Judith Kelner, CIn ‐ UFPE, Brasil.
Java 3D para Sistemas de Multiprojeção utilizando Aglomerados Gráficos ...................... 126
Diego Colombo Dias, Universidade Estadual Paulista, Brasil
Anthony Ferreira La marca, Universidade Paulista, Brasil
Mario Popolin, UNESP, Brasil
Jose Brega, UNESP ‐ Bauru, Brasil
Marcelo de Paiva Guimarães, Instituto Federal de São Paulo/Faculdade Campo Limpo
Paulista, Brasil
José Roberto Pereira Lauris, USP, Brasil.
Uma plataforma para visualização estereoscópica horizontal ............................................ 132
Bruno Madeira, Instituto Nacional de Matemática Pura e Aplicada, Brasil
Luiz Velho, IMPA, Brasil.
Aplicações em Realidade Virtual e Aumentada
Chair: Liliane Machado
Desafios e Oportunidades da Engenharia Cognitiva na Concepção de Sistemas
de Realidade Virtual e Aumentada ....................................................................................... 137
Eunice Nunes, Universidade Federal de Mato Grosso, Brasil
Lucia Vilela Leite Filgueiras, Universidade de São Paulo, Brasil
Fatima Nunes, EACH‐USP, Brasil
Romero Tori, Centro Universitário Senac / Universidade de Sao Paulo, Brasil.
Análise De Técnicas De Limiarização Adaptativa Para Realidade Aumentada
Embarcada .............................................................................................................................. 143
Bernardo Reis, João Marcelo Teixeira, CIn ‐ UFPE, Brasil
Eduardo Albuquerque, UFG, Brasil
Veronica Teichrieb, Centro de Informática ‐ UFPE, Brasil
Judith Kelner, CIn ‐ UFPE, Brasil.
xiv
Utilização de Realidade Aumentada num Mapa em Suporte de Papel para
a Gestão de Crises .................................................................................................................... 148
Luis Ponciano, Instituto Universitario de Lisboa, Portugal
Miguel Dias, Microsoft, Portugal.
PROVAR: Interface com Realidade Aumentada para Comércio Eletrônico ............................ 155
Hipólito Douglas Moreira, Universidade Federal de Itajubá, Brasil
Tereza Kirner, UNIFEI, Brasil
Claudio Kirner, Universidade Federal de Itajubá ‐ UNIFEI, Brasil.
Realidade Aumentada na Educação
Chair: Luciana Nedel
Usando a Realidade Aumentada no Desenvolvimento de Software
Educacional para Aprendizagem de Datilologia ..................................................................... 162
Cleberson Forte, Faculdade Anhanguera de Piracicaba / FATEC Americana, Brasil, Renan
Andrade, Roosevelt Guedes, Marco Cavallari, Faculdade Anhanguera de Piracicaba, Brasil.
Aplicações de Realidade Aumentada para Ensino de Física no Instituto Federal
de Educação, Ciência e Tecnologia de Goiás Campus Jataí ..................................................... 166
Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás,
Brasil, Vanessa Xavier de Camargo, Federal University of Goias, Brasil, Eliane Raimann,
Instituto Federal de Goiás ‐ Jataí, Brasil, Italo Tiago da Cunha, Universidade Federal de
Goiás, Brasil, Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí,
Brasil.
SELTRA ‐ Learning Traffic Laws by using Augmented Reality ................................................. 172
Edison Jesus, Isabela Drummond, Universidade Federal de Itajubá, Brasil.
Uso de Realidade Aumentada e Reconhecimento de Voz Como Ferramenta
de Apoio ao Aprendizado Para Pessoas com Dislexia ........................................................... 178
Emilia Alves Nogueira, Universidade Federal de Goias, Brasil
Bruno Rocha, Rafael Tomaz Parreira, Universidade Federal de Goiás, Brasil, Thamer
Horbylon Nascimento, Universidade Federal de Goiás, Brasil Vanessa Xavier de Camargo,
Federal University of Goias, Brasil, Laurence Amaral, Universidade Federal de Goiás, Brasil,
Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil
Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of Goiás,
Brasil.
xv
Colaboração
Chair: Judith Kelner
Um Estudo sobre Manipulação Cooperativa em Ambientes Virtuais Colaborativos ........... 185
Paulo Paiva, Instituto Federal de Educação, Ciência e Tecnologia da Paraíba (IFPB), Brasil
Liliane Machado, Universidade Federal da Paraíba, Brasil.
Ambiente Virtual Colaborativo para Auxílio no Processo de
Ensino‐Aprendizagem em disciplinas de Algoritmo e Programação de Computadores ....... 191
Luciana Berretta, Fabrizzio Soares, Márcio Cunha Fernandes, Universidade Federal de
Goiás, Brasil
Eliane Raimann, Instituto Federal de Goiás ‐ Jataí, Brasil
Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil
On Interoperability Between Online Virtual Worlds And Augmented Reality..................... 196
Rui de Almeida, ISCTE ‐ IUL Lisboa, Portugal
Miguel Dias, Microsoft, Portugal.
Realidade Virtual na Educação
Chair: Edgard Lamounier
Uso de Realidade Virtual e Aumentada como Ferramenta Complementar
ao Ensino das Principais Ligações entre Átomos.................................................................. 203
Dionata Araújo, Instituto Luterano de Ensino Superior ‐ ULBRA, Brasil
Nayara Vieira, ULBRA/Itumbiara, Brasil.
Simulador para Treinamento de Operadores de Colheitadeira Axial de Grãos .................... 209
Tales Bogoni, PUCRS, Brasil
Benevid Felix da Silva, Giovane Maia do Vale, Ivan Luiz Pedroso Pires, Everton Valdomiro
Pedroso Brum, UNEMAT, Brasil
Marcio Pinho, Pontifícia Universidade Católica do Rio Grande do Sul, Brasil.
Sistema de Ensino de Física Óptica Geométrica da Reflexão em Espelhos
Usando Realidade Virtual ....................................................................................................... 214
Rafael Tomaz Parreira, Universidade Federal de Goiás, Brasil
Vanessa Xavier de Camargo, Federal University of Goiás, Brasil
Bruno Rocha, Universidade Federal de Goiás, Brasil
Emilia Alves Nogueira, Universidade Federal de Goias, Brasil
Thamer Horbylon Nascimento, Universidade Federal de Goiás, Brasil
Marcelo Freitas, Universidade Federal de Goiás, Brasil
Marcos Wagner Souza Ribeiro, Universidade Federal de Goiás ‐ Campus Jataí, Brasil
Clarissa Xavier de Camargo, Federal Institute of Education, Science and Technology of
Goiás, Brasil.
xvi
Aplicações Médicas
Chair: Rosa Maria Costa
Web‐based Augmented Reality applied to upper limb simulation ........................................ 219
Jean Maurice G. Gagnepain, Kenedy Nogueira, Universidade Federal de Uberlândia, Brasil
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil.
Visualização do Tratamento Ortodôntico Utilizando Realidade Virtual e Realidade
Aumentada ............................................................................................................................... 224
Daniela Uebele, Universidade Santa Cecília, Brasil
Giuliano Moraes, FATEC de Praia Grande, Brasil
Alexandre Cardoso, Edgard Lamounier, UFU, Brasil.
Utilização de redes neurais para a classificação de sinais EMG aplicados no
controle de próteses virtuais de mão ..................................................................................... 230
Fernando Mattioli, Daniel Stefany Duarte Caetano, Wedson Gomes
Edgard Lamounier, Alexandre Cardoso, UFU, Brasil.
Produção de um laboratório virtual para treinamento na utilização de
equipamento para captação de sinal biomédico .................................................................... 236
Marcel Nagm, Universidade Federal de Roraima, Brasil
Fabio Parreira, Universidade Federal de Uberlândia, Brasil
Wender Silva, Luciano Ferreira Silva, Universidade Federal de Roraima, Brasil.
Desenvolvimento
Chair: Miguel Dias
Modificações geométricas aplicadas a elementos reais em aplicações de RA ..................... 242
Crystian Leão, João Lima, Federal University of Pernambuco, Brasil
Veronica Teichrieb, Judith Kelne, Centro de Informática ‐ UFPE, Brasil
Eduardo Albuquerque, UFG, Brasil.
Aplicações baseadas em Grafo de Cena‐ uma abordagem estrutural para critérios
de teste .................................................................................................................................... 247
Adriano Bezerra, Marcio Delamaro, Universidade de São Paulo, Brasil
Fatima Nunes, EACH‐USP, Brasil.
Reconstrução de Superfícies a Partir de Pontos não‐organizados ........................................ 253
Caio Santiago, Helton Biscaro, Universidade de São Paulo, Brasil
A platform for of Spatial Augmented Reality .......................................................................... 259
Julio Lucio, VISGRAF, Luiz Velho, IMPA, Brasil.
xvii
PÔSTERES
Dispositivos Hápticos: Tendências No Desenvolvimento E Limitações De Uso
Para Suporte A Ambientes Autênticos De Aprendizagem ................................................... 265
Wilson M. Silva, UFPE, Brasil.
Interface De Realidade Virtual Para Gerenciamento E Monitoramento De Redes ............... 267
Affonso Moia Vieira, Ingrid Aigner Ostroski, Renan Bergamin Stuchi, Bruno Monteiro Dos
Santos, Flávio Yukio Nakabayashi, Raphael Zanguettin Parra, Yuri Costa Da Mata, José
Ferreira Remo Brega, UNESP, Brasil.
Métodos E Ferramentas Para O Desenvolvimento De Cenários De Um Sistema De
Treinamento De Pilotos De Helicóptero ................................................................................ 269
Mairlo Hideyoshi Guibo Carneiro Da Luz, Alexandre Carlos Brandão Ramos, Edison Oliveira
De Jesus, Felix Mora Camiño, Universidade Federal De Itajubá, Brasil.
Uso Da Realidade Aumentada Como Ferramenta Auxiliar Ao Vídeo Educacional No Ensino
Presencial E À Distância ............................................................................................................271
Eduardo Luis Schneider, André Grassi, Leonardo Piccoli, Daiana Vivan, Maria Isabel Timm,
UFRGS, Brasil.
Modelagem De Objetos Para Ambientes Virtuais Exteriores ................................................ 273
Andson Felipe Pontes Belo, Thaíse Kelly De Lima Costa, UFPE, Brasil.
Proposta De Um Sistema De Realidade Aumentada Para Auxiliar No Tratamento Da Doença
De Alzheimer ............................................................................................................................ 275
Keynes M. Kanno, Fábio H. M. Oliveira, Edgard A. Lamounier Jr., Alexandre Cardoso, Ederaldo J.
Lopes, Universidade Federal De Uberlândia, Brasil.
Implementação Em Java De Uma Estrutura De Dados Para A Representação De Malhas
Elásticas Em Modelos Com Geometrias Complexas ............................................................... 277
Mariana Porlan Navarro, Helton Hideraldo Bíscaro, Fátima. L. S. Nunes, EACH‐USP, Brasil.
Visualização De Estruturas Hierárquicas Por Meio De Técnicas De Realidade Virtual .......... 279
Daniel S. D. Caetano, Fernando E. R. Mattioli, Lucas P. Vasconcelos, Keynes M. Kanno, Lázaro V.
O. Lima, Alexandre Cardoso, Edgard A. Lamounier Jr., Universidade Federal De Uberlândia,
Brasil.
Low Cost Equipment For First Person Augmented Reality Systems ...................................... 281
Christopher Shneider Cerqueira, Universidade Federal De Itajubá, Brasil.
xviii
A Realidade Virtual Como Instrumento De Estudo De Concepções Espontâneas
Em Dinâmica ............................................................................................................................. 283
Leandro Rezende Franco, Ruberley Rodrigues De Souza, Eliane Raimann, IFG, Campus
Jataí, Brasil.
A Utilização De Um Ambiente De Realidade Aumentada No Ensino Fundamental E Médio E A
Difusão Da Robótica Móvel – Acesso Pela Web ..................................................................... 285
Fábio Akira Nazima, Marcelo De Souza Augusto Zanetti, Antônio Carlos Sementille,
Humberto
Ferasolli Filho, João Fernando Marar, UNESP, Brasil.
Proposta De Arquitetura De Uma Ferramenta De Desenvolvimento De Software De Realidade
Virtual Multi‐Participativo Utilizando Dispositivos Móveis Como
Ferramenta De Interação ......................................................................................................... 287
Alexandre Carvalho Silva, Ligia Christine Oliveira Sousa, Marcos Wagner De Sousa Ribeiro,
Universidade Federal De Goiás, Brasil.
Alexandre Cardoso, Edgard Lamounier, Universidade Federal De Uberlândia, Brasil.
Entendendo E Padronizando Ambientes Para Videoconferência Em Ambiente De Realidade
Virtual ....................................................................................................................................... 289
Rainier A. F. Sales, PUC‐MG, Brasil.
Ambiente Inteligente Para Visualização De Plantas E Maquetes 3d Baseado Em Realidade
Virtual Utilizando OpenGL ....................................................................................................... 291
Alexandre Cardoso, Bruno Souto Borges, Edgard Lamounier, Hulgo Leonardo Jacinto Andrade,
Marcos Wagner Souza Ribeiro, Pedro Moises, Roger Luz, Instituto Luterano De Ensino Superior
De Itumbiara, Brasil.
USO DA REALIDADE VIRTUAL COMO FERRAMENTA COMPLEMENTAR DE ENSINO DA
GEOGRAFIA ............................................................................................................................... 293
Bruno Souto Borges, Leisson Pereira Fonseca, Pedro Moises De Sousa, Roger Armandio Luz,
Vinícius Brás Feliciano, Instituto Luterano De Ensino Superior De ItumbiaraMarcos Wagner
Sousa Ribeiro, Universidade Federal De Goiás, Brasil.
Documentação Digital Do Patrimônio: Uma Implementação Virtual De Um Edifício Com Valor
Histórico ................................................................................................................................... 295
Maria Amelia Eliseo, Ismar Frango Silveira, Fabio Silva Lopes, Beatriz A. Pacheco
Fronterotta, Universidade Presbiteriana Mackenzie, Brasil.
Sistemas Supervisórios Virtuais ............................................................................................. 297
Kenedy Lopes Nogueira, Keila De Fátima C. Nogueira, Gerson Flavio Mendes De Lima,
Edgard A. Lamounier, Alexandre Cardoso, Universidade Federal De Uberlândia, Brasil.
xix
Panorama Atual Da Realidade Virtual E Aumentada No Brasil ........................................... 299
Luciana De Oliveira Berretta, Fabrizzio Alphonsus Alves De Melo Nunes Soares, Deborah
Silva Alves Fernandes, Universidade Federal De Goiás, Brasil.
Edgard Lamounier, Alexandre Cardoso E Marcos Wagner De Souza Ribeiro, Universidade
Federal De Uberlândia, Brasil.
Realidade Aumentada Interativa: Um Estudo De Caso Com O Ensino Do
Movimento Circular ................................................................................................................ 301
Vanessa Avelino Xavier De Camargo, Bruno Moraes Rocha, Clarissa Avelino Xavier De
Camargo, Emília Alves Nogueira, Rafael Tomaz Parreira, Thamer Horbylon Nascimento,
Marcos Wagner De Souza Ribeiro, Joslaine Cristina Jeske De Freitas, Universidade Federal
De Goiás, Campus Jataí, Brasil.
Uso Da Realidade Virtual Como Ferramenta Auxiliar No Ensino Das Três Leis De
Newton Da Física ...................................................................................................................... 303
Thamer Horbylon Nascimento, Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz
Parreira, Vanessa Avelino
Xavier De Camargo, Wanderley De Souza Alencar E Marcos Wagner De Souza Ribeiro,
Universidade Federal De Goiás,Campus Jataí, Brasil.
Realidade Virtual Como Apoio No Tratamento Da Siderodromofobia ................................ 305
Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier
De Camargo, Thamer Horbylon Nascimento, Fabrizzio Alphonsus Soares De Melo Nunes E
Marcos Wagner De Souza Ribeiro, Universidade Federal De Goiás, Campus Jataí, Brasil.
Desenvolvimento De Uma Arquitetura Para A Distribuição De Realidade Virtual
E Aumentada Aplicada Na Educação ....................................................................................... 307
Keila Nogueira, Kenedy Nogueira, Edgard A. Lamounier, Alexandre Cardoso, Universidade
Federal De Uberlândia, Brasil.
Uso De Realidade Virtual Como Ferramenta Complementar Ao Ensino
De Problemas Matemáticos ..................................................................................................... 309
Nayara Da Silva Vieira, Dionata Martins De Araújo, Instituto Luterano De Ensino Superior
De Itumbiara, Brasil.
Realidade Aumentada No Marketing: Merchandising De Produtos Eletrônicos Na Web ......311
Antônio S. Veloso, Carlos Alberto C. Ramos, Elizângela S. Moreno, Jullyandry Coutinho,
Pedro Ivo L. Souza, Jacquelaine A. Machado, Faculdade Atual Da Amazônia, Brasil.
Wender A. Silva, Universidade Federal De Roraima, Brasil.
xx
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
MENSAGEM DO PRESIDENTE DA CERV/SBC
É com imenso prazer que, em nome da Comissão Especial de Realidade Virtual da
Sociedade Brasileira de Computação (CERV/SBC), apresentamos nossas mais cordiais
boas vindas a todos participantes do Workshop de Realidade Virtual e Aumentada
(WRVA 2010)!
Este ano, o evento está em sua sétima edição e mostra de forma contundente o avanço
da área no território nacional, seja no mundo acadêmico ou no mundo empresarial. Este
avanço não seria concretizado sem o esforço dos profissionais de educação e pesquisa,
e seus respectivos aprendizes, presentes nos laboratórios de nossas universidades.
Mas, mesmo assim, sentimos que temos ainda um longo caminho a percorrer no
sentido de explorar os benefícios que esta tecnologia pode proporcionar aos seres
humanos. Dentre outras, esta é uma grande motivação para a realização deste encontro
científico: apresentar e discutir os desafios da área para os estudantes de uma
determinada região do país, a fim de identificar e capacitar os futuros profissionais a
conquistar estes desafios.
Portanto, gostaríamos de agradecer, profundamente, à Universidade Presbiteriana
Mackenzie, São Paulo‐SP, não somente pela calorosa acolhida nas salas e corredores de
sua instituição, mas também pelo suporte providenciado para a realização do workshop.
Especificamente, somos muito gratos aos seus professores Luciano Silva, Beatriz
Pacheco, Ismar Frango e demais colegas da Comissão Organizadora pelo grandioso
trabalho, seriedade e profissionalismo dedicados ao evento, que certamente garantiram
o sucesso do mesmo, confirmando assim o que alguém uma vez disse: “Que ninguém se
engane só se consegue a simplicidade através de muito trabalho”.
Igualmente, a CERV/SBC, reconhece e agradece ao trabalho da Comissão de Programa,
liderada pelo empenho dos professores Luciano Soares e José Remo Brega pela
constante preocupação em preservar a qualidade científica dos artigos a serem
apresentados. Sem dúvida, são ações como estas que alavancam os ideais de ensino e
pesquisa de Realidade Virtual e Realidade Aumentada em nosso país. E, certamente,
providencia uma posição de destaque dos trabalhos brasileiros no cenário internacional.
Finalmente, gostaríamos de deixar uma palavra para nossos estudantes. Aproveitem!
Este evento foi preparado com muito carinho para você.
Sucesso a todos!
Edgard Lamounier Jr.
Presidente CERV/SBC – Gestão 2010/2012
1
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
MENSAGEM DO COMITÊ ORGANIZADOR
As áreas de Realidade Virtual e Aumentada têm recebido, nos últimos anos, um incrível
impulso não só do ponto de vista teórico quanto tecnológico. Distribuições de
processamento e dados, novas formas de interação, bibliotecas e frameworks cada vez
mais complexos, ubiquidade e mobilidade são alguns dos desafios que pesquisadores e
estudantes enfrentam em salas de aulas e laboratórios. Assim, o incentivo à produção e
intercâmbio acadêmicos e industricias devem ser práticas constantes para avanços cada
vez maiores dessas áreas. Neste contexto, o Workshop de Realidade Virtual e
Aumentada, em sua sétima edição, vem cumprir uma parte muito significativa desta
tarefa: proporcionar interações acadêmicas e industriais nos âmbitos nacional e
internacional a alunos e pesquisadores, através de mini‐cursos, palestras e
apresentações de trabalhos completos e pôsteres.
A Universidade Presbiteriana Mackenzie, em particular a Faculdade de Computação e
Informática, tem o prazer de recebê‐los para quatro dias onde possamos aumentar a
nossa rede de interação acadêmica e industrial. O conjunto de atividades foi planejado
de tal forma a maximizar a acesso a todas as atividades do workshop e reflete um
trabalho conjunto de inúmeros colaboradores no Brasil e no exterior.
Deixamos, inicialmente, os nossos agradecimentos a CERV/SBC, nas pessoas dos
professores Claudio Kirner (ex‐presidente) e Edgard Lamounier Jr. (atual presidente),
pela confiança e apoio na condução deste evento. Ao comitê organizador da
Universidade Mackenzie (Ismar, Ilana, Maria Amélia) pelo excelente trabalho
desenvolvido. Ao comitê de programa, liderados pelo Luciano Soares e José Remo, pelo
exímio trabalho condução das chamadas e revisões. Nossos agradecimentos também se
estendem aos revisores, professores que ministrarão cursos, palestrantes e
pesquisadores e estudantes que acreditaram no evento e enviaram suas contribuições.
Agradecemos, também, ao Prof. Dr. Arnaldo Vallim, diretor da Faculdade de
Computação e Informática, por todo apoio recebido. Finalmente, agradecemos ao
Fundo MackPesquisa, que custeou integralmente o evento, abrindo‐nos diversos
caminhos internos para resolução de questões logísticas.
Luciano Silva – Chair do Comitê Organizador
Beatriz de Almeida Pacheco Fronterotta ‐ Vice‐Chair do Comitê Organizador
2
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
MENSAGEM DO COMITÊ DE PROGRAMA
Em sua sétima edição, o Workshop de Realidade Virtual e Aumentada vem se
mostrando um evento da área cada vez mais importante no cenário nacional. Desde que
a CERV/SBC (Comissão Especial de Realidade Virtual da Sociedade Brasileira de
Computação) optou pela união entre o Workshop de Realidade Aumentada (2004, 2005
e 2006) e o Workshop de Aplicações de Realidade Virtual (2005 e 2006), realizando o
Workshop de Realidade Virtual e Aumentada (2007, 2008 e 2009), percebemos que um
número crescente de pesquisadores vem participando e apresentando seus trabalhos.
Nesta edição, realizada na cidade de São Paulo, diversos pesquisadores dos mais
diversos cantos do Brasil e até do exterior estão presentes possibilitando a disseminação
e troca de conhecimentos, além de motivar muitos estudantes para esta área.
Este ano foram realizadas 71 submissões de artigos, apresentando trabalhos nas mais
diversas áreas da realidade virtual e aumentada, dos quais 44 foram selecionados para
artigos completos por apresentar um excelente nível de qualidade, assim tornando o
evento mais inclusivo. Devido ao elevado número de submissões, tivemos que expandir
o comitê de programa em quase o dobro para podermos realizar as revisões em tempo
hábil. Todos os artigos sofreram pelo menos 3 revisões, o que além de garantir uma
avaliação mais justa serviu como forma dos membros do comitê apontarem diversos
pontos que podem ser melhorados nos artigos e na pesquisa em si. Também foram
aceitos 24 pôsteres que serão apresentados durante a semana.
Gostaríamos de agradecer a todo o apoio da CERV/SBC representado pelo seu
presidente Edgard Lamounier, a Universidade Presbiteriana Mackenzie e comitê
organizador do WRVA2010, liderado pelo Luciano Silva, além de todo o comitê de
programa e revisores que fizeram um excelente trabalho.
Esperamos que VII Workshop de Realidade Virtual e Aumentada seja muito proveitoso
para todos os participantes e desejamos que os leitores consigam aproveitar o conteúdo
aqui presente e que lhes ajudem a compreender melhor o mundo da realidade virtual e
aumentada.
Luciano Pereira Soares – Chair do Comitê de Programa
José Remo Ferreira Brega ‐ Vice‐Chair do Comitê de Programa
3
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
MINI‐CURSOS
Mini‐Curso 1: Augmented Reality: Principles and Techniques
Miguel Sales Dias (Microsoft, Portugal)
In this mini course, we will address the principles and foundations of Augmented and
Mixed Reality and will provide an historical perspective of this area, illustrating with an
overview of the performed R&D, at the Computer Graphics and Multimedia Lab of
ADETTI, in Portugal. The course will then focus in the key enabling technologies for AR,
namely, presentation devices, tracking and HCI. Tracking will cover with some detail the
techniques behind video‐based marker and texture tracking. HCI will focus in tangible
augmented interfaces and gesture. The course will end with conclusions and open
issues.
Mini‐Curso 2: Desenvolvendo Aplicações de Realidade Aumentada para a Web
Cláudio Kirner (UNIFEI), Alexandre Cardoso (UFU), Edgard Lamounier (UFU), Fábio
Henrique (UFU), Pedro Cacique (UFU)
O lançamento do AS3 (ActionScript 3.0), juntamente com o ambiente de
desenvolvimento Flex 2.0 e o Flash player 9.0, pela Adobe em 2006, possibilitou a
evolução das aplicações RIA (Rich Internet Applications ‐ Aplicações Ricas para Internet).
O desenvolvimento dessas aplicações possibilitou a criação de diversas ferramentas de
apoio para a criação de aplicações de RV (Realidade Virtual) na Web, suportadas pelo
FlashPlayer. Como passo seguinte, a extensão destas tecnologias proveu condições de
desenvolvimento de soluções de Realidade Aumentada (RA) na Web, com a utilização
de webcam e marcadores (impressos em papel comum) e da tecnologia FLARToolkit. O
objetivo deste mini‐curso é apresentar tal tecnologia como ferramenta para
desenvolvimento de aplicações de RA para web e apresentar alguns conceitos básicos
da linguagem AS3, associado ao desenvolvimento com o FLARToolkit.
Mini‐Curso 3: RV e RA em Jogos ‐ Aplicações e Perspectivas
Fátima Nunes (USP), Liliane Machado (UFPB), Rosa Costa (UERJ)
O mini‐curso mostra os principais conceitos de RV e RA aplicados ao desenvolvimento
de jogos digitais, ambiente adequado para interações não‐convecionais via RV/RA. Além
disto, são apresentadas perpectivas e tendências de uso de RV/RA em jogos.
4
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
PALESTRAS
Palestra 1 : 2014K ‐ Captação e Transmissão de Alta Definição em 3D para a Copa do
Mundo de Futebol de 2014
Eunézio de Souza (Mackenzie), Jane de Almeida (Mackenzie) e Joaquim Pessoa Filho
(Mackenzie)
O objetivo do PROJETO 2014K é transmitir os jogos da Copa do Mundo de Futebol de
2014 no Brasil em resolução 4K/3D para cinemas de ultra‐definição através de redes
fotônicas. A transmissão deverá ocorrer dentro do Brasil e do Brasil para os cinco
continentes. Este é um projeto colaborativo e experimental de alta tecnologia e conta
com a participação de organizações voltadas à pesquisa e inovação tecnológica, assim
como do setor empresarial.
Palestra 2: Interação Em Jogos: Do Joystick À Realidade Virtual
Luciana Nedel (UFRGS)
A palestra traz um panorama histórico da interação em jogos digitais, passando desde
interações com mouse/joystick até mecanismos mais complexos de interação via RV.
Jogos digitais representam um ambiente muito propício para interação não‐
convencional e esquemas de RA/RV têm oferecido muitas contribuições a este contexto,
tanto acadêmicas quanto industriais.
Palestra 3: Realidade Virtual e Aumentada para uma Educação sem Distância
Romero Tori (USP/SENAC‐SP)
Desde o primeiro experimento de telepresença, realizado por Ivan Sutherland na década
de 1960, a redução de distância por meio da realidade virtual e, mais recentemente, da
realidade aumentada, vem se tornando cada vez mais viável e eficaz. No campo da
educação, em que proximidade é essencial, tanto entre aluno e professor, quanto entre
aluno e colegas e entre aluno e conteúdo, o emprego de recursos de RV e RA pode
contribuir para o aumento da sensação de presença e do engajamento do aluno, não
apenas em cursos a distância como também em atividades presenciais. Nesta palestra,
discutiremos os conceitos de presença, distância, interatividade e flow, mostrando
como podem ser trabalhados em atividades de aprendizagem, com a ajuda da RV e da
RA, para se chegar a uma “educação sem distância”.
5
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
TRABALHOS COMPLETOS
Full Papers
6
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 1
JOGOS EM REALIDADE VIRTUAL E
AUMENTADA
7
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
8
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
9
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
poucas as iniciativas voltadas para o uso de serious uma dinâmica física, bem como o acesso à informação
games com foco em treinamento e ensino com a utilizada pelos algoritmos de renderização de forças
utilização de sistemas hápticos. Dessa forma, torna-se para os dispositivos hápticos.
relevante o estudo e investigação em relação à
aplicabilidade dos sistemas hápticos como forma de 5. Proposta de Integração
interação em serious games.
A partir do estudo realizado e da necessidade de
4. Integração de Dispositivos Hápticos em desenvolver um serious game com interação háptica
Jogos para saúde com foco em treinamento e ensino é
proposto um conjunto de módulos e classes para a
Farias et al. [7] analisa que para a construção de um integração entre sistemas hápticos e uma engine de
jogo deve-se adotar um modelo de desenvolvimento jogos.
rápido e eficiente, devido à crescente rapidez com a Um jogo com retorno háptico deve considerar
qual novos jogos e tecnologias chegam no mercado. E quatro fatores para a sua implementação [2]. Esses
para alcançar este objetivo, foram criados os motores fatores são: a posição e orientação do jogador no
de jogos ou game engines. mundo virtual, a detecção de colisão do jogador com o
As game engines de jogos tem sido constantemente objeto virtual e a reação da colisão, que é transmitida
utilizadas por oferecerem gerenciamento do cenário, ao usuário através de dispositivos hápticos. A Figura 2
animação de personagens, iluminação, fluxo do código mostra como funciona a interação de um jogador com o
e suporte a diferentes plataformas [12]. Entretanto, ambiente virtual do jogo.
Farias et al. [7] e Machado et al. [12] explicam que um
problema existente na utilização destas engines é que o
desenvolvedor limita-se às mesmas formas de interação
convencionais como joysticks, não havendo um suporte
genérico a dispositivos com características diferentes
como os dispositivos hápticos, por exemplo.
Neste ponto, observa-se que para que ocorra a
comunicação entre uma engine e dispositivos hápticos
é necessário o uso de programas específicos ou APIs
(Application Programming Interface). Geralmente,
cada dispositivo possui um programa ou API própria
para sua programação.
Há alguns trabalhos sobre a integração de sistemas Figura 2. Esquema de interação de um jogo com
hápticos em motores de jogos. Nilsson e Aamisepp dispositivo háptico.
[16] explicam da importância de incorporar o háptico
em um motor 3D e um plug-in para a engine Crystal Portanto para o desenvolvimento de rotinas para
Space foi desenvolvido para demonstrar esta incorporação do toque em jogos é necessária à criação
integração. No entanto, os processos e detalhes sobre a de classes para a interação háptica, para as colisões
integração não foram bem exploradas por este projeto. físicas e para a visualização de todos os
Existem outros esforços [4] para combinar comportamentos resultantes destas colisões na cena
renderização gráfica e sistemas hápticos, mas estes não gráfica.
contêm características que são desejáveis para o
desenvolvimento de jogos, como mecanismos de 5.1 O Módulo Gráfico
inteligência artificial e controles de estados, por
exemplo. O módulo gráfico é responsável pela renderização
Outro componente importante no desenvolvimento da cena 3D visual e exibição da interface gráfica para o
de jogos com sistemas hápticos é o motor de física ou usuário.
physics engine, que simula a física para todos os A engine gráfica escolhida para o projeto foi a
objetos no ambiente virtual do jogo. Variáveis tais Irrlicht [9], uma engine 3D rápida, multiplataforma e
como massa, velocidade, inércia, fricção e forças que inclui recursos como sombreamento, z-buffering,
externas, contribuem para o realismo do jogo. Este iluminação dinâmica, carregadores de malha, sistemas
componente fornece detecção de colisões e resposta de partículas, texturização, entre outros. Esta engine é
entre objetos, permitindo que os jogadores percebam
10
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
responsável por exibir os objetos 3D na tela, bem como gráfica, inicialização do dispositivo háptico, geração
a interface gráfica do usuário. dos objetos e suas características físicas, como
também, o controle de posições, colisões e forças que
5.2 O Módulo Físico serão utilizados pela camada Lógica do jogo (camada
superior).
A engine de física escolhida para o jogo é a Newton
Game Dynamics [15], que é uma engine de física
simples com desenvolvimento em C/C++. Cada objeto
do mundo do jogo tem uma representação física e,
portanto, é capaz de exibir um comportamento físico
realista em tempo-real.
Este módulo será responsável pela identificação das
colisões ocorridas no ambiente. Estas colisões devem
ocorrer não apenas entre objetos gráficos, mas também
entre eles e objetos hápticos. Deste modo, o módulo
fornecerá as variáveis relacionadas ao ponto e
momento da colisão.
Neste projeto está sendo utilizado a dispositivo Figura 3. Arquitetura proposta em alto nível.
háptico PHANToM Omni da SensAble Technologies.
Este dispositivo foi selecionado por possuir as Para o jogo proposto [18] foi criado um conjunto de
características adequadas para simulações e jogos de classes. A classe Main inicializa a engine gráfica e
destreza manual. Para a utilização do PHANToM possui o loop principal do jogo. A classe
Omni, existe o pacote chamado OpenHaptics Toolkit GameManager adiciona todos os objetos que farão
[20] que oferece suporte ao dispositivo. parte da cena do jogo, como também suas posições. A
O OpenHaptics Toolkit é desenvolvida nos mesmos classe Object define todas as variáveis e métodos
moldes da API OpenGL, sendo familiar aos necessários para a interação dos objetos na cena. Já as
programadores gráficos e facilita a integração com as classes Physics e Haptics representam os módulos
aplicações OpenGL e engines existentes. A Físico e Háptico. A classe Player, uma das principais
OpenHaptics é composta de duas camadas: a API do classes do jogo, representa o dispositivo háptico na
dispositivo háptico (HDAPI) e a API da biblioteca cena do jogo. A Figura 4 mostra o Diagrama de Classes
háptica (HLAPI). A HDAPI fornece acesso de baixo em alto nível das classes criadas para esta integração.
nível ao dispositivo háptico. Já a HLAPI fornece
acesso de mais alto nível para a programação do
dispositivo, facilitando a atribuição das propriedades
hápticas. Ela permite significante reuso de código
existente no OpenGL e simplifica a sincronização dos
processos hápticos e gráficos. [20]. Embora a técnica
de renderização de força na cena gráfica pela HLAPI é
amplamente utilizada, apenas a HDAPI está sendo
usada no jogo devido à sua flexibilidade em produzir
vários efeitos de força e a sua independência com as
engines gráficas.
11
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A seguir será descrito com mais detalhes algumas retornar algumas informações sobre a colisão, como o
das principais funcionalidades que a classe Player ponto de contato, o vetor normal e a distância de
fornece para o restante da arquitetura. penetração de um objeto com o outro, no qual estas
informações são utilizadas para calcular o retorno de
5.5 A classe Player força resultante.
12
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
na sensação que o jogador irá sentir no dispositivo [7] Farias, T., Silva, D., Moura, G., Teixeira, J. M., Costa, L.
háptico durante o jogo. H., Dias, G. Teichrieb, V., Kelner, J., “Um Estudo de Caso
sobre a Construção e a Integração de Dispositivos Hápticos
com Aplicações Interativas”, Anais do Simpósio Brasileiro
6. Considerações Finais de Jogos de Computador e Entretenimento Digital
(SBGAMES 2006), Vol. 2006. Recife – PE, 2006.
Toque e interação física estão entre os aspectos
fundamentais em que o ser humano precisa para [8] Faust, M.; Yoo, Yong-Ho., “Haptic Feedback in
compreender o mundo e provocar mudanças nele [8]. Pervasive Games”, Pervasive Gaming Workshop at
Pervasive, Ireland, 2006.
Os sistemas hápticos permitem oferecer um conceito de
interação avançada para jogos, ampliando o grau de [9] Irrlicht Engine, http://irrlicht.sourceforge.net/. Acesso
realismo da aplicação. em agosto de 2010.
Neste artigo foi apresentado um estudo, o
planejamento e a definição de uma arquitetura para [10] Jones, M.G., Bokinsky, A., Tretter, T.; Negishi. A., “A
integrar sistemas hápticos e engines de jogos com o Comparison of Learning with Haptic and Visual Modalities”,
objetivo de permitir o desenvolvimento de um serious Haptics-e 3.6, 2005.
game voltado ao ensino e treinamento em saúde.
Atualmente o projeto se encontra na fase de [11] Jones, M. G., “Getting a "Feel" for Serious Games”, In
L.A. Annetta (Ed.), Serious educational games. Rotterdam,
implementação dos algoritmos de renderização de
The Netherlands: Sense Publishing, 2008, pp. 73-81.
retorno de forças para o dispositivo háptico. A
integração do dispositivo à engine já foi realizada de [12] Machado, L.S.; Moraes, R.M.; Nunes, F., “Serious
modo a permitir visualizar os movimentos do mesmo Games para Saúde e Treinamento Imersivo”, Book Chapter.
no ambiente do jogo. In: Abordagens Práticas de Realidade Virtual e Aumentada.
Porto Alegre: SBC, 2009, pp. 31-60.
7. Agradecimentos
[13] Michael, D., Chen, S., “Serious Games: Games That
Educate”, Train and Inform. Course Technology PTR, 2005.
Este projeto é financiado pelo CNPq através do
processo 133693/2009-0. [14] Morris, D., Neel, J., and Salisbury, K., “Haptic Battle
Pong: High-Degree-of-Freedom Haptics in a Multiplayer
8. Referências Gaming Environment”, Experimental Gameplay Workshop,
GDC, 2004.
[1] Andrews, S., “HaptiCast: A Physically Based 3D Game
with Haptic Feedback”, Emerging Input/Output in Games, [15] Newton Dynamics Game Engine.
Futureplay, Canada, 2006. http://www.newtondynamics.com/. Acesso em agosto de
2010.
[2] Basdogan, C., Srinivasan, M.A., “Haptic Rendering In
Virtual Environments”,Virtual Environments HandBook, Ed: [16] Nilsson, D., and Aamisepp, H., “Haptic Hardware
K.M. Stanney, Publisher: Lawrence Erlbaum Associates, Support in a 3D Game Engine”, Master thesis, Department of
2001, pp. 117-134. Computer Science, Lund University, May 2003.
[3] Burdea, G., Coiffet, P., “Virtual Reality Technology”, [17] Rankin, J.R., Sampayo S., “A Review of Serious Games
Wiley-Interscience, 2003. and Other Game Categories for Education”, SimTect 2008,
Melbourne, Australia, 2008, pp. 305-311.
[4] Conti F., Barbagli F., Morris D., Sewell C., “CHAI:An
Open-Source Library for the Rapid Development of Haptic [18] Rodrigues, H. F., Machado, L. S., Valença, A. M. G.,
Scenes”, Demo paper presented at IEEE World Haptics, Pisa, “Uma Proposta de Serious Game Aplicado à Educação em
Italy.March 2005. Saúde Bucal”, In: anais do Workshop de Realidade Virtual e
Aumentada, Santos, Brazil, CDROM, 2009.
[5] Corti, K., “Games-based Learning: A Serious Business
Application”. [19] SensAble Technologies Inc., http://www.sensable.com/.
http://www.pixelearning.com/docs/seriousgamesbusine Acesso em agosto de 2010.
ssapplications.pdf., 2006. Acesso em agosto de 2010.
[20] SensAble Technologies, Programmer’s Guide 3D Touch
[6] Chang, D., “Haptics: Gaming's New Sensation”, SDK OpenHaptics Toolkit. Versão 3.0, 2009.
Computer, Volume 35, Issue 8, 2002, pp. 84-86.
[21] Novint Technologies Inc., http://www.novint.com/.
Acesso em agosto de 2010.
13
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Daniel M. Tokunaga, Silvio R. R. Sanches, Fernando Tsuda, Ricardo Nakamura, Romero Tori
Interlab – Laboratório de Técnologias Interativas
Escola Politécnica da Universidade de São Paulo
14
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
3 Problemas
15
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5 Testes Realizados
16
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
17
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Diante da viabilidade técnica demonstrada pelos resulta- Figura 10. Efeitos de explosão.
dos dos testes, foi desenvolvido um protótipo, baseado no
jogo clássico “Asteroids1 ”, com o objetivo de integrar efeti-
O cubo deve permanecer visı́vel à câmera de vı́deo du-
vamente o sistema a um jogo eletrônico de RA (Figura 9).
rante todo tempo de execução do jogo. Caso contrário, a
No jogo, o usuário deve movimentar o cubo para provo-
nave permanece imóvel no ambiente e pode ser atingida
car colisões com os asteroides que possuem a mesma cor da
por asteroides. Movimentos de translação do cubo – em
nave (objeto virtual gerado sobre o cubo). Foram modela-
qualquer direção – provocam o deslocamento da nave pelo
dos dois tipos de “campos de força” para envolver a nave,
ambiente e movimentos de rotação disparam a ação de ca-
um esférico e outro em forma de cubo (para que houvesse
muflagem, que torna a nave vermelha (rotação sobre o eixo
correspondência direta com a forma do cubo real). A co-
Z, no sentido horário) ou azul (rotação sobre o eixo Z, no
lisão faz com que o jogador ganhe pontos e incremente sua
sentido anti-horário).
barra de sobrevivência. Por outro lado, a colisão com as-
teroides de cor diferente da nave faz com que a barra de A simplicidade da integração do sistema com o jogo
sobrevivência seja decrementada. mostrou a viabilidade de sua utilização em outros jogos,
embora o código fonte ainda não esteja organizado como
1 http://www.asteroidsgame.net um componente de software totalmente independente.
18
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
7 Conclusões e Trabalhos Futuros Augmented Reality Games, pages 228–246. Lapland Uni-
versity Press, Laplan, 2008.
No presente trabalho foi realizada uma análise de um [4] M. Billinghurst, H. Kato, and I. Poupyrev. Collaboration
with tangible augmented reality interfaces. In HCI Interna-
sistema baseado em visão computacional para ser utilizado
tional, pages 234–241, 2001.
como interface tangı́vel em jogos eletrônicos executados em [5] M. Fiala. Artag, a fiducial marker system using digital te-
ambientes de RA. Um protótipo também foi desenvolvido chniques. In CVPR ’05: Proceedings of the 2005 IEEE
para testes e aplicação prática. Computer Society Conference on Computer Vision and Pat-
O sistema permite aprimorar a estabilidade numérica das tern Recognition (CVPR’05) - Volume 2, pages 590–596,
estimativas de posição e orientação do cubo e, quando apli- Washington, DC, USA, 2005. IEEE Computer Society.
cado em jogos eletrônicos, possibilita interação, por meio [6] HIT Lab. Artoolkit. Disponı́vel em
de visão computacional. http://www.hitl.washington.edu/artoolkit/, 2010. Acessado
Os resultados obtidos mostraram que maior robustez no em jan. 2010.
processo de detecção é alcançada quando um número maior [7] H. G. Hoffman. Physically touching virtual objects using
tactile augmentation enhances the realism of virtual envi-
de marcas está presente na cena. Embora exista impacto no
ronments. In VRAIS ’98: Proceedings of the Virtual Reality
desempenho do sistema, existe um ganho na estabilidade da Annual International Symposium, page 59, Washington, DC,
posição e orientação em que os objetos virtuais – ou perso- USA, 1998. IEEE Computer Society.
nagens do jogo – são gerados (sempre sobrepostos ao cubo). [8] H. Ishii and B. Ullmer. Tangible bits: towards seamless in-
A partir dessa avaliação, a forma de manuseio do cubo pelo terfaces between people, bits and atoms. In CHI ’97: Proce-
jogador é um fator importante, sendo desejável que mais de edings of the SIGCHI conference on Human factors in com-
uma face do mesmo permaneça visı́vel a câmera de vı́deo. puting systems, pages 234–241, New York, NY, USA, 1997.
Pretende-se, como trabalhos futuros, realizar testes com ACM.
usuários e disponibilizar o sistema para que técnicas de [9] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and
interação possam ser estudadas a partir da solução desen- K. Tachibana. Virtual object manipulation on a table-top
ar environment. In Augmented Reality, 2000. (ISAR 2000).
volvida. Outros tipos de marcadores (por exemplo, um cubo
Proceedings. IEEE and ACM International Symposium on,
com faces coloridas) podem ser testados. A organização do pages 111–119, 2000.
código fonte como um componente de software indepen- [10] V. F. Pamplona, L. A. F. Fernandes, J. L. Prauchner, L. P.
dente também se faz necessária para facilitar sua integração Nedel, and M. M. Oliveira. The image–based data glove.
em outros jogos e demais aplicações que envolvam interfa- In SVR 2008: Proceedings of The X Sympoisum on Virtual
ces tangı́veis. and Augmented Reality, pages 204–211, Porto Alegre, RS,
Brasil, 2008. Sociedade Brasileira de Computação.
[11] T. Starner, B. Leibe, B. Singletary, and J. Pair. Mind-
Agradecimentos warping: towards creating a compelling collaborative aug-
mented reality game. In IUI ’00: Proceedings of the 5th
Os autores agradecem à CAPES, pelas bolsas de estudo international conference on Intelligent user interfaces, pa-
de Daniel M. Tokunaga e Silvio R. R. Sanches, e a FA- ges 256–259, New York, NY, USA, 2000. ACM.
PESP, pelo apoio financeiro. Esta pesquisa é parte do pro- [12] D. Wagner and I. Barakonyi. Augmented reality kanji le-
jeto TIDIA-Ae, financiado pela Fundação de Amparo à Pes- arning. In ISMAR ’03: Proceedings of the 2nd IEEE/ACM
quisa do Estado de São Paulo (Processo n◦ 2005/60618-1). International Symposium on Mixed and Augmented Reality,
page 335, Washington, DC, USA, 2003. IEEE Computer So-
ciety.
Referências [13] D. Wagner and D. Schmalstieg. Artoolkitplus for pose trac-
king on mobile devices. In Proceedings of 12th Computer
[1] D. Abawi, J. Bienwald, and R. Dorner. Accuracy in opti- Vision Winter Workshop (CVWW’07), pages 139–146, 2007.
cal tracking with fiducial markers: an accuracy function for [14] Z. Zhou, A. D. Cheok, T. Chan, and Y. Li. Jumanji singa-
artoolkit. In Mixed and Augmented Reality, 2004. ISMAR pore: an interactive 3d board game turning hollywood fan-
2004. Third IEEE and ACM International Symposium on, tasy into reality. In ACE ’04: Proceedings of the 2004 ACM
pages 260–261, Nov. 2004. SIGCHI International Conference on Advances in computer
[2] I. Barakonyi, M. Weilguny, T. Psik, and D. Schmalstieg. entertainment technology, pages 362–363, New York, NY,
Monkeybridge: autonomous agents in augmented reality ga- USA, 2004. ACM.
mes. In ACE ’05: Proceedings of the 2005 ACM SIGCHI
International Conference on Advances in computer enter-
tainment technology, pages 172–175, New York, NY, USA,
2005. ACM.
[3] J. L. Bernardes Jr, R. Tori, R. Nakamura, D. Calife, and
A. Tomoyose. Extending Experiences: Structure, analy-
sis and design of computer game player experience, chapter
19
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
20
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
semelhante, só que destinada a dispositivos móveis Foram encontrados alguns vídeos no YouTube [2,3]
[6]. de trabalhos aplicações de realidade aumentada que
O Distributed Augmented Chess [1] tem lidam especificamente com o jogo de xadrez. Neles
características semelhantes ao jogo de damas com foram colocadas funções que fazem o ajuste do
realidade aumentada, entretanto, envolvendo posicionamento das peças após a movimentação,
algoritmos bem mais complexos nas jogadas do detecção de captura de peça, detecção de movimentos
computador (devido aos vários tipos de movimentação ilegais, entre outros. Um deles fez uso de ARToolKit
das peças do xadrez e às regras em número bem maior [2].
do que o jogo de damas). Ele também detecta o
tabuleiro e as peças, obtendo assim os dados para que 3. Desenvolvimento do ambiente com
o computador faça sua jogada. A aplicação também realidade aumentada
inclui recursos colaborativos, permitindo assim que se
façam partidas via rede local ou internet. Ao contrário
do jogo de damas, o rastreamento óptico foi feito de
3.1. Ferramentas usadas
forma personalizada pelos próprios desenvolvedores:
A aplicação foi desenvolvida com o SACRA
eles não fizeram uso do ARToolKit.
Também se encontrou um trabalho sobre um jogo (Sistema de Autoria Colaborativa com Realidade
Aumentada) [8,9,10]. O SACRA foi desenvolvido
de damas chinesas [4] (indevidamente chamado por
muitos de xadrez chinês), mas que também foi com a intenção de facilitar que usuários leigos de
computação, que tinham muitas vezes dificuldades
desenvolvido em realidade aumentada. O interessante
é que se faz uso de várias câmeras para detecção dos para instalar e configurar o ARToolKit, pudessem usar
e desenvolver aplicações com realidade aumentada.
marcadores usados, de forma que problemas de
obstrução sejam solucionados. Uma inovação nesse Com o uso dessa ferramenta dispensa-se o uso de
programação: toda a aplicação é desenvolvida através
trabalho foi o uso de um controle remoto adaptado
para indicar que o usuário quer movimentar uma peça da edição de arquivos de texto que configuram os
objetos virtuais a serem colocados em cena. A
(ao invés do tradicional, que é deixar o marcador
parado numa posição por um certo intervalo de desvantagem disso é que surgem várias limitações na
criação da aplicação, como por exemplo, não ser
tempo). Nessa aplicação também é feita a detecção de
movimentos inválidos. possível fazer um teste se uma resposta foi dada
corretamente ou que uma movimentação ilegal no jogo
Outra aplicação encontrada é uma representação
moderna [13,14] do histórico autômato de xadrez de xadrez foi feita, se ocorreu um xeque, etc.
Os objetos virtuais e as animações foram
denominado “Chess Turk”, criado por volta de 1789.
Ele era um “autômato” mecânico, em tamanho real, de desenvolvidos usando o Vivaty Studio [15], uma
ferramenta que permite a modelagem visual dos
um turco que ficava sentado numa mesa e jogava
xadrez com as pessoas. No início da apresentação as objetos 3D. O uso dessa ferramenta acelera em muito
o desenvolvimento de animações se comparado com a
portas da mesa de xadrez eram abertas para mostrar o
mecanismo interno, mas ninguém podia ver o jogador modelagem textual em código VRML (Virtual Reality
Modeling Language).
de xadrez que ficava escondido dentro da mesa. Esse
jogador era quem controlava o turco (que não era
autômato coisa nenhuma) através de um mecanismo 3.2. Estruturação
mecânico complexo, permitindo grande precisão na
movimentação dos braços do mesmo. A implementação do SACRA foi feita de tal forma
A aplicação moderna em realidade aumentada que, a partir de uma lista circular de arquivos com
permite que o usuário não apenas conheça a história e código VRML, usando um marcador denominado
o mistério a respeito do autômato, mas também jogue controle, é possível alternar entre as cenas geradas
contra o Turco Virtual (que agora é um verdadeiro por cada arquivo.
autômato). Usam-se recursos pesados de rastreamento Para permitir que um áudio seja novamente
óptico, permitindo que o usuário dispense dispositivos executado após seu término é usado o marcador de
complexos de interação, basta usar suas próprias mãos inspeção. Ele praticamente desativa a cena, e após
e um touchpad para fazer as jogadas. O jogo mais uma interação com ele, a cena é ativada desde o
prossegue naturalmente até certo ponto, depois disso o início, o que resulta na repetição do som.
jogador humano perde o controle sobre a Dessa forma, basicamente, cada um dos módulos é
movimentação de suas peças e o jogo corre cada vez formado por um conjunto sequencial de cenas (geradas
mais rápido até que o Turco Virtual vença (a intenção por um ou mais arquivos VRML), podendo ser
dos desenvolvedores foi mostrar o perigo de algum dia alternados pelo uso do marcador de controle.
o homem perder o controle sobre a tecnologia). Resumidamente, pode-se dizer que o marcador de
controle permite o avanço em profundidade no módulo
21
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
enquanto que o de inspeção funciona como o “replay” das peças sobre os respectivos nomes (ver figura 3).
das cenas. Ao fim é apresentada a solução do exercício.
Na figura 1 apresenta-se uma captura de tela da
3.3. Módulos do LIXPRA cena inicial do módulo sendo usado, está sendo
aproximado o marcador de controle da esfera azul
O livro interativo de xadrez desenvolvido aborda escura para avançar para a próxima cena.
alguns dos aspectos básicos desse jogo: o nome das Na figura 2, a cena que aparece após a aproximação
peças, o posicionamento, a movimentação, a captura e do marcador de controle.
os xeques. Cada um desses temas é abordado em um
módulo diferente. Para auxiliar no entendimento,
usam-se animações 3D combinadas com explicações
em áudio sobre as regras do jogo.
Para auxiliar a navegação de usuários iniciantes no
ambiente de RA são apresentadas, em alguns casos,
instruções de como proceder (os marcadores usados,
onde colocá-los, etc). Em instruções muitos longas
optou-se por instruções sonoras, para as mais breves
usou-se recursos visuais, dessa forma permite-se que
algumas partes da aplicação possam ser usadas até
mesmo por pessoas com dificuldades visuais ou
auditivas. Figura 2 - Segunda cena 2 do módulo “Nomes
Os módulos são seis no total: Nomes das Peças, de Peças”
Posicionamento, Movimentação, Captura, Xeque e
Jogo. Devido as próprias características do SACRA
(herdadas do ARToolKit), para cada módulo é
utilizado um marcador de referência diferente.
Ao fim de alguns módulos há exercícios de fixação.
Neles, o usuário tem grande grau de liberdade para
interagir, podendo escolher a ordem em que vai fazer
o exercício, para onde movimentar os objetos virtuais,
entre outros. A interação com os objetos virtuais é
feita através de marcadores designados
especificamente para uma função (cópia, apagador,
transporte, entre outros).
22
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
23
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
24
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
animações não funcionaram de forma perfeitamente Augmented Reality. Petrópolis – RJ. 28 mai. 2007.
bem, ocorrendo desaparecimentos dos objetos em cena Disponível em:
por alguns segundos, mas nada de muito grave que <http://www.ckirner.com/download/livros/Realidade
afetasse o uso do LIXPRA. %20Virtual%20e%20Aumentada-2007.zip>. Acesso
Como contribuição do trabalho desenvolvido pode- em: 25 jul. 2010.
se citar a criação de uma ferramenta diferente para ser
[6] LUZ, Lucas Faria da. Jogo de Damas usando
usada no ensino de xadrez, dando ao aluno a
Realidade Aumentada. Disponível em:
possibilidade de estudar sozinho em sua casa (e
<http://www.fileden.com/files/2010/4/23/2837301/UL
fazendo exercícios) e ao instrutor de apresentar as
BRA-TCC2-lucas_luz.pdf>. Acesso em: 17 ago. 2010.
regras do jogo de uma forma mais clara, dinâmica e
interativa. [7] OLIVEIRA, Cléber Alexandre Soares de; CASTILHO,
Como trabalhos futuros pode-se citar a criação de José Eduardo. O Xadrez como Ferramenta Pedagógica
uma versão do ambiente de RA voltado para usuários Complementar na Educação Matemática. Disponível em:
mais experientes, com menos explicações em áudio. <http://www.matematica.ucb.br/sites/000/68/00000069.pdf>
Também planeja-se desenvolver a aplicação usando a . Acesso em: 15 out. 2010 .
biblioteca FLARToolKit, o que possibilitará a
superação das limitações encontradas com o SACRA, [8] SACRA HOMEPAGE. Disponível em:
a inclusão de recursos mais complexos e o uso de <http://www.ckirner.com/sacra>. Acesso em: 18 ago. 2010.
menos marcadores. A aplicação também poderá ser
usada sem a necessidade de instalar nenhum software [9] SANTIN, Rafael; KIRNER, Claudio. ARToolKit:
extra no computador, bastando ao usuário acessar uma Conceitos e Ferramenta de autoria
página na internet e possuir o plugin de Flash colaborativa. Disponível em:
<http://www.ckirner.com/sacra/ARTK-tutor-CK-final.pdf>.
instalado no navegador.
Acesso em: 19 ago. 2010.
[4] COOPER, Nicholas; KEATLEY, Aaron; DAHLQUIST, [13] Vienna University of Technology . The Virtual
Maria; MANN, Simon; SLAY, Hannah; ZUCCO, Joanne; Showcase: An innovative augmented reality display
SMITH, Ross; THOMAS, Bruce H. Augmented Reality system. Disponível em: <http://studierstube.icg.tu-
Chinese Checkers. Disponível em: graz.ac.at/virtualshowcase/>. Acesso em: 17 ago. 2010.
<http://citeseerx.ist.psu.edu/viewdoc/download?
doi=10.1.1.102.9448&rep=rep1&type=pdf>. Acesso em: 17 [14] Vienna University of Technology. Turkish Chess-
ago. 2010. Player. Disponível em:
<http://www.ims.tuwien.ac.at/~flo/vs/chessplayer.htm
[5] KIRNER, Claudio; SISCOUTTO, Robson. Realidade l>. Acesso em: 17 ago. 2010.
Virtual Aumentada: Conceitos, Projeto e Aplicações.
Livro do Pré- Simpósio: IX Symposium of Virtual and [15] VIVATY STUDIO HOME PAGE. Disponível em:
<http://developer.vivaty.com>. Acesso em: 06 mai. 2010.
25
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
26
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A indústria dos jogos iniciou-se com exemplares este seria o instrumento mais funcional para o jogador.
exclusivamente bidimensionais. Todos os objetos O grande diferencial está na adoção de um marcador
possuíam dimensão definida por sua altura e largura. O para definir o local de projeção do cenário e, assim,
movimento se restringia a aplicação de translação permitir mudar o ângulo de visão com um simples
sobre a tela. As restrições na criação dos cenários, movimentar do cartão.
representados como planos, assim como a baixa
capacidade gráfica restringia a complexidade das 3. Desenvolvimento do jogo
ações, representação visual e regras. Com esta
simplificação, os jogos eletrônicos obtiveram grande 3.1. Descrição
sucesso entre o público mais jovem.
O jogo desenvolvido se chama Slidetrix. O objetivo
A evolução do processamento gráfico tornou dele é testar à lógica e agilidade do jogador. A base do
possível a criação de ambientes virtuais jogo é composta por vinte e quatro cubos espalhados
tridimensionais. A adição de profundidade nos sobre a superfície de numa matriz 3x3x3, conforme a
cenários e personagens controláveis gerou novas Figura 02, vazada no eixo central vertical. Entre os
possibilidades: novos pontos de visualização, maior cubos existe um espaço vazio. Esta característica é
mobilidade sobre o cenário, assim como, detalhamento importante para permitir a mobilidade das peças no
deste. jogo. Sempre que uma peça for clicada, se houver um
espaço vago em sua vizinhança ela poderá mover para
Recentemente, uma série de jogos, tanto para esta nova posição.
computador quanto para consoles, estão unindo os
modelos tridimensionais com ambientes reais. O uso
da Realidade Aumentada mostra-se não apenas como
uma novidade visual, ela contribui ao criar formas de
controle mais simples e intuitivos. O jogo EyePet [10]
para Playstation 3, por exemplo, utiliza uma câmera de
vídeo para projetar um mascote virtual na sala do
jogador. A Figura 01 (a) mostra que os usuários podem
interagir adicionando elementos gráficos na redondeza
do animal. Trata-se de um grande avanço, se
comparado com os primeiros jogos com bichos
virtuais.
27
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Figura 03: regiões de ataque dos invasores A grande vantagem para o usuário final é: ele
precisa possuir apenas o plugin de Flash incorporado
Todos os cubos presentes, tanto os localizados na ao seu navegador e uma webcam. Nada mais. Esta
base quanto os adversários, devem possuir uma das vantagem reflete também para o desenvolvedor no ato
três cores: vermelho, amarelo ou verde. A ordem das da distribuição do aplicativo criado.
cores é o fator primordial para a solução do problema.
Através de técnicas de visão computacional, o
As peças invasoras aparecem na tela sempre em aplicativo criado utiliza uma câmera para reconhecer
grupo de três. Após elas completarem todo percurso, os elementos do ambiente real. O marcador impresso é
para que o jogador consiga eliminá-las, ele deve usado como base de referência, recebendo uma
colocar os cubos da base, que estão na região atacada, imagem virtual. O rastreamento óptico do marcador
na mesma seqüência de cores das invasoras, conforme serve para calcular e ajustar a posição dos objetos
mostrado na Figura 04. Feito isso, os cubos inimigos virtuais.
são eliminados. O desafio proposto é eliminar todas as
peças invasoras em um tempo limite para cada fase. Durante o processo de criação, três versões do
FlartoolKit foram testadas. O constante aprimoramento
da ferramenta traz novidades e melhoramentos a cada
novo lançamento. A última atualização, 5.3, foi a que
apresentou melhores resultados, sendo esta a versão
empregada no trabalho final.
28
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
mais simples, sem grande complexidade iluminação do local também influi: projetar a câmera
visual. diretamente contra luz intensa pode dificultar o
• Imagens vetoriais: através do painel de edição reconhecimento do cartão de identificação.
Além desta característica, o ajuste do
do Adobe Flash CS4 [1], foi possível criar
posicionamento da câmera deve ser levado em conta.
imagens mais sofisticadas. Seja com Para isso, uma estrutura de teste foi criada, apresentada
elementos geométricos 2D ou texto e salvá-las na Figura 05. Após colocar o marcador no campo de
como um formato especial, chamado visão da câmera, surgirá na tela um cubo central
MovieClip, para sua impressão em cada face informativo que mostrará a posição correta quanto ao
dos cubos. Esta adoção foi fundamental para seu lado frontal e superior do cenário virtual. Além
maior interação dos objetos com o disso, duas faixas de graduação indicam a largura e
altura reservada para a completa visualização do jogo.
Actionscript.
• Imagens bitmap: Em alguns casos, onde a
criação de elementos mais sofisticados foi
necessária, foi preciso da adição de outras
ferramentas de edição gráfica. Para a criação
do logotipo, o software Adobe Photoshop [2]
foi usado para modelagem, criação e edição.
A imagem foi salva, com padrão JPEG ou
PNG, e importada ao ambiente Flash.
29
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Um dos fatores que podem atrapalhar a experiência FlartoolKit em nossa língua, este projeto pode
do jogo é a lentidão. Durante os testes, foi verificada contribuir para novos projetos.
uma queda de velocidade, na taxa de quadros por Existem pontos negativos, observados durante o
segundo, em momentos em que foram apresentados processo de criação, tanto para usuário quanto para
muitos objetos anexados ao cenário principal. Em desenvolvedor: exigência de uma câmera com uma boa
máquinas mais antigas, a jogabilidade pode ser resolução, necessidade de uma máquina com níveis
prejudicada. Como o flash não possui um tratamento medianos de poder computacional, lentidão de
nativo dos elementos básicos tridimensionais, esta processamento na presença de muitos objetos virtuais e
queda de processamento é constatada. Espera-se que, o baixo nível de tratamento de erros no ambiente de
com o avanço da tecnologia flash, estes problemas desenvolvimento do IDE Flash. Todas estas restrições
possam ser sanados. deverão ser reduzidas, gradativamente, com o
aprimoramento das tecnologias envolvidas. Nenhum
desses itens impediu a realização do projeto.
5. Referências bibliográficas
Figura 06: menu principal
[1] Adobe Flash CS4, disponível em:
A experiência adquirida na elaboração deste www.adobe.com/products/flash/
trabalho está disponibilizada no site promocional [2] Adobe Photoshop, disponível em:
(http://www.ckirner.com/jogos/slidetrix), incluindo: www.adobe.com/products/photoshop
jogo, código fonte, referências e dicas relacionadas. [3] Antunes, Celso, “Jogos para a estimulação das múltiplas
inteligências”, Vozes, Rio de Janeiro, 1998.
[4] Assis, Diego, “Game supera cinema como opção de
4. Conclusão entretenimento em 2003”, disponível em:
http://www1.folha.uol.com.br/folha/ilustrada/ult90u40114.sh
O jogo Slidetrix permite ao usuário controlar o tml, 31/12/2003.
cenário virtual de uma forma mais livre e simples. A [5] Freire, J.B, “Educação de corpo inteiro”, Scipione, São
interação entre marcador e câmera mostrou-se bastante Paulo, 1994.
eficiente. Os recursos tradicionais da informática [6] Gandra, Alana, “Mercado de jogos eletrônicos cresce no
(mouse e teclado) foram necessários para manter a Brasil apesar da crise”, disponível em:
http://www.inovacaotecnologica.com.br/noticias/noticia.php
eficácia no controle do jogo. Alguns elementos podem
?artigo=mercado-de-jogos-eletronicos-cresce-no-brasil-
ser aperfeiçoados ou implementados em uma versão apesar-da-crise&id=, 03/03/2009.
futura: mais opções de cores, novos graus de desafios, [7] NyARToolkit, disponível em:
armazenamento da pontuação dos jogadores, anexar http://nyatla.jp/nyartoolkit/wiki/index.php
uma trilha e efeitos sonoros, etc. [8] Olausson, “Games Software Business to Approach $65
Billion Worldwide by 2013, says Strategy Analytics”,
A atuação do FlartoolKit no ambiente Flash disponível em: http://www.industrygamers.com/news/games-
mostrou-se bem sucedida. A facilidade de aprendizado, software-business-to- approach-65-billion-worldwide-by-
desenvolvimento e distribuição online de uma 2013-says-strategy-analytics/, 07/05/2010.
[9] Saqoosha, FlartoolKit, disponível em:
aplicação com Realidade Aumentada através deste
http://saqoosha.net/en/flartoolkit/start-up-guide/
formato foi de grande valia. Disponibilizar o código [10] Sony Computer Entertainment Europe, EyePet,
fonte no site (http://www.ckirner.com/jogos/slidetrix), disponível em: http://www.eyepet.com/.
condição pré-estabelecida para a distribuição gratuita [11] Torre de Hanoi, disponível em:
de aplicações com esta ferramenta, tende a ser usado http://www.realidadevirtual.com.br/
como referência para pesquisas futuras. Considerando [12] Ulloa, Carlos, Papervision3D, disponível em:
o baixo número de fontes informativas sobre o http://blog.papervision3d.org
30
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 2
APLICAÇÕES EM ENGENHARIA ELÉTRICA
31
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
32
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Na Figura 1 tem-se uma vista em corte de um MIT, transforma o aprendiz em uma pessoa ativa no
destacando os componentes básicos. processo, entre outras vantagens. Com os avanços da
RV, a técnica de ensino foi aprimorada com o uso da
RA e disponibilizada em site de Cardoso na
Universidade Federal de Uberlândia [14].
O sistema de demonstração de um motor elétrico
virtual começa esperando que o usuário escolha uma
das opções: Close All, Closed Engine, Internal Engine
Parts, Internal Engine Parts 2, Rotor e Open Engine
Expand. Ao escolher a uma das opções que não seja a
Closse All, o usuário coloca o marcador na frente da
câmera e tem a imagem do motor com a forma da
opção escolhida. Em cada uma destas opções o usuário
Figura 1. Vista em corte de um MIT. pode escolher se deseja ou não ver o motor com
O princípio de funcionamento do MIT esta ilustrado animação e conforme roda o marcador, tem-se uma
no diagrama da Figura 2. O campo magnético criado vista do motor de outros ângulos.
nas bobinas do estator está girando, o rotor acompanha
seu movimento devido à indução de correntes nas
barras e o surgimento de um campo resultante
4. Realidade Aumentada e MIT
correspondente. RA “é um sistema que suplementa o mundo real
com objetos gerados por computador, parecendo
coexistir no mesmo espaço e apresentando a
propriedade de combinar objetos reais e virtuais no
ambiente real” [9]. A ligação entre a RV e a RA está
no espectro que começa no mundo real e termina na
RV. Entre os extremos, existe a Realidade Misturada,
onde elementos do mundo real se misturam com
elementos do mundo virtual.
A Realidade Misturada é a união do ambiente real
Figura 2. Princípio de funcionamento do MIT. com o ambiente virtual utilizando o computador como
interface, sendo particularizado de duas maneiras: A
Observe-se nessa breve apresentação e princípio Virtualidade Aumentada, onde existe predominância
funcionamento do MIT a abstração necessária na de elementos virtuais no ambiente misturado, e a RA,
assimilação dos conceitos. onde os elementos reais predominam sobre os virtuais
Mesmo com as visualizações esquemáticas de [1], [11]. Tem-se então que a RA é uma
componentes e seu funcionamento, compreender o particularização da Realidade Misturada.
inter-relacionamento de componentes e fenômenos RA proporciona ao usuário interagir de forma
durante o funcionamento ainda fica difícil e demanda segura e agradável, eliminando em parte a necessidade
grande esforço do aprendiz. de treinamento, pelo fato de trazer elementos virtuais
para o mundo real. Isto é possível pela combinação de
3. Realidade Virtual e Máquinas Elétricas técnicas de visão computacional, computação gráfica e
RV é considerada como a experiência imersiva e realidade virtual, gerando como resultado uma correta
interativa baseada em imagens gráficas 3D geradas em sobreposição de objetos virtuais no ambiente real [1],
tempo real por computador, ou seja, é uma simulação [2], [3], [5] e [8].
gerada por computador, de um mundo real ou apenas As idéias de ferramenta auxiliar com RA proposta
imaginário. Cardoso et al. em [4] e [6] propôs o uso da nesse trabalho iniciam com um objeto real utilizado no
RV como ferramenta auxiliar de ensino para máquinas Laboratório de Máquinas Elétricas da Universidade
elétricas na graduação. Federal de Itajubá, LME-UNIFEI, mostrado na Figura
Nos trabalhos, demonstra-se o quanto essa técnica 3. Na Figura 4, tem-se o mesmo motor com um
auxilia no ensino de máquinas elétricas, permitindo marcador que é um inicializador da técnica de RA. Na
experimentos virtuais, facilidade no entendimento da Figura 5 mostra-se um exemplo de aplicação
parte teórica. A visualização imersiva da máquina desenvolvida em RA, onde os objetos virtuais são
33
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
justapostos ao mundo real. Assim os dois mundos, tangível de RA. A interface disponibilizou técnicas de
virtual e real, coexistem. interação, com base nas propriedades dos marcadores:
visibilidade, posição e orientação [13].
SACRA permite a interação com objetos virtuais
associados a marcadores e pontos cadastrados em
relação a um referencial. Estes referenciais são dados
por um marcador de referência. A interação com
objetos virtuais é realizada por marcadores com
funções especializadas, denominados marcadores de
ação. SACRA usa marcadores de ação e de referência,
que devem estar devidamente cadastrados, seguindo
uma ordem estabelecida por suas ações.
Os marcadores apresentam comportamentos que
Figura 3. Motor trifásico de indução. estão associados aos possíveis estados identificáveis do
sistema de rastreamento. Nesse caso, é possível
identificar: a presença do marcador na cena; a distância
do marcador em relação a outros marcadores ou
objetos virtuais e a orientação do marcador e o seu
ângulo de rotação. Esses comportamentos podem ser
utilizados em conjunto, ampliando o tipo de interação
como aliar a detecção da distância e da rotação. No
SACRA, os pontos cadastrados são posições extraídas
das transformações relativas entre um determinado
marcador de referência visível na cena e o marcador de
inspeção.
Figura 4. MIT com o marcador de RA.
6. Ferramenta de Auxilio ao Aprendizado
Na proposta de uma ferramenta auxiliar no
aprendizado de MIT que possa ajudar nas atividades
didáticas do LME-UNIFEI, foi elaborado um ambiente
de RA, utilizando o SACRA para sua montagem. O
sistema pode ser representado por uma “máquina de
estados” composta de cinco estados, observada na
Figura 6.
5. SACRA
Para a composição da Figura 5, foi utilizada a
ferramenta de software construída a partir da biblioteca
ARToolKit [7], que prevê a utilização de dispositivos
de baixo custo, como a webcam.
Na interação do usuário com o SACRA [12] foram
utilizados marcadores (placas de papel quadradas Figura 6. Diagrama de funcionamento do SACRA
contendo um símbolo), que atuaram como interface
34
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
O diagrama da Figura 6 apresenta uma aula MIT (Painel de controle, Estator e Rotor), conforme
introdutória de MIT demonstrando seus componentes e vai ocorrendo a desmontagem do motor. Em seguida é
funcionamento. Os estados são acionados com o informado que o usuário pode passar para o próximo
marcador de base, aqui considerado como sendo o passo com o marcador de controle.
marcador de referência do SACRA, dos marcadores de
State 4: Motor Explodido. Neste estado é
controle e inspeção (marcador de ação do SACRA),
apresentada a vista explodida do MIT (Figura 9) e
conforme a Figura 7:
pedido ao usuário que verifique as partes e identifique
o cabeamento do painel de controle. Novamente com o
marcador de controle ele pode ir para o passo 5.
35
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
marcadores e teclado para uma sequência de etapas de [3] BOMAN, D. K. “International Survey: Virtual
aprendizado, além de inovar empregando áudio como Environment research”, IEEE Computer, 28(6):57-65.
forma de ilustração e orientação para o aprendiz. Junho/1995.
A ferramenta proposta tem a vantagem de motivar o [4] DELAIBA, V. H. B. LAMOUNIER JR, E. A. “Estudo e
desenvolvimento de ambientes virtuais, como ferramenta de
usuário com a experiência de visualização e suporte para aplicação direta no estudo de motores elétricos e
funcionamento de um aparelho virtual, forte na eficiência energética.” Projeto FAPEMIG C-007/2006 .
visualização imersiva, economia no custo de um
ambiente para prática em MIT. [5] FEINER, S. et al., “Knowledge-Based Augmented
Reality”, Communications of the ACM, 36(7):52-62.
Ilustra características e processos dos objetos reais Julho/1993.
para os virtuais, visualização iterativa com MIT, [6] JUNIOR, A.B.A., CARDOSO A. e LAMOUNIER JR, E.
permitindo ao aprendiz conectar o conteúdo da A., “Estudo de Máquinas Elétricas Auxiliado por Técnicas
literatura específica com a prática minimizando a de Realidade Virtual”, Anais do WRVA 08, Bauru, 2008.
necessidade do motor real em funcionamento.
[7] KATO, H., BILLINGHURST, M., AND POUPYREV, I.
Outra vantagem destacável é o custo computacional “ARToolKit version 2.33 Manual”, Novembro/2000.
desse tipo de ferramenta didática e a facilidade de [8] KIRNER, C., AND TORI, R., “Introdução à Realidade
concepção de aplicativos, justificando essa abordagem Virtual, Realidade Misturada e Hiper-realidade”. In: Claudio
pelo desenvolvimento deste tipo de interface. Kirner; Romero Tori. (Ed.). Realidade Virtual: Conceitos,
Tecnologia e Tendências. 1ed. São Paulo, 2004, v. 1, p. 3-20.
Como trabalhos futuros, em concepção no âmbito
do Projeto CNPq/FAPEMIG, “Ambiente Temático [9] KIRNER, C.; SISCOUTO, R.. “Fundamentos de
Interativo com Realidade Aumentada” e, colaboração Realidade Virtual e Aumentada”. In: Kirner, C.; Siscouto, R..
com a atividade didática do LME-UNIFEI, serão (Org.). “Realidade Virtual e Aumentada: Conceitos, Projeto
e Aplicações”. 1 ed. Porto Alegre – RS: Sociedade
agregados mais efeitos sonoros e textuais nos
Brasileira de Computação - SBC, 2007, v. 1, p. 2-21.
equipamentos com a entrada de novos marcadores de
ação, ou clique em teclas, iteração do usuário com o [10] KOSOW, I. L. "Máquinas Elétricas e Transformadores".
equipamento virtual, colocando uma certa inteligência Editora Globo, 1982.
no sistema para perceber “o quê” o usuário deseja de [11] MILGRAM, P. et. al. ,“Augmented Reality: A Class of
informação. Neste caso compensa rever as sugestões Displays on the Reality-Virtuality Continuum”.
de C. Kirner sobre HiperRealidade [2]. Telemanipulator and Telepresence Technologies, SPIE,
V.2351, 1994.
Essa nova etapa proposta permite o aprofundamento
dos conteúdos de MIT, bem como a virtualização dos [12] SANTIN, R., KIRNER,C. “ARToolKit: Conceitos e
Ferramenta de Autoria Colaborativa”, In: SISCOUTO, R., R.
equipamentos do LME-UNIFEI nas iterações de RA.
COSTA, (Org.), Realidade Virtual e Aumentada: Uma
Abordagem Tecnológica, SBC, Porto Alegre, 2008, pp. 178-
8. Observações 276.
[13] SANTIN, R., “Sistema de Autoria Colaborativa com
Este trabalho foi realizado no âmbito do Projeto Realidade Aumentada”, Dissertação de Mestrado em Ciência
“Ambiente Temático Interativo com Realidade da Computação, Universidade Metodista de Piracicaba,
Aumentada”, financiado pelo CNPq (Proc. 2008.
58842/2009-7) e FAPEMIG (Proc. APQ-03643-10). [14] URL: www.alexandre.eletrica.ufu.br/trabalhos.htm
9. Referências
[1] AZUMA, R. T., “Tracking Requirements Augmented
Reality”, Communications of the ACM, 36(7):50-51,
July/1993.
[2] BAJURA, M.; NEUMANN, U., “Dynamic Registration
Correction in Video-Based Augmented Reality Systems”,
IEEE Computer Graphics & Applications, 15(5):52-60,
Sept/1995.
36
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
37
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
38
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
39
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
40
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
um motor real, sendo assim o motor virtual se Contém informações sobre aplicações de Realidade
aproxima bastante do motor real neste aspecto. Virtual, pesquisa e publicações do pesquisador,
tutoriais sobre VRML e artigos indicados para
leitura. Disponível em:
4. Conclusões e Trabalhos Futuros <http://www.alexandre.eletrica.ufu.br> Acesso em
Mar./2008
O emprego de RV para desenvolvimento de
ambientes virtuais é muito eficiente, porque permite [6] SIEMENS. Motores de Corrente Contínua.
Unidade Automação e Controle – Acionamentos e
que o aluno explore todos os detalhes de um
Motores Elétricos. Disponível em:
experimento, de forma mais natural e intuitiva. Assim, <http://www.siemens.com.br/motores>. Acesso
ele pode observá-lo de diversos ângulos atentando-se a em: 25 ago. 2010.
pequenos detalhes que vão auxiliá-lo a compreender
melhor o conteúdo estudado. Sua grande diferença com [7] FRANCISOCO, António. Motores de indução
Trifásicos. Disponível em:
outros ambientes de simulação é que todo ambiente é
<http://www.estv.ipv.pt/PaginasPessoais/lpestana/
desenvolvido em 3 dimensões ao contrário dos demais maquinas%20el%C3%A9ctricas%202/aulas%20te
estudos, que são desenvolvidos em 2 dimensões %C3%B3ricas/Motores_inducao_tri.pdf>. Acesso
reduzindo a qualidade do aprendizado [1]. em: 25 ago. 2010.
Além disso, o uso de VR permitiu que este ambiente
[8] VRMLPAD, Parallellgraphis. O site disponibiliza
possa ser compartilhado via internet, pois, os browsers
diversos programas computacionais de grande
utilizados hoje em dia dão suporte a esta tecnologia. É utilidade para desenvolvimento de ambientes
necessário apenas que seja instalado nas estações o virtual em VRML, inclusive o programa
plug-in do “Cortona” para a simulação dos ambientes. VRMLPad, ExtrusionEditor. Disponível em:
Este tipo de interação auxilia os alunos no <http://www.parallellgraphics.com>. Acesso em
desenvolvimento de habilidades computacionais e de Ago./2010
domínio de periféricos [8]. [9] SOUZA, Eduardo. Sistema de Bombeamento
Como trabalho futuro pretende –se realizar testes Simulação de uma máquina girante associada a
com professores e alunos, adicionando atividades e uma moto-bomba, com possibilidade de abrir,
exercícios educacionais com os motores virtuais, mudar a vazão, o tempo de funcionamento e
adicionar mais funções e representar outros elementos visualizar parâmetros elétricos e mecânicos
de Engenharia Elétrica utilizando Realidade Virtual e decorrentes da alteração. Disponível em:
páginas web feitas em outras plataformas. O uso de <http://www.alexandre.eletrica.ufu.br/delaiba/princ
Realidade Aumentada para aplicações semelhantes, ipal.wrl>. Acessado em Ago./2010
será também investigado. [10] BARRETO, Gilmar. Motor de Indução Princípio
de Funcionamento. Disponível em:
5. Referências <http://www.youtube.com/watch?v=t_BzJZwOL6
Y>. Acessado em Ago./2010
[1] CARDOSO, Alexandre; KIRNER, Claudio;
LAMOUNIER, Edgard e KELNER, Judith.
Tecnologia para o desenvolvimento de Sistemas de
Realidade Virtual e Aumentada. 2. ed. Recife:
Editora Universitária - Ufpe, 2007. 210 p.
(9788573154009).
[2] MILTON, Vieira Junior. Educação em engenharia:
estudo de metodologias pedagógicas e
desenvolvimento de um software aplicado ao
ensino de estabilidade de sistemas de energia
elétrica. Mestrado UNESP: Ilha Solteira – SP. 2007
[3] CASAS, Luis A; BRIDI, Vera; FIALHO,
Francisco. Construção do Conhecimento por
Imersão em Ambientes de Realidade Virtual. VII
Simpósio Brasileiro de Informática na Educação,
Belo Horizonte – MG. 1996.
[4] SHERMAN, R. Wiliam. Experiences with Virtual
Reality applications. Proceedings of the 24th
annual conference on Computer graphics &
interactive techniques 1997.
[5] CARDOSO, Alexandre – Página do Pesquisador.
41
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Fábio Henrique M. Oliveira1, Eliane Raimann2 , Edgard A. Lamounier Jr.1 , Alexandre Cardoso1
1
Universidade Federal de Uberlândia
Uberlândia-MG, Brasil
2
Instituto Federal de Educação, Ciência e Tecnologia de Goiás - Campus Jataí
Jataí-GO, Brasil
42
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ao desenvolvimento de ambiente virtuais. Complementar- para aplicar texturas pintadas em softwares, como Gimp ou Photoshop [5].
4 COLLAborative Design Activity, é um padrão de exportação e impor-
mente, os procedimentos aqui utilizados propiciam a apli- tação de arquivos criado pela Sony e usado como padrão para o console
cação de RA associada à Internet. Note que nenhum dos Playstation 3. O formato utiliza XML como padrão e suporta além de mo-
trabalhos citados utilizou RA para web. delos detalhados, animações e iluminação [1].
43
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
• Eclipse SDK.
• Biblioteca FLARToolKit.
TM
• Biblioteca Papervision3D .
44
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
O painel possui cinco tipos de visualizações e uma outra virtual estiver em funcionamento. O indicador Zoom altera
opção para limpar todas as outras. Cada opção possui um o tamanho do objeto visualizado, podendo aumentá-lo ou
texto explicativo que pode ser visto ao posicionar o mouse diminuí-lo. E por último o botão Back que desfaz todas as
sob a mesma por alguns segundos. Ao selecionar uma op- alterações feitas no objeto, retornando-o ao seu estado pri-
ção o sistema mostra uma tela de loading enquanto o objeto mário. Todas as funções descritas sobre a Figura 6 só terão
3D está sendo carregado. Isso é necessário para manter o efeito se alguma visualização do motor estiver carregada.
pleno funcionamento do sistema, sabendo que não é possí- A Figura 7 ilustra o botão que realiza a inversão da ima-
vel a implementação de threads5 no Action Script 3 (AS3), gem capturada pela câmera, função necessária para algumas
linguagem de programação utilizada pelo Adobe Flex Buil- câmeras que capturam as imagens invertidas por padrão.
der. Com o objeto carregado já é possível a manipulação do
mesmo através do marcador, como pode ser visto na Figura
5.
45
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
explicado a esses usuários o objetivo do sistema e, em se- • Permitir a detecção de múltiplos marcadores, possibi-
guida o grupo testou separadamente o sistema. Após a exe- litando interações diferentes das já implementadas.
cução do sistema, os usuários responderam a um questio-
nário baseado nos preceitos da ISONORM 9241-10 Usabi- • Melhorar o sistema de ajuda, com implementação de
lity6 . dicas e um tutorial de utilização apresentado durante a
A avaliação geral pode ser visualizada na Figura 9 que primeira execução do sistema.
demostra o gráfico de avaliação geral do sistema. • Realizar testes de aprendizagem entre outros.
Referências
46
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
47
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
possibilitando que o aluno/professor, utilize as aplicações transparente, necessitando somente de uma webcam e um
em qualquer navegador que possua o plugin Flash Player navegador com o Flash Player instalado.
com a versão 9 ou superior instalado, permitindo sua uti-
lização em sistemas operacionais Windows, Linux, Solaris
3 Ferramentas utilizadas
ou Macintosh. Além da vasta gama de sistemas operacio-
nais, observa-se que o Flash Player 9, possui uma taxa de
utilização de aproximadamente 99% nos computadores dos As ferramentas utilizadas para o desenvolvimento da ar-
mercados maduros (Estados Unidos, Reino Unido, Alema- quitetura são apresentados nas seções abaixo :
nha, França e Japão) e cerca de 97% nos mercados emer-
gentes [1]. 3.1 Engine 3D
Com o intuito de abordar o desenvolvimento e utiliza-
ção da arquitetura desenvolvida, este trabalho será dividido Atualmente existem diversas engines para desenvolvi-
da seguinte forma: a seção 2, trata dos trabalhos correlatos, mentos de ambientes 3Ds em AS3, como Away3D, Paper-
mostrando a importância da utilização de RV e RA na edu- vision3D e Sandy, logo, é de suma importância definir qual
cação, bem como ferramentas de distribuição dessas tecno- desses conjuntos de bibliotecas serão utilizados no projeto,
logias. A terceira seção relata as ferramentas utilizadas no visto que, dependendo do tipo de aplicação que será desen-
desenvolvimento da arquitetura proposta. A seção número volvida, a má escolha da engine pode causar um desempe-
4, mostra as definições da arquitetura proposta. A Seção nú- nho ruim do sistema como um todo.
mero 5 aborda o estudo de caso proposto, por fim, na sexta Por este motivo, baseado no grau de atividade e avalia-
sessão são mostrados os resultados e perspectivas para tra- ção das engines pelos desenvolvedores, optou-se por utilizar
balhos futuros. o Papervision3D, que surgiu em 2005 e, desde então, vem
sendo atualizado pelos desenvolvedores e pela vasta comu-
2 Trabalhos Relacionados nidade de utilizadores.
Essa engine possui um conjunto de classes que possibi-
Devido às possibilidades de aplicação no ensino, a dis- lita o tratamento de colisão de forma automatizada, engines
tribuição de objetos virtuais para ambientes de Realidade para a simulação de física (simulação de fluídos e partícu-
Aumentada, tem sido bastante explorada. O trabalho de las) possibilitando gerar mundos virtuais com uma maior ri-
[6], por exemplo, apresenta uma interface para a distri- queza de detalhes, aproveitando todos os benefícios da Ori-
buição de objetos virtuais utilizando realidade aumentada entação a Objetos. E, além disso, torna possível a importa-
ção de objetos modelados em ambientes de modelagem 3D,
como ferramenta de apoio de ensino na área fisiologia ve-
getal. A arquitetura utilizada foi cliente/servidor utilizando como Blender e 3D Studio Max, e exportados nos formatos
o CORBA(Common Object Request Broker Architecture) Collada (COLLAborative Designer Activity), MD2(Quake
2) e 3DS(3D Studio).
para a comunicação entre os clientes que executam o AR-
Toolkit. Outro ponto de destaque, consiste na integração com
Em [8] uma ferramenta de distribuição de ambientes vir- outra biblioteca AS3, chamada FLARToolkit, que é seme-
tuais para apoio a projetos multidisciplinares de ensino. Fo- lhante ao ARToolkit e, portanto, possibilita o desenvolvi-
ram desenvolvidos dois protótipos: um na na área biológica mento de aplicações de Realidade Aumentada pela web.
e outro na área de química. Para a distribuição foi utilizado
o CORBA, utilizando arquitetura cliente/servidor. 3.2 FLARToolkit
No trabalho de Distribuição de Realidade Virtual e Au-
mentada [10], os autores desenvolveram uma arquitetura O FLARToolkit é um conjunto de classes desenvolvidas
que viabiliza a distribuição de objetos virtuais no formato em AS3, que juntamente com o Papervision3D possibilita
VRML, para todos os participantes através de uma rede de o desenvolvimento de aplicações de Realidade Aumentada.
computador, utilizando sockets para a transferência de ar- Para executar aplicações utilizando o FLARToolkit o cliente
quivos. O software desenvolvido por [10] tem um grande deve instalar no navegador o Flash Player versão 9 ou su-
apelo educacional possibilitando os usuários visualizarem perior, e permitir o acesso do plugin à webcam.
os objetos virtuais tanto em RA como em RV. O ARToolKit é uma biblioteca em linguagem C que per-
De forma semelhante aos trabalhos citados, este traba- mite aos programadores desenvolver aplicações de Reali-
lho utiliza a arquitetura cliente/servidor, no entanto, com a dade Aumentada [4]. Desta forma, para executar aplica-
utilização de tecnologias diferentes, visto que deseja-se dis- ções utilizando o ARToolkit o usuário deverá ter instalado
tribuir o ambiente de Realidade Aumentada, utilizando o e configurado o mesmo em seu computador, podendo cau-
ambiente de desenvolvimento Flex, permitindo que os cli- sar algum desgaste para usuários menos experientes. Em
entes possam utilizar a ferramenta desenvolvida de forma contrapartida, uma aplicação que utiliza o FLARToolkit será
48
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
disponibilizada como um arquivo “.swf”, que é executado Para a comunicação entre os módulos a arquitetura uti-
no Flash Player do navegador web. liza à Internet e seus protocolos. No caso do software em
questão será utilizando o protocolo TCP/IP para a comuni-
3.3 BlazeDS cação entre os módulos cliente e servidor, e seus respectivos
usuários conectados na aplicação.
O BlazeDS é um middleware que se localiza entre o cli-
ente e o servidor, ele é responsável por estabelecer a comu- 4.1 Módulo Servidor
nicação entre ambos, utilizando para isso objetos remotos.
A aplicação cliente pode ser desenvolvida em linguagem de O Módulo Servidor (Figura 2), tem como finalidade ge-
programação Flex/Flash(Action Script 3) ou Ajax e o servi- renciar as conexões dos clientes e possibilitar a distribuição
dor obrigatoriamente tem que ser desenvolvido na lingua- dos objetos virtuais no Ambiente de Realidade Aumentada
gem de programação Java [3]. dos clientes. Outra característica do servidor é possibilitar a
Através das chamadas de procedimento remota RCP, o sincronização das animações executadas pelos clientes atra-
desenvolvedor fica responsável em codificar as interfaces vés de um protocolo.
remotas, e o BlazeDS realiza a comunicação entre o cliente
e o servidor utilizando seus protocolos
Módulo Servidor
Logo, o BlazeDS foi escolhido por possibilitar a utili- Servidor Web
(GlassFish)
zação com aplicações desenvolvidas em Flex e suportar as JAVA
49
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
50
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
6.2 Escalabilidade
51
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
6.3.2 Quando à colaboração entre os usuários é per- o software RANET possui um grande apelo pedagógico
ceptível sendo uma ferramenta de grande auxilio na área da ciência
e educação.
7 Trabalhos Futuros
Referências
Figura 7. Gráfico: Colaboração entre Usuários.
[1] Adobe. Flash player penetration, 2009. Disponível em:
<http://www.adobe.com/products/player_census/
No gráfico da Figura 7 observa-se que a maioria dos flashplayer/>. Acesso em: 13 agosto. 2009.
[2] R. T. Azuma. Recent advances in augmented reality. IEEE
usuários avaliaram a colaboração entre os usuários perceptí-
Computer Graphics and Applications, 21:34–47, 2001.
vel, ficando muito satisfeito com o protótipo. Porém alguns [3] BlazeDS. Blazeds developer guide. Disponível
usuários comentaram que o software poderia suportar mais em:http://livedocs.adobe.com/blazeds/1/blazeds_devguide/
objetos virtuais na cena. Tal procedimento será sugerido Acesso em: 15 mar. 2010, 2010.
como trabalho futuro. Outra sugestão foi a possibilidade de [4] A. Cardoso and L. Jr. Realidade Virtual: Uma Abordagem
implementar uma trava com o objetivo de forcar aos usuá- Prática. SVR, 2004.
rios que não estão com a trava, apenas assistirem a distri- [5] G. Coulouris. Distributed systems: concepts and design.
Addison-Wesley Longman, 2005.
buição, o que possibilitaria o uso do protótipo como uma
[6] W. A. da Silva. Uma arquitetura para distribuição de ambi-
ferramenta interessante no caso de educação à distância. entes virtuais de realidade aumentada. Master’s thesis, Uni-
Alguns usuários mostraram-se insatisfeitos porém não versidade Federal de Uberlândia, 2008.
justificaram suas respostas. [7] M. W. de Souza Ribeiro. Arquitetura para Distribuição de
Ambientes Virtuais Multidisciplinares. PhD thesis, Univer-
6.3.3 Quanto à aprendizagem (houve aquisição de co- sidade Federal de Uberlândia, 2006.
[8] M. W. de Souza Ribeiro. Arquitetura para distribuição de
nhecimento?)
ambientes vituais multidisciplinares. PhD thesis, Universi-
O gráfico da Figura 8 demostra que a maior parte dos usuá- dade Federal de Uberlândia, 2006.
rios ficaram muito satisfeitos com a questão da aprendiza- [9] C. Filhoais and J. Trindade. Física no computador: O com-
putador como uma ferramenta no ensino e na aprendizagem
gem, que o estudo de caso através do software RANET pro-
das ciências físicas. Revista Brasileira de Ensino de Física,
porcionou. Porém alguns professores da área de informá- 25, 2003.
tica, comentaram que o software poderia além do controle [10] K. Nogueira, K. Nogueira, E. Lamounier, and A. Cardoso.
da animação, e a possibilita de alterar o objeto virtual visu- Uma arquitetura para a distribuição de realidade virtual e
alizado na cena o software poderia possibilitar a inserção de aumentada. 6o Workshop de Realidade Virtual e Aumentada,
vários objetos virtuais na cena. 2009.
[11] J. Prümper. Test it: ISONORM 9241/10. In Proceedings
of HCI International (the 8th International Conference on
Human-Computer Interaction) on Human-Computer Inte-
raction: Ergonomics and User Interfaces-Volume I-Volume
I, page 1032. L. Erlbaum Associates Inc., 1999.
[12] L. F. Silva. Ambientes distribuídos em Realidade Virtual
como suporte a Aprendizagem Cooperativa para a Resu-
lução de Problemas. PhD thesis, Universidade Federal de
Uberlândia, 2009.
[13] A. TANENBAUM and M. Steen. Sistemas Distribuídos:
Princípios e Paradigmas, 2008.
[14] P. TÉCNICA. MOTORES DE COR-
Figura 8. Gráfico: Aquisição de Conhecimento. RENTE CONTÍNUA. Disponível em:
www.siemens.com.br/medias/FILES/2910_2006050514190
8.pdf Acesso em: 14 mar. 2010.
Através dos gráficos apresentados, pode-se concluir que
52
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 3
AMBIENTES VIRTUAIS
53
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Luciana Louro
Pontifícia Universidade Católica de São Paulo
[email protected]
Donizetti Louro
Pontifícia Universidade Católica de São Paulo
[email protected]
Resumo Introdução
Este artigo investiga as implicações
Este trabalho investiga um possível processo teóricas acerca da análise do processo de criação
sistêmico e complexo no desenvolvimento de um dos residentes1 do Second Life (S.L)2.
gênero de personagem de ambiente virtual: o
Antes de abordar o processo de criação é
residente do Second Life (SL). Para tentar validar
importante diferenciar a personagem de sua
essa hipótese, esta pesquisa fará um estudo de caso,
caracterização, definindo, assim, esses dois termos
à luz da teoria de Mikhail Backhtin (2006),
distintos. Pode-se definir uma personagem como
complementada pela noção de sistema complexo de
sendo “um habitante da realidade ficcional, de que
Mario Bunge [7][8] que fundamentam a análise do
a matéria de que é feita e o espaço em que habita
personagem residente Liberato Lindman, que vive
são diferentes da matéria e do espaço dos seres
no SL desde 2003.
humanos” [5].
Palavras-chaves: avatar, virtual reality, processo Caracterização, por outro lado, é tudo
criativo, personagem, sistema complexo, teoria aquilo que se pode perceber ao observarmos uma
literária. personagem: sua aparência, movimentação,
atitudes, comportamento, indumentária, voz,
trejeitos, história de vida, qualidades, fraquezas e
assim por diante [11]. Ela pode, portanto, ser
Abstract elaborada antes ou depois da redação de um
roteiro. Alguns estudiosos descrevem,
This paper investigates a possible systemic process detalhadamente, o processo criativo,
and complex on development of a character´s kind fundamentando-se em situações específicas,
in a virtual reality environment: a resident in vivenciadas por cada equipe de criação. Porém,
Second Life (SL). To try to validate this hypothesis, eles não propuseram uma definição geral para o
this research will make a case study in light of the processo em questão [20], [16]. Assim, tomando
theory of Mikhail Backhtin (2006), complemented por base a concepção ficcional da personagem [5],
by the notion of complex system of Mario Bunge propõem-se definir como caracterização o processo
[7][8] which underlie character analysis of resident de criar uma personagem a partir de um conceito
Liberato Lindman, who lives in SL since 2003. autônomo e fictício, estabelecido por um roteiro
pré-existente ou não, definindo seus aspectos
Keywords: avatar, metaverse, character, creative visuais, estéticos e sua própria narrativa particular,
process, complex systems, literary theory. inserida no enredo principal, com o objetivo de
ilustrar, graficamente, por meio da computação
estética e afetiva, sua personalidade, dando-lhe
uma aparência de existência real.
54
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 22010
3 Mikhail Mikhailovich Bakhtin (1895 - 1975) foi um linguista 2- A Teoria de Sistemas Complexos
russo. Seu trabalho é considerado influente na área de teoria segundo Mario Bunge
literária, crítica literária, sociolinguística, análise do discurso e
semiótica. Bakhtin [3] se destacou pela sua visão sistêmica da Para Bunge [8] um sistema é “um objeto
linguagem, na qual a lingüística não poderia ser vista cujas partes ou componentes se relacionam com
separadamente de seus fatores externos, como contexto do pelo menos outro componente”. O autor dá,
falante, momento histórico etc [6]. igualmente, grande ênfase ao papel do ambiente
4 Para Bakhtin [3] a palavra estética é usada para indicar o
para definir o conceito de sistema complexo por
acabamento ou o aprimoramento da personagem [6]. Assim
esta análise se fundamentará neste conceito estético meio da tripla ordenada, ambiente, componentes,
bakhtiniano. relação, conforme é possível constatar na fórmula a
5 Avatar vem do sânscrito Aval, que significa "Aquele que seguir publicada em seu livro “A World of
descende de Deus", ou simplesmente "Encarnação" (Dasgupta, Systems”, (Um mundo de sistemas), [7]:
1992). O significado da expressão expandiu para além do
estritamente religioso em 1859, no Livro “A vida de John
Milton” de John Donne. Já o termo como identidade virtual de
um usuário surgiu, pela primeira vez, em 1992 no romance
Snow Crash de Neal Stephenson (2000). Sua proliferação, Onde : SA (ó, t) = sistema; CA (ó, t)=
porém, pode ser atribuída ao Second Life, um mundo virtual
estrutura interna ou componentes ou um conjunto
online multiplayer [9].
55
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 32010
de qualquer coisa.; EA (ó, t)= ambiente; SA (ó, t)= Pode-se admitir uma hierarquia nestes
relação. parâmetros que funcionaria da seguinte forma: todo
sistema é composto por um conjunto de elementos,
Desta maneira um sistema complexo
ou seja, possui uma composição; estes elementos
consiste em um conjunto de qualquer coisa que,
estabelecem uma conectividade entre si, formando
além de se relacionar com “pelo menos outro
uma rede de relações ou estrutura; esta estrutura,
componente” [8], como no caso dos sistemas
por sua vez, é aberta, gerando, consequentemente,
simples, também se relaciona com o ambiente que o
subsistemas, acarretando a integralidade; destes
envolve. Para ser um sistema complexo, estes
subsistemas emergem propriedades coletivas,
elementos devem, igualmente, formar uma tripla
confirmando a funcionalidade que implica na
ordenada, ou seja, devem sempre estar dispostos na
organização [21]. Levando em conta a hierarquia
ordem estabelecia pela fórmula acima citada, a
acima descrita [21], pode-se supor que a
saber: conjunto de qualquer coisa, ambiente e
complexidade estaria associada à diversidade, à
relação.
informação e à entropia de cada parâmetro. No
É importante sublinhar que esta pesquisa entanto, “ontologicamente o aspecto mais
somente pretende se fundamentar nas idéias de fundamental é o da diversidade” [21] que constitui,
Bunge sobre sistemas complexos a fim de por fim, “um forte indício de complexidade” [21].
conjeturar uma ampliação da noção de personagem Finalmente, optou-se por considerar complexo todo
de Bakhtin [3], para o estudo teórico dos residentes sistema que apresente a diversidade em seus
do SL. Assim, a fórmula, aqui apresentada, será parâmetros.
usada somente como um guia. Não se considerou
Uma vez a teoria de sistemas complexos de
necessário, portanto, uma demonstração algébrica
Bunge sintetizada, é possível retomar a questão
da hipótese aventada neste artigo. Optou-se, enfim,
central deste artigo: a visão bakhtiniana de uma
por simplificar, com intuito de facilitar uma
personagem como um produto final pode apresentar
posterior análise teórica, a definição da tripla
dificuldades na análise de um residente do SL? Se
ordenada bungeana [7], da seguinte maneira:
sim, seria possível complementá-la pela teoria de
sistemas complexos de Bunge [7][8]? A fim de
procurar respostas será feito, a seguir, um estudo de
caso do residente do SL Liberato Lindman, à luz
Onde: S= sistema; (m)= conjunto de dos teóricos acima citados.
qualquer coisa; A= Ambiente; R= Relação
3 - O estudo de caso de Liberato
Bunge [8] afirma, igualmente, que os
sistemas podem ser divididos em naturais, “cujos Lindman
componentes assim como os vínculos entre eles
pertencem à natureza, isto é, não são obras do Em primeiro lugar, será feita uma
homem [8] ” e artificiais, que são a “união de todos explanação da metodologia de coleta dos dados,
os sistemas não naturais[8].” Este estudo considera para em seguida, proceder à análise das respostas
uma personagem um conceito fictício [5] e, do questionário. Este questionário foi elaborado
consequentemente, uma criação do homem. Logo, com o intuito de proceder a uma pesquisa de
foco de interesse aqui está na análise dos sistemas natureza qualitativa6. A primeira parte constitui um
artificiais que se dividem em: conceituais, conjunto de questões relativas ao trabalho de
materiais, semióticos e técnicos. O primeiro parece designer de personagens em ambientes de imersão.
ser o mais interessante para este trabalho, pois, A segunda parte é relativa ao processo de criação e
assim como a personagem [5], ele é “composto por à evolução do Avatar escolhido pelo autor para
conceitos [8].” interagir no SL, o vampiro Liberato Lindman.
Uma vez a definição e o tipo de sistema Neste momento, optou-se por se fundamentar
escolhido, é preciso se inclinar sobre a concepção nas teorias do designer de games Steve Meretzky
de complexidade que será adotada para nortear este [16]. Ele elaborou um roteiro de perguntas para o
trabalho. Segundo Vieira [21] não existe uma autor responder a fim de traçar o perfil da
definição ontológica da complexidade. Mas, ainda personagem a ser criada. Esta parte do questionário
segundo o autor [21] é possível encontrar um foi, portanto, formada a partir das perguntas
caminho para esta definição por meio da análise dos retiradas deste roteiro, com o objetivo de desenhar a
parâmetros sistêmicos propostos por Mario Bunge personalidade da personagem estudada. Foi,
[7], [8]. A fim de aprofundar a questão optou-se por também, pedido ao entrevistado que respondesse a
complementar estes, com os parâmetros propostos segunda etapa de questões de duas maneiras
por Kenneth George Denbigh [10], Humberto
Maturana [15], [14] e Edgard Morin [17], a saber:
composição [7], conectividade [10], estrutura [7], 6 Sendo o principal objetivo deste trabalho a investigação da
aplicabilidade da teoria literária de Bakhtin [3] no processo de
integralidade [10], [15] funcionalidade [14] e criação de uma personagem do SL, por meio de uma análise
organização [17]. aprofundada de um Residente, optou-se por este tipo de
investigação científica, pois nas pesquisas qualitativas a
preocupação maior é compreensão e interpretação os fenômenos
observados em determinado grupo.
56
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 42010
57
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 52010
58
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 62010
Lista de imagens
http://slurl.com/secondlife/body/137/124/22, consultado
no dia 21/07/2010, às 15h00.
http://slurl.com/secondlife/body/137/124/22, consultado
no dia 21/07/2010, às 15h50.
59
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
60
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
61
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
As especificações do X3D [12] são uma série de autor possa acessar e alterar o grafo de cena enquanto
documentos produzidos pelo grupo Web3D que ele é executado [14]. Este acesso permite ao autor
definem e detalham geometrias e comportamentos do obter informações sobre os nós e campos do grafo de
padrão [10]. Dentre os conteúdos abordados nas cena, notificar e receber eventos destes nós, e alterar
especificações, existem documentos apropriados para a seus valores para realizar modificações no ambiente
explicação da codificação de um arquivo X3D, (em tempo de execução), tornando-o interativo.
incluindo vários aspectos como: tipos de campos, tipos Deste modo, os browsers X3D desenvolvem suas
de nós, expressões que definem rotas, etc. Um fator próprias APIs em conformidade com os documentos
interessante é que as funcionalidades primitivas (como especificados por [14] para prover tais serviços aos
nós e campos) são especificadas de forma neutra, criadores de ambientes virtuais tridimensionais X3D.
tornando-as independente de qualquer formato de Este acesso ao grafo de cena pode ocorrer de forma
codificação e browser. externa ao arquivo X3D, por linguagens de
A visualização de ambientes virtuais X3D é programação ou de script como JAVA e ECMAScript,
realizada através de browsers específicos que ou de forma interna, apenas possível por linguagens de
consistem em aplicações capazes de interpretar e script.
processar os arquivos X3D, apresentando os modelos Adicionalmente, o autor pode obter dados sobre as
tridimensionais, animados ou não, e permitindo configurações do browser e manipulá-las a partir de
interações do usuário com os objetos. Estes browsers, aplicações externas. A SAI provê métodos para que o
comumente chamados de navegadores ou players, desenvolvedor seja capaz de instanciar browsers X3D
podem se apresentar como plugins ou applets em com as configurações desejadas a partir de linguagens
navegadores Web, como o Internet Explorer ou de programação. Como exemplo pode ser citado o
Mozilla Firefox, ou como aplicações independentes browser Xj3D, que foi desenvolvido na linguagem de
[11]. programação Java, e disponibiliza a API SAI para que
Nós X3D são os elementos fundamentais que criadores de ambientes virtuais X3D que utilizarem o
compõem o grafo de cena. Cada nó é formado por uma Xj3D como browser possam ter acesso ao grafo de
seqüência dos campos que o representa. Estes nós e cena e configurações do browser.
seus agrupamentos descrevem as funcionalidades Muitos programas que utilizam ambientes virtuais
disponibilizadas pelo X3D utilizadas para descrição e X3D precisam de uma diferente interface gráfica que
comportamentos dos objetos nos ambientes virtuais. se adapte às necessidades de sua aplicação. Este é um
Os campos servem para especificar os atributos e dos motivos pelo qual o Xj3D é bastante utilizado no
características dos nós X3D. âmbito acadêmico [16, 17] (pesquisas científicas, teses
A interatividade de uma cena X3D pode ser de mestrado), pois provê uma fácil readaptação da
caracterizada por mudanças de posição, orientação, interface gráfica do usuário através da integração de
tamanho, cores ou outras características pertinentes aos sua API SAI com o pacote Swing de Java.
campos do nó X3D, resultando em uma animação.
Eventos e rotas são as funcionalidades do X3D que 4. O Museu Virtual 3I
permitem adicionar tais comportamentos a objetos do
ambiente virtual de forma simples. Para interações O Museu Virtual Tridimensional 3I (Imersivo,
mais complexas são utilizados o nó Script e a API SAI Interativo e Itinerante) consiste de um ambiente virtual
(Scene Access Interface) que permite o controle do que representará um museu com capacidade de
grafo de cena através de linguagens de programação exposições itinerantes. Para tal, o visitante terá a
[14]. oportunidade de escolher (enquanto navega no
ambiente) quais peças 3D deseja visualizar em sua
3.1. SAI (Scene Access Interface) exposição. As peças escolhidas serão carregadas e o
usuário terá a oportunidade de interagir com as
Os objetivos da maioria dos ambientes virtuais mesmas. Outro fator interessante é que qualquer pessoa
tridimensionais são de prover ao usuário um grau de pode ser o “curador” do museu, e adicionar novas
imersão que o faça esquecer que está em uma obras no acervo do museu (banco de modelos 3D).
simulação [15]. Seja na representação de ambientes
reais ou imaginários, tais mundos possuem alto grau de 4.1. Arquitetura Proposta
complexidade para representar os comportamentos dos
mesmos. Neste contexto, a SAI proveniente do X3D Através da Figura 4 pode-se observar a Arquitetura
apresenta-se como alternativa para estas finalidades. do Museu Virtual 3I proposta. Esta arquitetura é
A SAI é o conjunto de serviços padrão composta por três módulos: Aplicação - Visitante do
especificados pelo grupo Web3D, que são Museu, Aplicação – Curador do Museu, e Base de
disponibilizados pelos browsers X3D para que um Acervos. Dessa maneira o museu dará ao visitante a
62
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
capacidade de criar suas próprias exposições novas peças à Base de Acervo, e listar todas as obras
itinerantes, em tempo-real de navegação. para editá-las ou excluí-las.
4.2. Desenvolvimento
63
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
forma análoga: através da rede o Curador poderá processo de adequação da peça, envia-se a obra para o
adicionar novas obras na Base de Acervos, assim como acervo clicando no botão “Enviar Peça para o Acervo”.
excluí-las, ou carregá-las para uma possível A Figura 7 apresenta uma captura de tela da interface
atualização. gráfica desta aplicação.
Após a conclusão de todas as implementações e
configurações no módulo da Base de Acervos, serão
adicionadas as primeiras obras de arte no mesmo, para
que o Museu Virtual 3I esteja disponível para as
primeiras exposições.
No desenvolvimento do módulo da Aplicação –
Curador do Museu foi definida a seguinte etapa:
desenvolvimento da aplicação e interface
gráfica a ser utilizado pelo curador;
A interface gráfica da Aplicação – Curador do
Museu será desenvolvida analogamente à interface
gráfica do Visitante do Museu, sendo utilizadas as
mesmas ferramentas. Nesta aplicação, o curador Figura 5 – Entrada do Museu Virtual 3I.
poderá carregar sua própria obra de arte, visualizando-
a no browser Xj3D embutido na aplicação. Neste
visualizador será carregado o ambiente virtual do
Curador do museu, que possuirá uma pilastra e um
painel textual. O Curador terá a capacidade de ajustar
sua obra de arte sobre a pilastra, escalonando e
transladando-a, até que a mesma se adéqüe
perfeitamente ao ambiente. Além disto, será possível
adicionar um texto descritivo ao painel textual, com
uma imagem ilustrativa, para que o visitante possa
obter mais informações sobre a peça exposta. Com
todos os ajustes efetuados, a peça poderá ser enviada à
Base de Acervos, tornado-se disponível à exposição no Figura 6 – Vista interna do Museu Virtual 3I.
Museu Virtual 3I.
5. Resultados
Como resultados parciais foram obtidos
aproximadamente 70% do Museu Virtual 3I modelado.
Para que o visitante sinta-se imerso em um museu,
foram utilizados objetos que freqüentemente compõem
um museu como: parede de tijolos envelhecidos, piso
de taco, escadaria, esculturas de arte, colunas, etc. A
Figura 5 exibe a entrada do museu com os itens
anteriormente citados. Já a Figura 6, mostra o visitante Figura 7 – Interface gráfica da Aplicação –
no primeiro piso, visualizando a parte interna do Curador do Museu.
museu.
Atualmente, a Aplicação – Curador do Museu
possui uma única opção implementada: adicionar peça. 6. Considerações Finais
Nesta opção o Curador poderá carregar o arquivo de
seu computador no visualizador acoplado (Xj3D), e Pode-se observar que o Museu Virtual 3I aproveitou
ajustar o correspondente modelo tridimensional à algumas características importantes de outros trabalhos
pilastra. Para isso, devem-se preencher os campos correlatos, como a capacidade de adicionar novas obras
translação e escala, e clicar no botão “Atualizar no acervo (curador), e capacidade de interação que o
Cenário” para verificar a nova posição da peça. Além visitante terá com a peça tridimensional.
disto, o Curador poderá adicionar um texto descritivo Adicionalmente, no Museu 3I o visitante terá a
sobre a obra, e carregar uma imagem ilustrativa da oportunidade de escolher quais peças deseja visualizar
mesma, que serão dispostos no painel textual na sua exposição, ao mesmo tempo em que navega no
posicionado ao lado da pilastra. Ao final de todo esse museu.
64
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
O projeto Museus Virtuais 3I está em [6] Marques, M.A.; Costa, T.K.L.; Machado, L.S.; Nettos,
desenvolvimento. Como próximas etapas, foram C.X.A. (2009) Representação do Sítio Arqueológico da Pedra
definidas a finalização da comunicação entre os de Ingá com Realidade Virtual. In: Anais do Workshop de
módulos Aplicação - Curador do Museu e Aplicação - Realidade Virtual e Aumentada, Santos, Brazil.
Visitante do Museu com a Base de Acervos, [7] Marçal, E., Santos, R., Vidal, C., Andrade, R., Rios, R.
modelagem tridimensional do museu, e finalização da (2005) “museuM: Uma Aplicação de m-Learning com
implementação da Aplicação – Visitante do Museu. Na Realidade Virtual”, em Seminário Integrado de Software e
Aplicação – Curador do Museu, visa-se implementar Hardware (SEMISH).
mais duas opções: excluir peça, e listar acervo.
Após a conclusão das etapas anteriormente citadas, [8] Seára, E. F. R., Benitti, F. B. V., Raabe, A. (2005) “ A
tem-se como objetivo a disponibilização do Museu Construção de um Museu Virtual 3D para o Ensino
Virtual 3I via Internet, mais especificamente através de Fundamental”, em INFOCOMP (Journal of Computer
uma applet. Para tal, a Base de Acervos contará Science).
inicialmente com duas seções de obras tridimensionais,
uma de objetos arqueológicos, e outra contendo [9] Monnerat, M.C., Romano, P. S. R., Grilo, O. N.,
estruturas da anatomia facial. Haguenauer, C., Azevedo S. A. K., Cunha, G. G. (2008)
Finalmente, uma avaliação mais precisa do Museu “Exposição virtual de vertebrados fósseis do Museu Nacional
3I será realizada com o objetivo de verificar a da UFRJ”, em Congresso Brasileiro de Pesquisa e
Desenvolvimento em Design.
usabilidade e aceitação entre diversos usuários de
perfis diferentes. [10] Brutzman, D., Daly, L., (2007) “X3D: 3D Graphics for
Web Authors”. Morgan Kaufmann Publishers.
7. Agradecimentos
[11] Web3D Consortium, “X3D – FAQ (Frequented Asked
Este trabalho insere-se no contexto do sub-projeto Questions)”. Online:
Arte Itinerante com Museus Virtuais vinculado ao http://www.lsi.usp.br/~lsoares/x3d/faq.html. Acesso em:
agosto/2010.
projeto Virtualidade Imersiva e Interativa baseada em
Cloud Computing financiado pelo Ministério da [12] Web3D, “X3D Public Specifications”. Online:
Cultura através do edital XPTA.Labs. www.web3d.org/x3d/specifications. Acesso em agosto/2010.
65
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
66
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
O sítio é constituído por um terreno rochoso e Com intuito de preservar o patrimônio histórico
que possui inscrições rupestres cravadas nas rochas. e cultural do sítio arqueológico foi idealizado um
Sua mais importante peça é a formação rochosa ambiente virtual que representasse o sítio em toda sua
conhecida como Pedra do Ingá, que possui 16 dos seus extensão [3]. Além da representação virtual do sítio foi
23 metros de extensão coberto de figuras insculpidas, proposta a inclusão de informações importantes a
além de diversas figuras espalhadas por todo o sítio. A respeito do mesmo através de diferentes mídias, como
origem dessas inscrições é ainda desconhecida e pela textos, imagens e vídeos. Deste modo, o ambiente
sua complexidade e mistério existem diferentes teorias virtual passa a representar não apenas o ambiente real,
e mitos que rondam a pedra e a origem das gravuras. mas adiciona a este materiais complementares com
Mitos populares falam a respeito de tesouros informações relacionadas a tradição popular,
escondidos no interior da pedra que nunca foram arqueologia e geografia do local.
encontrados. A respeito das insculturas, alguns
pesquisadores que visitaram a região atribuem as 3. Desenvolvimento
gravuras a aborígines que lá viviam. Já os ufanistas
atribuem a autoria a extraterrestres que Para a implementação do sistema foram estudadas
confeccionaram as pedras através de raio laser. As diversas ferramentas. O objetivo principal era permitir
Figuras 1 e 2 mostram algumas gravuras encontradas a navegação no cenário virtual, bem como permitir a
no sítio. interação com seus diversos elementos. Foram
consideradas motores de jogos, como Panda3D e
Ogre3D, pela facilidade de tratamento gráfico,
navegabilidade e interatividade. Entretanto, a
necessidade de disponibilização do conteúdo pela Web
era um dos requisitos do projeto, razão pela qual foi
escolhida o X3D.
X3D (Extensible 3D) é o padrão adotado
internacionalmente para 3D na Web[4]. Ele é utilizado
para construir ambientes virtuais tridimensionais
complexos (também chamados de cenas). Ele é um
padrão aberto que permite descrever em um arquivo
formas e comportamentos de um ambiente virtual. As
Figura 1 – Visão Lateral da Pedra de Ingá formas são descritas por figuras geométricas e os
comportamentos da cena podem ser controlados
internamente pelo arquivo X3D e externamente por
linguagens de programação ou script.
A escolha do X3D como ferramenta de
implementação deveu-se também ao suporte das mais
diversas mídias e formas de interação, inclusive
contendo APIs que adicionam diversas
funcionalidades às já existentes como a H3D, que
possibilita a integração de dispositivos hápticos à cena
X3D[5].
Outra etapa relacionada ao projeto foi a
Figura 2 – Figuras na parte superior da pedra definição da plataforma de execução, ou seja, do
browser X3D a ser utilizado. Browsers X3D consistem
Apesar da sua importância, a infra-estrutura de em aplicações capazes de interpretar e processar as
acesso do sítio encontra-se em estado precário, sem os cenas (arquivos X3D), apresentando os modelos
devidos investimentos na sua conservação. Além tridimensionais, animados ou não, e permitindo
disso, têm-se os fatores naturais que também interações do usuário com os objetos[6]. A escolha
cooperam para a degradação do local. Fatores esses do browser deve ser feita de acordo com as
como a poluição do rio Ingá, localizado dentro do sítio necessidades do Ambiente Virtual a ser construído.
e que em épocas de cheia chega a cobrir a pedra Com isso, foi definida a utilização do browser Xj3D
completamente, causando erosão da sua superfície. [7], software de código aberto que possibilita a
67
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
integração do ambiente com scripts na linguagem de Logo após essa etapa pontos importantes do sítio,
programação Java. como o rio e a pedra de Ingá, que dá nome ao sítio,
As seções seguintes tratarão com mais detalhes foram localizados no cenário. Para o modelo da pedra
os aspectos relacionados à implementação com o X3D. cogitou-se realizar o escaneamento da pedra em toda a
sua extensão utilizando um scanner 3D. Uma
3.1. Modelagem do Cenário vantagem dessa abordagem é a quantidade de detalhes
conseguidos. Embora apresente precisão, este processo
Antes da concepção do cenário foi feita uma coleta tornou-se inviável pelo tamanho do modelo gerado,
prévia de dados do terreno do sítio e então se deu visto que a pedra tem uma extensão superior a 2
início o processo de sua modelagem. Para obtenção do metros. Outra opção cogitada foi utilizar a técnica de
relevo do local, partiu-se de um modelo numérico de escultura do Blender3d. Nesta técnica realiza-se a
terreno com informações de altitude do terreno modificação ponto a ponto e por curvas do modelo em
representadas através de curvas de nível (Figura 3). um processo minucioso e detalhado. Embora a pedra
ficasse com aspecto realista, o modelo gerado também
ficou demasiadamente grande, o que poderia
impossibilitar a visualização do mesmo em
computadores populares, bem como dificultar o
tráfego do ambiente pela rede.
Estudando técnicas alternativas, chegou-se à
técnica chamada Normal Mapping [8].Esta técnica,
muito utilizada no desenvolvimento de jogos,
possibilita a diminuição da quantidade de polígonos
na malha do objeto através da associação de texturas,
Figura 3 – Modelo numérico de terreno e curvas que funcionam como um mapa de incidência da luz na
de altitude. superfície, criando um efeito de profundidade. Esta
técnica é implementada no X3D através do nó
Com o modelo numérico e as curvas de nível MultiTexture, que especifica a aplicação de diversas
utilizou-se um software de modelagem para juntar os texturas em um mesmo objeto [9]. Para obter o efeito
pontos e transformá-los em uma malha poligonal. O do Normal Mapping no X3D é necessário ativar o
Blender3d [8] foi escolhido para esta tarefa pois, além modo “DOTPRODUCT3”,como primeiro argumento e
de ser livre, possui todas as ferramentas necessárias “MODULATE” no segundo. O primeiro argumento é
para a modelagem de um ambiente virtual do porte do seguido então pela url da imagem contendo o mapa de
presente projeto. Outra característica importante na normais que deverá ser aplicado no objeto e no
escolha do modelador foi a possibilidade de exportar segundo a imagem contendo a textura que será
os modelos em diversos formatos, inclusive no formato combinada à primeira para obter o efeito desejado.
X3D. Após a geração da malha do terreno foram Outra alteração necessária no arquivo X3D é a
aplicadas as texturas ao modelo exportado. O modelo inclusão do nó MultiTextureCoordinate de modo a
texturizado foi testado no browser Xj3D. A Figura 4 conter todos os nós TextureCoordinate presentes no
mostra o modelo do terreno já renderizado no Xj3D. arquivo X3D, que contem as coordenadas de textura
de cada imagem definida no nó MultiTexture, sejam
elas o quanto for.Um exemplo de como isso é feito
pode ser observado nas figuras 5 e 6.
Figura 5 – Represent
68
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Figura 6 – Representação do Nó
MultiTextureCoordinate
(c)
Figura 7 – (a) Mapa de Normais (b) Textura
Aplicada no Objeto
(c) Modelo Final Texturizado no Xj3D utilizando
a técnica de Normal Mapping.
3.2. Sensores
69
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
70
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
71
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
72
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
73
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
próximo objeto), “Transporte” (transporta o objeto) e utilizando o “Controle” mais uma vez, a visualização
“Cópia” (copia o objeto). retornará para o primeiro elemento, que é o Sol.
74
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
75
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
8. Referências
[1] R. Santin, “SACRA - Sistema de Autoria em Ambiente
Colaborativo com Realidade Aumentada”, Dissertação –
Figura 10. Sistema solar em realidade virtual. Ciência da Computação, UNIMEP, Piracicaba, 2008.
Considerando-se que existem diferentes tipos de [2] SACRA, “Software, tutoriais e aplicações”. Disponível
usuários, com expectativas distintas, foram em: <http://www.ckirner.com/sacra>. Acesso em: 22 ago.
disponibilizadas três opções de utilização do Sol-RA: 2010.
Sol-RA Iniciante: O módulo iniciante contém
textos 3D e sons, que dão informações sobre o [3] Ciências na Escola, Sistema Solar Virtual. Disponível em:
sistema solar e guiam o usuário na utilização do < http://www.slideshare.net/coelhoelectrico/sistema-solar-
virtualx3d>. Acesso em: 25 ago. 2010.
Sol-RA com os marcadores.
Sol-RA Avançado: Corresponde à versão [4] Augmented Reality Science Book, Solar System,
iniciante sem as instruções de utilização, Diponível em: <http://vimeo.com/13102880>. Acesso em: 25
tornando a aplicação mais confortável para quem ago. 2010.
já conhece o sistema.
Livro Sol-RA: É um livro que contém o estudo [5] Mindspace solutions, Solar System Builder. Disponível
sobre o Sistema Solar, compreendendo desde em:<http://www.mindspacesolutions.com/html/solar_builder.
curiosidades até informações mais complexas. html>. Acesso em: 25 ago. 2010.
Ele faz uso de marcadores impressos em suas
páginas, de onde sairão os objetos 3D e os sons. [6] Dailymotion, Discover the Planets - Augmented Reality.
Disponível em:
<http://www.dailymotion.com/video/xbhzjo_imaginality-
6. Conclusão discover-the-planets-au_tech>. Acesso em: 25 ago. 2010.
Este trabalho abordou o desenvolvimento do [7] C. Kirner, R. Santin, “Interaction, Collaboration and
Sistema Solar com Realidade Aumentada (Sol-RA), Authoring in Augmented Reality Environments”, Proceedings
explorando textos, sons, imagens, animações e of XI Symposium on Virtual and Augmented Reality, Porto
exercícios para fixação de aprendizagem sobre o tema. Alegre: SBC, 2009, p. 210-220.
O projeto utilizou a ferramenta SACRA como base
para o seu desenvolvimento, o que permitiu utilizar [8] K.S. Aquino, W.A. Silva, E.A. Lamounier, M.W. Ribeiro,
marcadores para mostrar e interagir com os cenários 3D A. Cardoso, N. Fortes, “Uma ferramenta para o auxilio ao
ensino da astronomia para alunos do ensino fundamental
estáticos e animados.
utilizando a Realidade Virtual como tecnologia”. Disponível
A integração de recursos foi importante para a em: <http://www2.fc.unesp.br/wrva/artigos/50125.pdf>.
obtenção de ambientes mais interativos e motivadores, Acesso em 25 ago. 2010.
para o usuário final.
A principal contribuição do projeto refere-se à [9] R. Santin, C. Kirner, “ARToolKit: Conceitos e Ferramenta
integração de recursos (textos, sons, imagens e de Autoria Colaborativa”, In: Siscouto, R., R. Costa (Org.),
animações) e sua utilização para fornecer informações Realidade Virtual e Aumentada: Uma Abordagem
sobre o Sistema Solar. Complementarmente, buscou-se Tecnológica, SBC, Porto Alegre, 2008, p. 3-13.
apoiar o usuário na manipulação do sistema, facilitando
a utilização nas fases iniciais. [10] E. Martioli, O rebaixamento de Plutão. Disponível em:
Como continuação do projeto Sol-RA, pretende-se <http://www.comciencia.br/comciencia/?section=8&edicao=2
7&id=310>. Acesso em: 23 ago. 2010.
implementar novas interações, pontos de vista
específicos e novos exercícios de fixação. [11] M. Billinghurst, and H. Kato. Collaborative Augmented
O sistema Sol-RA será disponibilizado para uso Reality, Communications of the ACM, Jul. 2002, p. 64-70.
livre e espera-se que ele ajude professores, alunos e
demais interessados a entender melhor o Sistema Solar
e facilitar a aprendizagem sobre este tema.
76
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 4
TÉCNICAS DE INTERAÇÃO
77
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
78
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
captura a imagem original e realiza a distribuição de identificação dos sinais. O processo de segmentação
cores em um modelo de histograma, criando um padrão utilizará apenas o algoritmo de Sobel, pois a utilização
de cor a ser rastreado [3]. Após a segmentação pelo de classificadores torna desnecessário extrair o fundo
histograma – que para o caso do rastreamento da mão com o algoritmo CamShift, o que reduz
como área de interesse o mais comum a ser utilizado é consideravelmente os ruídos, pois realizando-se a
a cor da pele – existem vários algoritmos disponíveis análise diretamente na imagem segmentada a
na biblioteca de detecção de bordas, tendo como um quantidade de decisões do classificador será menor e
dos mais utilizados o algoritmo de Sobel [3]. Com a dessa forma o processamento será mais rápido e
borda da imagem extraída pelo algoritmo de Sobel a preciso. Além disso, a quantidade de imagens
última etapa é realizar a comparação com um template necessárias para realizar o treinamento de cada sinal
pré-definido através de uma técnica conhecida como será bem menor.
Shape Matching [3] que é responsável por encontrar
semelhanças entre as imagens capturadas e o template, 3. Metodologia
respeitando certa taxa de erro.
Toda a técnica descrita no parágrafo anterior faz O desenvolvimento do algoritmo de reconhecimento
parte de uma pesquisa realizada por [1] que será baseado em contornos e em classificadores,
demonstrou bons resultados na segmentação e no possibilitando um melhor desempenho para o
rastreamento dos gestos, porém existem técnicas rastreamento em tempo real. Sendo assim, será
similares que também apresentam resultados utilizado a biblioteca OpenCV (Open Computer
satisfatórios, mas que para a comparação das Vision), criada pela Intel e disponível para utilização
características extraídas utilizam métodos de sem limitações.
classificação dos dados através de parâmetros definidos A utilização da biblioteca facilitara muito o
em um vetor, onde o autor [8] armazenou os mesmos desenvolvimento do aplicativo final, pois reúne todos
em uma base de dados e posteriormente os utilizou os recursos necessários para cada etapa do
para análise dos gestos. reconhecimento como, por exemplo, algoritmos para
Outra proposta interessante é a utilização de detecção de bordas, captura de imagens da webcam e
classificadores [3], proposto inicialmente por [9], comparação com as características definidas nos
através da qual o sistema é capaz de identificar com classificadores. As etapas de reconhecimento consistem
velocidade os objetos, pois não depende de imagens basicamente em capturar as imagens dinâmicas pela
em seqüência ou de um padrão de cores como em webcam, utilizar o classificador criado por [5],
outras técnicas. O sistema utiliza a informação presente responsável por realizar o reconhecimento da mão
nas imagens capturadas em tons de cinza para realizar fechada para definir a área de interesse, aplicar o
o rastreamento. Esta técnica exige o treinamento do algoritmo de Sobel, responsável por extrair o contorno
classificador com muitas imagens para que se atinja da imagem e realizar a análise com os classificadores
uma precisão satisfatória, ela cria uma cascata de treinados para identificar os sinais de Libras.
características em que a análise é realizada pelas A etapa mais importante para atingir a qualidade
diferenças de intensidade entre regiões distintas. O desejada é a criação dos classificadores mencionados
processo de treinamento, como mencionado acima, anteriormente (ultima etapa), pois os mesmos serão
exige muitas imagens e capacidade de processamento responsáveis por analisar as imagens após a aplicação
para desenvolver um classificador preciso e robusto. do filtro de Sobel, mas para atingir a precisão desejada
A proposta inicial para esse projeto era utilizar será necessário realizar o treinamento de cada sinal
técnicas como as mencionadas na pesquisa de [1]. com um número considerável de imagens. Esse
Entretanto, durante o desenvolvimento foi possível processo, entretanto, será muito mais simplificado em
identificar uma abordagem mais simplificada comparação aos classificadores disponíveis pela
garantindo-se atingir resultados precisos e concretos, a própria biblioteca, pois as imagens utilizadas no
partir da utilização de classificadores e detectores de treinamento já estão segmentadas pelo algoritmo de
bordas para realizar o rastreamento. O sistema utilizará Sobel, o que elimina um considerável número de
um classificador criado por [5] que realiza o características.
reconhecimento da mão fechada, em que o usuário
poderá definir a área de interesse para executar os 4. Desenvolvimento
sinais de Libras. Após a definição, será aplicado o
algoritmo de Sobel para extrair as bordas das imagens O sistema será totalmente baseado na utilização de
por meio da utilização dos classificadores Haar para classificadores e na detecção de contornos. Desta
79
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
forma, antes de aprofundar em cada etapa do processo, comparadas a características armazenadas em uma
é necessário entender a metodologia básica envolvendo arvore de decisões, que é desenvolvida através de um
a técnica da cascata de classificadores. algoritmo de treinamento e um conjunto de imagens
A pesquisa foi desenvolvida em etapas com o das quais são extraídas características especificas do
objetivo de facilitar e garantir a qualidade desejada, objeto a ser rastreado.
pois como o processo será realizado de uma forma Para realizar o treinamento do classificador é
mais simplificada em relação a outras técnicas necessário reunir um conjunto de imagens contendo o
mencionadas anteriormente, a etapa mais importante e objeto de interesse, em diversas condições de
que definirá a precisão do mecanismo é a criação dos iluminação e em posições diferentes. Este conjunto é
classificadores que serão utilizados para realizar o chamado de amostras positivas. Após a criação das
rastreamento dos sinais. Durante essa seção serão amostras positivas, é necessário reunir outro conjunto
apresentadas as informações básicas de cada etapa e o de imagens aleatórias onde o objeto de interesse não
andamento das pesquisas que ainda não foram esteja incluído. Este outro conjunto é chamado de
finalizadas, pois como será demonstrado a seguir o amostras negativas. Com a criação das amostras
sistema já é capaz de rastrear um sinal com precisão, positivas e negativas é necessário apenas executar o
mas ainda é necessário repetir o processo de algoritmo de treinamento que criara uma cascata de
treinamento dos classificadores para os demais sinais classificadores, onde todas as características do objeto
de Libras. serão armazenadas para posteriormente serem
utilizadas na análise da imagem.
4.1. Cascata de Classificadores O termo “cascata” é utilizado porque o algoritmo de
treinamento cria uma série de classificadores que são
A cascata de classificadores [9] é uma analisados em seqüência, até que um padrão seja
funcionalidade da biblioteca OpenCV que é identificado. A Figura 2 mostra uma parte da cascata
responsável por identificar vários tipos de objetos em de classificadores que está disponível na biblioteca e
uma imagem, mas que ficou conhecida principalmente que é utilizada para realizar o rastreamento da face.
pelo reconhecimento da face como mostra o programa
de exemplo FaceDetect disponível na biblioteca e a
Figura 1.
80
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
teclado ou o mouse, utilizando especificamente algoritmo escolhido para realizar essa etapa da
imagens capturadas de uma webcam. Sendo assim, uma pesquisa é o operador de Sobel, que realiza uma análise
das etapas mais importantes é a captura da imagem, na imagem original a fim de localizar diferenças de
pois é a forma de entrada dos dados que serão tratados intensidades muito grandes entre regiões vizinhas e,
e analisados para realizar o reconhecimento dos sinais. assim, retornar essas regiões destacadas em uma escala
A utilização da biblioteca OpenCV facilita esta etapa, de tons de cinza, o que caracteriza as bordas do objeto.
pois possui recursos de captura de imagens de uma Com a aplicação desse tipo de filtro, obtêm-se
webcam ou de arquivos de vídeos através da utilização resultados muito bons, como mostra a Figura 4. Porém,
de comandos como cvCaptureFromCAM e sem a utilização de algoritmos de segmentação por cor
cvCaptureFromAVI. de pele como o CamShift, o resultado contem muitos
ruídos, que poderiam prejudicar a detecção dos sinais.
4.3. Seleção da Região de Interesse - ROI Mas como a proposta dessa pesquisa é realizar o
rastreamento através de classificadores treinados a
As pesquisas relacionadas à visão computacional e a partir de imagens, em que o algoritmo de Sobel já tenha
reconhecimento de gestos utilizam como uma das sido aplicado, pode-se afirmar que o reconhecimento é
principais técnicas a aplicação de filtros e análise das mais rápido, mais preciso e mais robusto quando
imagens a partir de uma área segmentada, ou seja, comparado aos resultados obtidos a partir da aplicação
utiliza determinados critérios para identificar uma de outras técnicas.
região de interesse na imagem original, o que reduz
consideravelmente a quantidade de processamento para
identificar o objeto desejado.
Considerando várias técnicas abordadas
anteriormente para realizar a segmentação da região de
interesse, esse projeto tem como característica a
utilização de um classificador [5], que realiza o
reconhecimento da mão fechada, selecionando assim a Figura 4 – A esquerda uma imagem original extraída de
ROI. Porém, para que uma nova ROI seja determinada, uma webcam e a direita a mesma imagem após
é necessário limpar a mesma através da ação de um aplicação do algoritmo de Sobel.
botão e iniciar novamente o reconhecimento utilizando
o classificador, como mostra a Figura 3. 4.5. Treinamento do Classificador
81
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
82
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
[1] BARBOSA, Bernardo; SILVA, Júlio. Interação Humano [9] VIOLA, Paul; JONES, Michael. Robust Real-time
- Computador usando Visão Computacional. Revista Teccen: Object Detection. In: SECOND INTERNATIONAL
Edição Especial, Rio de Janeiro, v. 2, n. 1, p.9-16, mar. 2009. WORKSHOP ON STATISTICAL AND
COMPUTATIONAL THEORIES OF, 2., 2001,
[2] BARNES, David. OpenCV HaarTraining - Object Vancouver. Anais... . Vancouver: Second International
Detection with a Cascade of Boosted Classifiers Based on
Workshop On Statistical And Computational Theories
Haar-like Features. Disponível em: <:
http://www.quotientrobotics.com/2010/04/opencv- Of Vision, 2001. p. 1 - 25.
83
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
84
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ao problema encontrado. A Seção 3 descreve a interface de pode ser feito ou que ele é simplesmente indesejado. Este
controle do dispositivo, enquanto que a Seção 4 descreve é o caso, por exemplo, de um AV colaborativo no qual o
os aspectos da implementação do Fingertrax. A Seção 5 usuário precisa se conversar com outros participantes.
aborda o ambiente de testes e configurações experimentais Uma caracterı́stica comum a todos os mecanismos de
utilizadas, cujos resultados são discutidos na Seção 6. Por navegação encontrados é a necessidade da utilização de dis-
fim, a última seção conclui o estudo. positivos de entrada e saı́da pouco acessı́veis. A utilização
de dispositivos já consolidados facilita a propagação do
2. Trabalhos Relacionados mecanismo de navegação, na medida em que o acesso ao
mesmo depende de menos fatores.
As técnicas de navegação e deslocamento em ambientes
virtuais têm se utilizado de inúmeras abordagens para ten- 3. Interface de Navegação
tar proporcionar uma melhor experiência para o usuário ou
suprir uma necessidade de uma aplicação especı́fica. Pode- O sistema de controle de navegação proposto utiliza uma
mos categorizá-las em diferentes áreas como manipulação webcam comum, que em geral já está disponı́vel em com-
direta do ambiente utilizando gestos, manipulação indireta putadores portáteis e possui uma baixo custo para aquisição
utilizando dispositivos de mão, identificação de gestos cor- se comparado, por exemplo, a um rastreador 3D.
porais e reconhecimento de comandos de voz. Para efeitos de simplificação e definição do escopo deste
Técnicas para mover e orbitar objetos especificados fo- estudo, estamos considerando apenas o deslocamento de
ram apresentadas, por exemplo, em [13, 8, 12]. Contudo, uma câmera virtual restrito ao plano, com representação
essas técnicas geralmente requerem uma grande quantidade egocêntrica (primeira pessoa).
de aprendizado para o usuário conseguir utilizá-las com de- O modelo de navegação em ambiente virtual 3D de
senvoltura, além de sempre ser necessária a utilização de mesa mais utilizado combina dois periféricos: mouse e te-
algum dispositivo em suas mãos, o que impede a execução clado. Neste paradigma, o mouse e teclado são utiliza-
de outras tarefas. dos em conjunto para controlar, respectivamente, o desloca-
Uma abordagem mais geral e menos comumente ex- mento (translações) e orientação (rotações) da câmera vir-
plorada é o mapeamento de movimentos corporais direta- tual. Este modelo ganhou popularidade nos anos 90, ao ser
mente para o ambiente de navegação. Fuhrmann et al. [7], introduzido para controlar navegação egocêntrica em jogos
por exemplo, desenvolveu um sistema em que a orientação eletrônicos populares, como o Wolfstein 3D [9]. Sendo as-
da cabeça determina a direção e velocidade da navegação. sim, utilizamos esse paradigma, doravante denominado de
Essa técnica apresenta a vantagem de não necessitar de ne- M&T, como modelo base para nossa interface de controle.
nhum equipamento extra a não ser o rastreador de cabeça. O teclado é responsável pela movimentação do usuário
Porém, a sistema possui a desvantagem de interpretar movi- no ambiente, batizado de movimentação “w-a-s-d”. Neste
mentos habituais da cabeça do usuário como comandos de sistema o controle sobre a direção de deslocamento é feita
navegação. relativa ao vetor de visão (look-at) do usuário. O pressio-
Uma técnica alternativa [14] que também é baseada em namento das teclas “w” (ou “↑”) e “s” (ou “↓”) provocam
rastreamento de cabeça é controlar a navegação fazendo o o deslocamento da câmera de um certo montante, ∆F , para
usuário “caminhar” sem sair do lugar. A velocidade do frente e para trás, respectivamente, na direção do vetor de
movimento está associada com a velocidade dos passos do ~
visão (lookat). O pressionamento das teclas “a” (ou “←”) e
usuário, mas a direção do movimento continua associada à “d” (ou “→”), provocam o deslocamento lateral da câmera
posição da cabeça. De uma maneira geral, é possı́vel no- de um certo montante, ∆S, para esquerda e direita. A Fi-
tar que os estudos que propõem sistemas de navegação ba- gura 1 ilustra este mapeamento.
seados no mapeamento de movimentos corporais normal- A mudança na orientação da câmera virtual é realizada
mente são baseados na utilização dispositivos de rastrea- através de deslocamentos relativos do mouse. Deslocamen-
mento 3D. Estes mecanismo possuem duas desvantagens: tos horizontais de mouse, δmousex , para esquerda ou direita
normalmente são caros (e.g. rastreadores magnéticos ou são mapeados para deslocamento angular horizontal (azi-
óticos), e requerem espaço fı́sico amplo para sua instalação mute), θcamera , do mundo virtual. Deslocamentos verti-
e utilização. cais de mouse, δmousey , para cima ou baixo são mapeados
A outra categoria é de sistemas de navegação basea- para deslocamento angular vertical (elevação), φcamera , do
dos em reconhecimento de voz. A fala permite que o mundo virtual.
usuário indique parâmetros de navegação e pode ser utili- A interface de controle definida para o sistema Fingertrax
zada em conjunto com os gestos para proporcionar contro- é baseada no uso de uma webcam. Além destes dispositivos,
les de navegação mais imersivos [6, 10]. Entretanto, exis- o usuário deve utilizar um anel plástico em um dos dedos.
tem algumas situações em que o reconhecimento de fala não Fingertrax utiliza algoritmos de visão computacional para
85
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
86
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
87
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
No inı́cio do experimento, todos usuários ouviam uma A quantidade de alvos errados foi menor quando os
explicação acerca da utilização do Fingertrax, seguida de usuários utilizaram o M&T ao invés do Fingertrax (ver Fi-
uma rápida demonstração de aproximadamente 2 minutos. gura 6). O indivı́duo que mais errou utilizando o mouse e
Após essa etapa, o usuário dispunha de uma sessão de trei- teclado, o fez 58 vezes. A maior quantidade de erros com
namento de 5 minutos de duração, na qual devia executar o Fingertrax foi 52. Contudo, o indivı́duo que menos errou
exatamente as mesmas tarefas do teste: locomover-se pelo usando o mouse e teclado, o fez 4 vezes. Usando Fingertrax,
cenário e acertar a maior quantidade de alvos possı́vel. O a menor taxa de erros foi de 7.
treinamento foi incluı́do com o intuito de reduzir a van-
tagem que M&T possuem por serem dispositivos cultural-
mente consolidados.
No final do treinamento, o experimento se iniciava de
fato. O participante tinha 2 minutos para acertar a maior
quantidade de alvos possı́vel utilizando o tratamento ex-
perimental (Fingertrax). O mesmo participante efetuaria
o mesmo procedimento novamente (design intra-sujeito),
dessa vez, utilizando o tratamento padrão (M&T). A or-
dem dos tratamentos foi invertida para metade dos parti-
cipantes. O design experimental intra-sujeito foi escolhida
para aumentar a amostragem do experimento, levando em
consideração que a utilização de um tratamento não inter- Figura 6: Média de erros em cada dispositivo. M&T na es-
fere no desempenho do segundo tratamento na repetição do querda e Fingertrax na direita.
experimento.
A navegação M&T seguia exatamente o modelo tradicio- Finalmente, a taxa de acerto dos usuários em cada dispo-
nal, contudo, estava desprovida de movimentos laterais efe- sitivo é apresentada na Figura 7. O indivı́duo com a maior
tuados pelas teclas “a” e “d”. No fim do experimento, os taxa de acerto com mouse e teclado acertou 92,16% dos
dados obtidos foram a quantidade de tiros certeiros e erra- seus tiros. A maior taxa de acerto com o Fingertrax acertou
dos de cada usuário. 78,79% dos tiros.
5.2.2 Resultados
6. Discussão
Os resultados obtidos mostraram que os usuários quando Os resultados mostraram uma superioridade ampla do
utilizaram o tratamento padrão acertaram, em média, mais mouse em todos os quesitos avaliados. Contudo, o de-
alvos do que quando utilizaram o tratamento experimental sempenho do dispositivo proposto foi suficiente para atestar
(veja a Figura 5). O indivı́duo de melhor pontuação com sua usabilidade e, apesar do pobre desempenho em relação
o tratamento padrão acertou 61 alvos, enquanto a melhor ao mouse, deve ser considerado uma alternativa para a
pontuação do tratamento experimental foi de 40 acertos. A navegação em ambientes virtuais.
88
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Referências
89
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
90
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
comparando o desempenho com a versão de referência valor de probabilidade para cada classe, para cada um
em CPU. dos possíveis resultados do conjunto de testes, ou seja,
O restante do artigo está organizado da seguinte valores.
forma: a seção 2 fornece os conceitos básicos Através de uma abordagem bayesiana semi-
necessários ao entendimento do rastreador usando ingênua, é possível agrupar os testes em conjuntos
Ferns. A seção 3 detalha a arquitetura CUDA utilizada pequenos, e assumir independência entre eles. Com
e as vantagens oferecidas pela mesma. A seção 4 lista isto tem-se
como se deram as alterações no algoritmo original e ∏ (4)
quais pontos específicos foram atacados, no que diz onde os N testes foram divididos em grupos
respeito à paralelização. Por fim, as seções 5 e 6 com testes, e representa o resultado obtido
realizam uma análise dos resultados obtidos com a dos testes do K-ésimo Fern. Utilizando esta
versão implementada e apontam possíveis melhorias e abordagem, é necessário armazenar apenas
trabalhos futuros, respectivamente. valores.
Em uma visão geral, o algoritmo pode ser dividido
2. Ferns em duas partes: treinamento e reconhecimento. Na
etapa de treinamento, o objetivo é construir as
A técnica Ferns foi desenvolvida por Vincent distribuições de probabilidade das classes para cada
Lepetit como sucessão à técnica Randomized Trees, e resultado possível de cada Fern. Essa etapa acontece
ambas tratam o problema do casamento de padrões da seguinte maneira: são geradas várias homografias da
como um problema de classificação [6]. Ele prova, em imagem a ser reconhecida, e de cada uma delas são
seu trabalho, que patches (pedaços de uma imagem) extraídos vários pontos chave. Cada um destes pontos
podem ser classificados se utilizando apenas de testes chave, os quais se sabe a qual classe pertencem, pois a
binários aleatórios de luminância entre pixels, homografia foi gerada pelo algoritmo, é utilizado para
agrupados em estruturas chamadas de Ferns, que gerar a distribuição de probabilidade, sendo os pontos
particionam o espaço entre todos os patches possíveis. chave detectados com maior frequência escolhidos
No trabalho, Lepetit trata todas as aparições possíveis como as classes. A Figura 1, disponível em [7], mostra
dos patches como classes, e os Ferns moldam uma um exemplo do treinamento quando se utiliza apenas
distribuição de probabilidade sobre estas classes. Um três Ferns, cada um deles com três testes. A Figura 2,
grupo de testes não consegue ser discriminativo o também disponível em [7], ilustra o resultado do
suficiente, mas utilizando vários grupos de Ferns, é treinamento.
possível obter bons resultados.
Dessa forma, dado um patch qualquer, o algoritmo
tenta encontrar a classe correspondente a este patch.
Considere todas as classes, e
os resultados dos testes em cada um dos
testes binários. Formalmente, procura-se por
̂ , (1)
onde C é uma variável aleatória que representa a
classe. De acordo com a fórmula de Bayes, pode-se
deduzir que
Figura 1. Cada cor representa uma classe. A
. (2) figura mostra um patch, conhecidamente da
Assumindo uma distribuição uniforme para e classe vermelha, passando por cada Fern. Ao
dado que o denominador representa um fator de escala, final, a probabilidade de um patch da classe
que independe da classe em questão, pode-se entender vermelha passar pelo primeiro Fern e retornar
o problema como a solução de 5 como resultado é incrementada, e assim
sucessivamente.
̂ (3)
A fórmula anterior pode ser interpretada da
seguinte maneira: para cada classe, obtém-se a
probabilidade de dado um patch pertencente a mesma,
os resultados dos testes serem iguais aos observados, e
seleciona-se a maior destas probabilidades. O problema
desta abordagem é a necessidade de armazenar um
91
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
4. Implementação
A metodologia de desenvolvimento adotada nesse
projeto consistiu em inicialmente realizar uma análise
de desempenho sobre o código de referência utilizado
[8]. O código está escrito em C++ e utilizou-se o
Figura 2. Ao final do treinamento teremos as
Microsoft Visual Studio 2008 para compilá-lo. Através
distribuições de probabilidade montadas. da busca por possíveis “gargalos” na execução do
Na fase de reconhecimento, basta passar o patch algoritmo original, verificou-se que aproximadamente
em questão por cada Fern, e somar as distribuições de 99% do tempo é gasto em três etapas: construção da
cada Fern, para cada uma das classes. Finalmente, a pirâmide gaussiana (17,04%), extração de pontos
distribuição com maior valor é escolhida. A Figura 3 chave (11,78%) e classificação dos mesmos utilizando
ilustra este processo. Ferns (70,30%). Uma análise posterior constatou que
todas essas três etapas apresentavam características
favoráveis à paralelização (sequência bem definida de
operações, poucos desvios no fluxo de dados,
independência entre os dados processados etc.). Sendo
assim, este trabalho focou na implementação e
otimização dessas três etapas em GPU.
92
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
cujos valores de largura e altura sejam múltiplos de 48 valores representa a probabilidade do patch analisado
para ser executado. Para tornar o tamanho da imagem pertencer a uma das classes. Após passar por todos os
de entrada genérico, adiciona-se uma segunda borda à Ferns, somam-se as probabilidades associadas com os
imagem, de cor preta, de forma que a imagem se resultados, para no final se ter uma única distribuição
adeque às restrições do algoritmo. A sub-amostragem com valores, onde é o número de classes. Por
implementada em GPU utiliza a mesma convolução do fim, seleciona-se a maior destas probabilidades, e a
passo anterior, porém com kernel de tamanho 5x5. classe associada a ela é a escolhida.
Essa etapa foi paralelizada como um todo, sendo a
4.2. Extração de pontos chave análise de cada patch executada em uma thread
diferente.
A etapa de extração de pontos chave da imagem Durante a inicialização, as distribuições de
tem por objetivo selecionar os patches mais prováveis probabilidade previamente calculadas na fase de
de pertencerem à imagem a ser rastreada, para treinamento são copiadas para a memória da GPU,
posterior utilização na etapa de classificação com assim como os endereços dos pixels dos testes de cada
Ferns. A implementação de referência faz uso do Fern. Os valores dos endereços dos pixels dos testes,
YAPE (Yet Another Point Detector), um extrator de que estão armazenados como deslocamento em X e
pontos chave convencional [9]. deslocamento em Y, são transformados em um valor de
Para cada imagem suavizada nos diferentes níveis deslocamento absoluto dentro da imagem, de acordo
de pirâmide em GPU, calcula-se a sua laplaciana. A com a largura da mesma, para uma otimização nos
partir de comparações e cálculos considerando a 8- testes.
vizinhança de cada pixel, determina-se se o mesmo Na etapa de classificação existe bastante demanda
será considerado um ponto chave. por leitura de memória global para obtenção dos
Para cada ponto selecionado, armazena-se um valores das probabilidades. Por essa razão, utilizou-se
score que representa o quão forte o ponto chave é em memória de textura, para um melhor desempenho, já
relação aos demais. Esta etapa de extração de pontos que a mesma é acessada em blocos de dados e é
chave é completamente realizada em GPU, e o acelerada por uma cache auxiliar.
processo é paralelizado como um todo, ou seja, cada Após a classificação, os pontos são copiados de
pixel é testado se é um ponto chave em uma thread volta para a memória da CPU, e o algoritmo no host
separada, e à medida que novos pontos são executa o restante das operações.
encontrados, eles são salvos em um vetor. Através de
operações atômicas, esses pontos são salvos 5. Resultados
sequencialmente na memória da GPU.
Após a extração dos pontos, eles são ordenados de Todos os testes realizados foram executados em
acordo com o score, com a ajuda de um algoritmo de uma máquina com as seguintes configurações: Core 2
ordenação em GPU pertencente ao SDK de CUDA, Quad Q9400, 2,66 GHz, com 4 GB de RAM, Windows
mais especificamente o Radix Sort. 7 Professional 64 bits, e uma placa de vídeo NVIDIA
GeForce 9800 GX2.
4.3. Classificação dos pontos chave utilizando A entrada do algoritmo, em todos os testes,
Ferns correspondeu a um vídeo que acompanha a distribuição
do código de referência do Ferns [8], no qual uma
A etapa de classificação nos Ferns é a mais pessoa expõe para a câmera, em variadas poses, um
custosa do processo, e tem por objetivo classificar um mousepad com uma imagem de um gato, como mostra
patch da imagem em uma das classes obtidas na etapa a Figura 4. Todos os tempos de execução medidos se
de treinamento. referem ao tempo médio quando o algoritmo é
Conforme explicado anteriormente, armazena-se executado com essa entrada específica, e analisa todos
valores de distribuições de probabilidade, os seus frames. A resolução deste vídeo é de 720x480
onde é a quantidade de classes, é a quantidade de pixels.
testes por Fern e é a quantidade de Ferns, e
pares de endereços de pixels, que representam os testes
binários de cada Fern. Cada ponto chave obtido é
passado por cada Fern, executando assim testes,
e de acordo com o resultado obtido nos testes, obtém-
se valores de distribuições de probabilidade. O
processo é repetido para cada Fern. Cada um destes
93
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
94
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Pretende-se, como trabalhos futuros, implementar [5] Oscar Mateo Lozano and Kazuhiro Otsuka, "Real-time
o algoritmo por completo em GPU, ambas as fases de Visual Tracker by Stream Processing," Journal of Signal
treinamento e rastreamento. Além das novas partes a Processing Systems, vol. 57, no. 2, 2009, pp. 285-295.
serem implementadas, existem muitas otimizações que
podem ser feitas, envolvendo a não utilização de [6] Mustafa Özuysal, Michael Calonder, Vincent Lepetit, and
operações atômicas, melhor utilização dos kernels Pascal Fua, "Fast Keypoint Recognition using Random
Ferns”, TPAMI 32(3), IEEE Computer Society, Washington,
disponíveis, e aplicação da memória de textura sempre
2010, pp. 448-461.
que possível. Além disso, pretende-se implementar
suporte à plataformas multi-GPU e utilizar o conceito
[7] A Semi-Naive Bayesian Classifier for Fast Patch
de threads persistentes, de forma a balancear melhor a Classification.
carga de processamento entre as diferentes threads na http://cvlab.epfl.ch/alumni/oezuysal/ferns.html, 2010.
placa de vídeo. Outro trabalho futuro, que seria uma
contribuição para este trabalho é a implementação do [8] Ferns: Planar Object Detection Demo.
algoritmo para CPU Multi-core, e realizar uma http://cvlab.epfl.ch/software/ferns/index.php, 2010.
comparação de desempenho com a versão em GPU.
[9] Vincent Lepetit and Pascal Fua, "Towards Recognizing
7. Referências Feature Points using Classification Trees," Swiss Federal
Institute of Technology, Lausanne, Switzerland, 2004.
[1] T. Farias et al., "High Performance Computing: CUDA as
a Supporting Technology for Next Generation Augmented [10] R. Azuma et al., "Recent advances in augmented
Reality Applications," in Livro dos Minicursos do SVR 2008. reality," Computer Graphics and Applications, IEEE, vol. 21,
Recife: Gráfica e Copiadora Naciona, 2008, pp. 91-116. no. 6, Nov. 2001, pp. 34 -47.
95
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
96
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
de pontos a serem marcados. Por esse motivo, na avaliar qualquer tipo de rastreamento de câmera, pois a
metodologia proposta neste trabalho, também é cena ou os tipos de marcadores filmados não cobrem
implementada uma técnica para detectar pontos na todos os tipos de rastreamento, mesmo porque
cena de forma semi-automática. Para isso propomos constantemente estão surgindo novas técnicas para
um novo tipo de marcador e um algoritmo capaz de modelar tanto padrões [3] como algoritmos de visão
acompanhá-lo durante a navegação na cena. Após o computacional criados para detectar esses novos
marcador ter sido detectado uma primeira vez em um padrões [4].
quadro específico, o algoritmo proposto o rastreará Recentemente, Zimmerman et al [6] apresentaram
durante os próximos quadros nos quais ele esteja um banco de dados com três seqüências de imagens e
presente, só precisando ser reiniciado quando ele sair e seus correspondentes movimentos de câmera. Todos os
voltar ao campo de visão da câmera que o esteja dados gerados foram feitos de forma manual pelos
rastreando. autores usando alguns marcadores em forma de cruz.
Este artigo está organizado da seguinte forma. A Esses marcadores foram colados em torno de texturas
seção 2 apresenta trabalhos relacionados. A seção 3 ou em objetos da cena que foram marcados
descreve o método proposto. A seção 4 apresenta os manualmente na imagem. Essas seqüências têm cerca
resultados. A seção 5 apresenta algumas conclusões. de 12000 imagens no total. Essa estratégia é a mesma
utilizada na nova metodologia proposta. A diferença é
2. Trabalhos Relacionados que nós fornecemos uma forma de marcar os pontos de
referência na imagem de forma rápida e com a
A verificação de um sistema de rastreamento óptico possibilidade de erro na identificação reduzida. Essa
é normalmente realizada de forma muito limitada. Para redução é decorrente do fato do usuário marcar os
isso é necessário uma outra forma de medir a posição pontos em apenas poucos quadros.
da câmera ao longo do tempo. Atualmente, as únicas
formas de se fazer isso é usar um sistema mecânico
como o da FARO mostrado na figura 1 ou usando um
sistema óptico como o da VICON mostrado na figura
2, que garantem erro de medição de décimos de
milímetro a uma distância maior de 50cm entre a
câmera e os pontos medidos. Usar marcadores tipo
ARToolKit é inviável pela sua limitada precisão e por
ocuparem uma área muito grande da cena.
Ambos os sistemas são precisos, mas têm áreas de
utilização muito pequenas. O braço extensível da
FARO tem um alcance de 1.8 a 3.7 metros dependendo
do modelo e o sistema VICON tem uma área útil ,em
alta precisão, de cerca de 0.5 a 2 metros quadrados.
Outra forma mais genérica para verificar se um
algoritmo de rastreamento está correto é usar uma base Figura 1: Sistema mecânico de geração de dados de
de dados onde à posição da câmera tenha sido referência da FARO. Fonte: [1]
previamente calculada. Lieberknecht et al [1]
apresentam uma base de dados com a posição da
câmera já calculada mecanicamente. No entanto, esta
3. Ambiente de teste
base de dados só serve para algoritmos de rastreamento
Nessa sessão será descrito como montar o ambiente
baseados em texturas, pois suas imagens são passeios
de teste utilizado neste artigo. Os requisitos para nosso
de câmera olhando para uma textura planar.
método de teste são: um tipo especial de marcador,
Outra base de dados muito utilizada é a Middlebury
iluminação ambiente sem mudanças bruscas e
[2]. Além de usar imagens sintéticas, eles conseguiram
suficientemente constante, que permita encontrar
criar pontos de referência bastante densos usando uma
nossos marcadores na imagem com alto grau de
textura fluorescente escondida atrás dos objetos da
corretude. Além disso, é preciso medir a posição dos
cena. Esse mesmo grupo fez uma segunda base de
marcadores no ambiente. Então será descrito um
dados para reconstrução baseada em imagens estéreis
método de medição simples e um outro método de alta
usando um scanner a laser. No entanto, todas as formas
precisão. Posteriormente será explicado como
de base de dados conhecidas nunca são suficientes para
organizar o processo de testes.
97
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
3.1. Marcadores
98
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
O método se baseia em colocar o eixo Y do sistema rastreamento em análise quanto pelo nosso algoritmo
de coordenada paralelo ao eixo gravitacional para de acompanhamento de marcadores. O quarto passo é
possibilitar encontrar o eixo X usando o nível. Então testar se o algoritmo de rastreamento funciona nesse
começamos marcando um ponto na parede que será a vídeo gravado, se as esferas têm um tamanho de pelo
origem do sistema de coordenada. Em seguida, menos 4x4 pixels na imagem e se há um mínimo de
marcamos pontos na mesma altura(Y) que a origem do esferas por quadro do vídeo, caso algum desses testes
sistema de meio em meio metro em X usando a régua e falhe volte para o segundo passo.
o nível. Depois unimos esses pontos com fita crepe. O sexto passo é usar o aplicativo que implementa o
Essa fita será o eixo X. Usando a régua e o nível, nosso algoritmo de acompanhamento de marcadores
medimos a distância do marcador até a fita, que é a para marcar os pontos de entrada e saída. Esses pontos
coordenada Y do marcador. Por fim medimos com a serão mais bem explicados na próxima sessão. Com
trena a distância do ponto de intercessão da régua com esses pontos e o vídeo, o algoritmo é capaz de gerar
a fita até o ponto de origem, essa distância é a uma lista de marcadores para cada quadro do vídeo
coordenada X do marcador. contendo a posição na imagem de cada um dos
Para continuar a medição em paredes consecutivas, marcadores visíveis. O sétimo passo é fazer a medição
elas precisam ser perpendiculares, assim é só trocar a da posição 3D dos marcadores. Essa é, sem dúvida, a
coordenada X por Z. ou vice-versa, dependendo de tarefa mais demorada de se fazer, então só deve ser
qual coordenada estava variando na parede anterior. realizada quando todas as outras tiverem ocorrido com
sucesso e não seja necessária nenhuma modificação na
3.2.2 Método de Alta Precisão posição dos marcadores.
99
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
será explicado abaixo. Basicamente, o usuário marca bastante inferior. Nós usamos o fluxo óptico fornecido
os pontos de entrada no quadro 1 e aciona o pelo OpenCV, que implementa uma versão piramidal
acompanhador dos marcadores que vai atualizando a do rastreador de pontos Lucas Kanade[5].
posição dos marcadores ao mesmo tempo em que
avança o vídeo. Quando o usuário chegar a um quadro
em que entrou um novo marcador, ele pára o avanço
do vídeo e marca o ponto na imagem. Em seguida liga
o avanço do vídeo novamente. O mesmo é feito para
os pontos de saída. Quando o usuário chegar ao final
do vídeo todos os pontos de entrada e saída vão estar
marcados. Após esse procedimento basta executar o
acompanhamento do vídeo desde o quadro 1 até o final
salvando a lista de pontos (posições dos marcadores na
imagem) a cada quadro, como mostrado na figura 5.
O processo de acompanhamento inicia com a lista
de pontos vazia no quadro i=1. Então ele entra num
ciclo que o primeiro passo é adicionar os pontos de
entrada que foram marcados no quadro(i). Caso já
exista um ponto para o marcador daquele ID , ele é
substituído. Já os pontos de saída são usados para
eliminar da lista de pontos aqueles com os mesmos
IDs.
Em seguida, cada ponto da lista tem suas
coordenadas corrigidas usando um algoritmo para
encontrar o centro de um círculo. Abaixo este
algoritmo será explicado com mais detalhes.
Após a correção, os pontos são salvos para o Figura 5:processo de acompanhamento
usuário usar como pontos de referência. Se o quadro
atual não for o último, ele calcula o fluxo óptico, que 5. Resultados
informa a posição dos pontos do quadro atual no
próximo quadro. Com essas novas posições os pontos Para validar nossa metodologia vamos
retornam ao início do ciclo. primeiramente comparar o modo de medição simples
com o de alta precisão para analisar a faixa de erro na
4.2 Correção dos Pontos medição no modo simples. Em seguida vamos analisar
o número de marcações que o usuário precisa fazer
A correção dos pontos é feita, primeiramente, para conseguir o rastreamento em uma cena típica. Por
binarizando a imagem. Todos os pixels na imagem em fim vamos fazer um estudo de caso com um marcador
tons de cinza abaixo de um liminar viram pretos e do ARToolKitPlus para analisar o nível de erro de
acima brancos. Depois identificamos na imagem todos reprojeção desse toolkit.
os grupos de pixels unidos com mais de 4 pixels e Nossa implementação do algoritmo de
menos de 100 pixels. Cada grupo recebe o nome de acompanhamento dos pontos foi desenvolvido usando
Blob. Então procuramos o blob mais perto de cada a biblioteca OpenCV. Nossa câmera é uma unibrain
marcador e com no máximo 8 pixels de distância do Fire-I, na resolução de 320x240 a 30fps. Nossa
ponto atual. Caso exista esse blob, calculamos qual o Estação total é uma Sokkia 530RK3 e tem um erro
maior círculo que cabe dentro desse blob e o centro menor que 5 mm.
desse círculo passa a ser o ponto corrigido.
5.1 Diferença entre os modos de medição
4.3 Fluxo Óptico A nossa avaliação sobre os modos de medição foi
feito dispondo 8 marcadores ao longo de uma parede.
Fluxo ótico é uma técnica que calcula para onde Então usamos os dois métodos de medição para
cada pixel da tela se deslocou entre dois quadros do descobrir a posição dos marcadores na parede. Na
vídeo. No nosso caso estamos interessados apenas nos tabela 1 podemos ver os resultados.
pontos da lista. Sendo assim o gasto computacional é Como podemos ver na tabela, o erro médio foi de
2.22 cm. Sendo assim, quando for usar o método
100
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
simples de medição é importante usar distâncias método para gerar dados de referência com relativa
maiores até a parede, onde esse erro não é facilidade.
significativo. Por exemplo, se tivesse um marcador de Como trabalho futuro, seria interessante investigar a
ARToolKit de 5 centímetro próximo a uma esfera possibilidade de detectar os pontos de entrada e de
branca que foi medida com um erro de 2.2 cm. Esse saída automaticamente.
erro seria inaceitável.
id Xs Xp ∆X Ys Yp ∆Y erro
1 38 37.5 0.5 10 10.1 -0.1 0.51
2 14.5 16.5 -2 -6.1 -6.5 0.4 2.04
3 51.4 51.4 0 -40.5 -43.5 3 3.00
4 56 55.7 0.3 45.5 45.4 0.1 0.32
5 64.7 64.6 0.1 -10.5 -13.2 2.7 2.70
6 82 82.4 -0.4 18.3 18.7 -0.4 0.57
7 99.5 99.5 0 -27.5 -29.9 2.4 2.40
8 115.1 112.7 2.4 47 47 0 2.40
média 2.22
101
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 5
FATORES HUMANOS
102
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
103
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
última seção contém nossas considerações finais e Sua única vantagem é ter o menor custo
algumas indicações de trabalhos futuros. computacional. Sua utilização de maneira eficiente
termina ficando restrita a pouquíssimos tipos de
2. Trabalhos Relacionados aplicação. Para um melhor efeito sonoro, deveremos
nos utilizar do som estereofônico.
O trabalho que foi utilizado como base para O som estereofônico, ou estéreo, é uma
escrevermos esse artigo foi o Virtual Audio Systems reprodução de um som usando dois ou mais canais de
[2]. Neste artigo, Kapralos et al. discutem as diferentes áudio independentes, emitidos através de uma
pistas auditivas que podem ser simuladas virtualmente configuração simétrica de alto-falantes de uma maneira
para criarmos efeitos sonoros consideravelmente mais que seja criada a impressão que o som é ouvido de
imersivos para o usuário dos sistemas. Além disso, eles direções variadas, como na audição natural. Ou seja,
descrevem o funcionamento da audição humana e as podemos enganar o cérebro do usuário a perceber
maneiras que temos de simular efeitos que nossa objetos como estando posicionados em qualquer lugar
audição percebe no mundo real. que desejarmos de um plano transverso (horizontal) a
Já em [5], os autores tratam também de como partir do centro da cabeça do usuário. Com isso já
diferentes configurações em relação ao som podem começamos a ter vantagens na elaboração do áudio de
afetar o desempenho de usuários em um sistema de nossa aplicação de RV.
Realidade Virtual. No trabalho, eles procuram utilizar Como já foi dito, um sistema que possua dois ou
diferentes frequências sonoras para guiar um usuário mais canais é considerado um sistema de som estéreo,
através de um caminho em um ambiente virtual. A porém, atualmente, a palavra estéreo costuma ser
idéia se assemelha bastante a tarefa solicitada em nosso utilizada apenas para sistemas que se utilizam de
experimento. Ambos requeriam que o participante apenas dois canais de áudio. A partir de três canais,
identificasse a localização da fonte sonora posicionada passamos a chamar esse sistema de sistema de som
em um ambiente virtual (AV). Porém, no trabalho surround.
deles, todo o experimento foi conduzido utilizando
apenas fones de ouvido e um dispositivo de
rastreamento para a cabeça do usuário. A utilização de
diferentes sistemas sonoros poderia ter alterado o
resultado do experimento, assim como a satisfação dos
participantes em terem realizado o experimento.
3. Conceitos Básicos
Antes de iniciarmos a discussão do trabalho em si,
colocaremos algumas definições necessárias para o
entendimento do mesmo. Primeiramente, discutiremos
quatro tipos de som, dos quais dois serão utilizados no
trabalho. Em seguida, discutiremos a utilização de alto-
falantes ou fones de ouvido.
Figura 1: Configuração de um sistema de som 22.2 a
3.1 Sons Mono, Estéreo, Surround e 3D ser utilizado em um cinema. Como podemos ver, há
três camadas de áudio para gerar o efeito de altura.
O som monaural, ou mono, é o tipo mais básico de No exemplo da foto há também duas torres de falantes
som. Nesse tipo de sistema, só há um canal de áudio. simples, que visam melhorar ainda mais o som. Fonte:
Como a emissão é feita sempre igualmente para todos www.highdefforum.com
os alto-falantes, nosso cérebro é privado de sua
capacidade de utilizar-se de pistas sonoras como a Em sistemas de som surround temos um número
diferença de tempo e intensidade entre a chegada do maior de canais, a fim de obter uma maior fidelidade
som a um ouvido ou ao outro para posicionar uma na reprodução do áudio gravado. Podem ser
fonte de áudio no espaço. encontradas variações partindo do som 3.0, com 3
Sendo assim, não podemos enganá-lo de modo a canais para 3 alto-falantes, até o som 22.2 (Figura 1),
fazê-lo entender o posicionamento de uma fonte virtual que tem 24 canais e o mesmo número de alto-falantes,
em um espaço qualquer do mundo virtual. Por isso, sendo 2 destes subwoofers, responsáveis por emitir
esse tipo de som é o que tem menor efeito imersivo. frequências sonoras mais baixas. Há também a
104
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
possibilidade de utilização de fones de ouvido para o vamos trabalhar com sons emitidos através de fones de
som surround, através da mixagem de canais para que ouvido. Caso a aplicação permita o usuário se
o som seja reproduzido apenas nas duas saídas do fone. movimentar e o movimento da cabeça do usuário não
Em sistemas de som surround mais potentes, como o seja bem rastreado, podemos ter uma infidelidade da
22.2, ou com fones de ouvido, podemos também informação sonora, pois os fones se movimentarão
simular a altura da fonte sonora no ambiente virtual, junto à cabeça do usuário e o som será emitido do
saindo assim de um sistema de coordenadas 2D para mesmo jeito, como se a cabeça dele tivesse na posição
um 3D em relação ao som. Com isso, surge o efeito que estava inicialmente.
sonoro que denominamos som 3D. No caso de alto-falantes, desde os sistemas mais
Um dispositivo de áudio 3D permite ao simples até os mais complexos, podemos utilizá-los em
usuário perceber a posição de uma fonte de áudio, grupo. As pessoas imersas no ambiente poderão se
sendo emitida através de um número fixo de alto- mover a vontade, pois os falantes estão fixos e não irão
falantes ou de um par de fones de ouvido, como vindo interferir na localização do som. O problema na
de uma localização arbitrária em um espaço verdade é onde fixar estes alto-falantes. As calibrações
tridimensional. A tecnologia de som espacializado (ou dos sistemas de som se tornam mais complicadas à
3D) vai muito além das técnicas de som estéreo e medida que eles avançam. Um simples sistema de som
surround, por permitir que uma fonte de áudio tenha 5.1, que tem apenas seis caixas de som, já apresenta
atributos como esquerda - direita, frente - trás, cima – dificuldades na hora de sua montagem.
baixo [1]. Ou seja, para o áudio tridimensional, nós Além da dificuldade de calibração, o preço de
podemos definir exatamente de que local no espaço sistemas mais potentes é bastante elevado. A gama de
estará vindo o som simulado pela aplicação, incluindo frequências sonoras que podem ser atingidas com os
se está vindo de cima ou de baixo, da frente ou de trás alto-falantes é sem dúvida bem maior que as que se
do usuário, criando assim um nível de realismo consegue com fones de ouvido, pois as caixas podem
extremamente alto. variar de tamanho e profundidade. Outro problema que
em alguns casos pode ser grave no caso dos alto-
3.2 Alto-falantes x Fones de Ouvido falantes é o não isolamento do usuário em relação ao
ambiente. Com isso, o áudio fica sujeito a ruídos e a
A escolha da utilização de alto-falantes ou fones de barulhos exteriores, o que pode fazer com que o
ouvido também tem uma grande importância na hora usuário termine perdendo um pouco da experiência real
de definirmos a aplicação que estaremos trabalhando. que o dispositivo que está utilizando o áudio propõe.
Cada um tem diferentes capacidades, vantagens e
desvantagens. Isso é o que será discutido nesta seção. 4. Metodologia
Não importando o tipo de fone utilizado, teremos
um isolamento dos ouvidos em relação a sons externos, Nesta seção descrevemos o desenvolvimento do
o que favorece muito a imersão do usuário no ambiente programa utilizado para fazer os testes, assim como o
virtual. Além disso, não é necessário se preocupar formato que foi adotado para os experimentos de
muito com calibração, pois basta atentarmos para qual validação da hipótese. Por fim, falaremos sobre a
é o lado esquerdo e o direito do fone. Também é uma realização do experimento.
vantagem do fone o preço. Bons fones de ouvido
podem ser adquiridos por um valor bem menor do que
um sistema de alto-falantes surround. 4.1 Desenvolvimento do sistema
Porém, há também as desvantagens. Os fones de
ouvido devem ser vestidos, o que os torna um O objetivo principal do trabalho apresentado neste
dispositivo intrusivo. Também, a utilização prolongada artigo é o de comparar sistemas de som distintos em
de fones de ouvido ou o volume excessivamente alto relação à eficiência de cada um deles. Para atingir este
dos mesmos pode trazer malefícios à saúde. Outro objetivo, desenvolvemos um sistema de Realidade
problema é que fones de ouvido funcionam apenas Virtual de Mesa onde usuários seriam capazes de testar
para um usuário. Caso mais de um usuário queira se os diferentes sistemas de som em uma configuração de
beneficiar da aplicação, teríamos grandes problemas igualdade para todos e assim, a partir dos dados
para emitir o som corretamente para todos. Além disso, colhidos destes experimentos, seríamos capazes de
a comunicação interpessoal fica prejudicada, pois o chegar a alguma conclusão sobre estes sistemas de
isolamento já citado de sons externos faz com que o som.
usuário não escute o que os outros dizem. O programa de teste foi desenvolvido usando a
Por fim, o problema mais grave surge quando versão gratuita do Unity [4], que oferece várias
funcionalidades tanto em relação à parte visual quanto
105
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
em relação a áudio. O Unity foi escolhido para o dois canais de áudio, formando apenas um que foi
experimento por ser um programa de fácil utilização, o emitido em uma caixa em frente ao usuário. Além
que diminuiu consideravelmente o tempo de desse sistema, utilizamos um par de caixas de som para
aprendizado dele em relação a ferramentas mais emitir o som estéreo. O terceiro método utilizado foi o
adequadas e complexas, como OpenAL ou Fmod. fone de ouvido estéreo.
Um cenário quadrangular, somente com chão e
paredes, foi desenvolvido no Blender, assim como um 4.2 Design do experimento
cubo, que serviu como modelo para os emissores de
som no cenário. Além desses objetos, utilizamos o O formato experimental escolhido para esse
First Person Controller (FPS), oferecido pelo Unity. trabalho foi o intra-sujeitos. Esse formato foi escolhido
Esse Prefab, como o nome indica, é um controlador primeiramente para podermos aproveitar melhor o
em primeira pessoa, que o usuário, através de WASD + número pequeno de pessoas que tínhamos disponíveis
Mouse, move no cenário. O FPS também é o para testes. Também, por se tratar de uma análise
responsável por ser o Audio Listener da cena. Ou seja, subjetiva, que pode variar de maneira significativa de
ele que capta os sons emitidos e reproduz na saída de pessoa para pessoa, utilizar esse design experimental
áudio. O FPS foi posicionado no centro do cenário e as nos dava uma maior segurança em relação à variância
quatro caixas foram posicionadas de maneira de erro associada a capacidades individuais.
equidistante na frente, atrás e dos lados do controlador. Para diminuir ao máximo o chamado carryover
Cada uma dessas caixas era uma Audio Source. (capacidade do usuário de levar a experiência adquirida
Quando o usuário movia o controlador, o áudio era em um teste para o próximo), a ordem a qual os
captado de maneira diferente e assim reproduzido de participantes faziam os experimentos foi variada, de
maneira diferente nos alto-falantes. Isso dava ao maneira que, no final, tivéssemos o mesmo número de
usuário as pistas sonoras que eram necessárias para pessoas executando cada combinação. Também é
identificar cada uma das caixas. Toda a parte lógica da importante dizer que, obedecendo a um dos princípios
aplicação foi feita utilizando scripts do Unity, ou novos do formato experimental utilizado, os cenários foram
scripts, desenvolvidos em C#, uma das linguagens criados de maneira a serem diferentes entre si, porém,
aceitas pelo Unity. com igual dificuldade.
As faixas sonoras utilizadas no experimento são de Antes de começar o experimento, os usuários leram
nossa autoria. e assinaram termos de consentimento, concordando em
participar do teste e também liberando a utilização de
seus resultados para essa pesquisa. Em seguida, os
usuários responderam um questionário de experiência
prévia, para termos maior controle sobre como tratar os
resultados de cada usuário. Depois disso, eles foram
submetidos ao experimento de verdade.
Para começar o experimento, os usuários
primeiramente fizeram um treinamento auditivo para
reconhecer cada instrumento que faria parte da música
tocada no experimento real. Depois que se julgaram
capazes de identificar cada um dos instrumentos, eles
passaram a um cenário de teste onde havia apenas duas
Figura 2: Screenshot do programa de testes. Na caixas para serem marcadas, sem som algum.
imagem, o cubo verde representa um instrumento que O objetivo dessa parte era familiarizar os usuários
o usuário já marcou. A sinalização na parte inferior com o controle WASD e também com a marcação de
indica em vermelho qual instrumento deve ser caixas. O WASD é um sistema clássico de controle de
encontrado e as caixas embaixo mostram quais câmera em primeira pessoa, popularizado na década de
instrumentos já foram pedidos e então marcados pelo 90 em jogos como Wolfstein 3D e DOOM. Neste
usuário. sistema de controle as teclas W e S movimentam a
câmera, respectivamente, pra frente e para trás. As
Um problema encontrado no desenvolvimento da teclas A e D realizam deslocamentos laterais de câmera
renderização sonora foi que o Unity só é capaz de e o mouse controla a orientação da câmera. Para
reproduzir som estéreo. Com isso, não conseguimos marcar uma caixa, o usuário deveria se aproximar dele
uma maneira justa de reproduzir o som em sistemas de e então clicar com o botão esquerdo do mouse. Uma
som mais complexos, como o Surround 5.1. A emissão vez marcada, a caixa ficava em uma cor diferente,
de som mono ainda foi possível graças à mixagem de
106
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
mostrando que ela já tinha sido selecionada. O mantidas, trocando-se apenas a ordem em que os
instrumento o qual a caixa controlava continuava a instrumentos eram pedidos e a posição deles no espaço.
tocar normalmente. Quando o usuário se considerava Uma vez concluída essa tarefa, partíamos para a parte
pronto, ele mesmo dava início ao experimento real. final do experimento.
Na parte final do experimento o participante
preenchia um formulário subjetivo relatando sua
experiência com o sistema. Nesse formulário foram
colhidas sugestões, críticas e também o mais
importante: a estratégia usada pelo usuário para a
localização dos sons no ambiente virtual. Com essas
informações, junto às obtidas no primeiro formulário, a
interpretação dos dados seria sem dúvida mais
coerente.
107
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
enquanto o mono, que ficou em segundo lugar teve onde vinha o som.
uma média de 80,51 e o sistema estéreo 88,09. Baseado nisso, concluímos que, para um
experimento como esse, não traria tantas vantagens ao
desenvolvedor buscar caixas de som. O fone faria tudo
que lhe é necessário e deixaria o usuário mais
satisfeito.
7. Trabalhos Futuros
108
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Conceitos de Presença
F. Y. Obana, R. Tori
Escola Politécnica da Universidade de São Paulo
[email protected], [email protected]
109
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
algum estímulo distante, ou de um modo geral, de social e autopresença. Lee ainda define que “presença é
algum ambiente. um estado psicológico no qual objetos virtuais (quase
Garau [5] em sua tese de doutorado trabalha com autênticos ou autênticos) são sentidos como objetos
três conceitos de presença: presença, presença social e reais de forma sensorial ou não sensorial” e concluí seu
copresença, e define que presença é a sensação de artigo definindo três subtipos de presença:
“estar lá” (imersão), presença social como “estar junto” • presença física – quando se atua sobre objetos
e copresença como “estar junto em um ambiente com mediação da tecnologia ou quando os
compartilhado”. objetos são criados artificialmente pela
Esta relação está ilustrada na figura 1, de acordo tecnologia
com a ilustração a copresença aparece em meios • presença social – quando se atua com atores
tecnológicos onde existem simultaneamente presença e sociais com mediação da tecnologia ou quando
presença social. atores sociais são criados artificialmente pela
Presença Copresença Presença Social tecnologia
• auto presença – quanto a própria percepção é
mediada pela tecnologia ou criada
Mundo Real E-mail artificialmente pela tecnologia.
Face a Face A “Teoria da Presença Social” elaborada por Short
Realidade Virtual Multi-user
et al. (1976) apud Santos (2008) [11], concentra a
Ambiente Virtual Dungeon
investigação na forma como os meios conseguem com
Entretenimento Compartilhado Telefone
local sucesso dar aos usuários a sensação de proximidade e
pintura
Videoconferência
Chat
intimidade que normalmente é sentida na presença
física.
cinema Videofone
Riva (2009) [12] sugere que a presença é um estado
TV Carta
psicológico que tem a função de controlar, através da
separação inconsciente, as ações e interações sociais
Figura 1 – Classificação de presença física, copresença e presença internas e externas, próprias e de outros.
social [6]. Os termos em negrito foram adicionados por [7] Rizzo (1998) [13] discute a relação entre nível de
presença e as necessidades médicas de pacientes que
Schroeder [8] definiu presença como “estar em um sofrem de algum tipo de fobia e concluí afirmando que
lugar diferente do que você está fisicamente”, e esta este tipo de informação é muito importante no projeto e
situação pode acontecer mesmo sem a utilização de um desenvolvimento de ambientes de realidade virtual
meio tecnológico, por exemplo, podemos nos imaginar para o tratamento da saúde mental de pacientes com
passeando em uma praia paradisíaca quando de fato este tipo de distúrbio psicológico.
estamos trabalhando em um escritório. Rothbaum et al. [14] e Garcia-Palacios et al. [15]
Nowak e Biocca [9] definem: obtiveram sucesso no tratamento de fobias utilizando
• presença como a medição da sensação que uma ambientes de realidade virtual, de acordo com os
pessoa tem de estar dentro de um ambiente autores parte desse sucesso se deve ao fato de que os
virtual, a sensação de “estar lá”; pacientes se sujeitam mais ao tratamento em ambientes
• copresença como a sensação de conexão entre de realidade virtual do que em ambientes reais.
duas pessoas;
• presença social como a habilidade do meio em 3. Análise
conectar pessoas.
Minsk [1], Lombard e Ditton [3], Garau [5], Nowak
Lee [10] descreve que muitos pesquisadores têm e Biocca[9] e Lee [10] definem presença como a
tentado definir um conceito claro de presença, mas que sensação de “estar lá” em um ambiente virtual, desta
apesar destes estudos três conceitos sobre presença forma associando a presença com a utilização de
permanecem sem solução. A primeira é que diferentes tecnologia, isto de deve ao fato destes autores estarem
escolas utilizam diferentes palavras para se referir ao considerando a definição de Lombard e Ditton [3] que
mesmo conceito (telepresença, presença mediada e definiu presença como “a percepção ilusória de não
presença virtual). A segunda é que existe pouca teoria mediado” e entenderam que a mediação só pode
sobre o que é experiência virtual e como ela é diferente acontecer com a utilização de tecnologia.
de outros tipos de experiências com humanos. A Já Riva [12] define presença como um estado
terceira é que como resultado da pobre explicação psicológico e como tal pode acontecer com ou sem a
sobre experiência virtual a literatura existente tem utilização de tecnologia.
pouca coerência quando tenta definir presença física,
110
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Considerando que tudo o que sentimos e A autopresença pode ser classificada como um caso
percebemos é captado pelo sistema sensorial humano, particular de presença social, onde a outra pessoa ou
formado por cinco sentidos: visão, olfato, paladar, entidade é o próprio usuário.
audição e tato que nos fornecem informações do Este trabalho propõe que sejam utilizados,
mundo através do meio ambiente, têm se então que independentemente do uso ou não de tecnologia,
mesmo as interações naturais são mediadas. Por somente os conceitos de presença e presença social,
exemplo, só enxergamos porque temos como meio a definindo-os como:
luz, só ouvimos porque temos como meio o ar. Sendo Presença - a sensação que uma pessoa tem de estar
assim também pode-se considerar a existência de em um lugar real ou virtual. Pode-se considerar que
presença tendo como meio de comunicação o ambiente estar fisicamente e psicologicamente em um lugar do
natural, sem a utilização da tecnologia. mundo real proporciona a maior percepção de presença
Minsk [1], Lee [10], Santos [11] e Lombard e possível.
Ditton [3] deixam claro que a presença só existe com Presença social - a sensação que uma pessoa tem de
mediação tecnológica, já para Loomis [4], Garau [5], estar com outra pessoa ou entidade em um ambiente
Schroeder [8], e Riva [12] a presença é um estado real ou virtual. O maior nível de presença social pode
psicológico que ocorre independentemente da ser obtido entre pessoas que se encontram fisicamente
utilização de tecnologia. e psicologicamente no mesmo lugar do mundo real.
As definições de presença de Nowak e Biocca [9], e Com estas definições tem-se então que os maiores
Lee [10] fazem uma mistura entre características valores de presença podem ser encontrados no mundo
internas e externas (do meio) do usuário e execução de real e conforme a mediação faz uso de recursos
uma ação com objetos ou entidades criados tecnológicos têm-se então menores níveis de presença
tecnologicamente. ou presença social. Fato esse verificado nas
Com todas as definições de presença, descritas experiências realizadas por Rothbaum et al. [14] e
anteriormente, sugere-se então que a presença seja Garcia-Palacios et al. [15], onde os pacientes
considerada como um estado psicológico que ocorre aceitavam fazer o tratamento em ambientes de
independente da utilização de tecnologia e da execução Realidade Virtual por sentirem menos a imersão ou a
de ações entre objetos ou entidades tecnológicas ou presença de outras entidades do que se estivessem em
reais. Fica claro, no entanto, que características um ambiente real.
externas como verissimilhança do ambiente virtual e Espera-se que com essas duas definições possam
tempo de resposta do meio melhoram a percepção de ser realizadas pesquisas sobre presença que
presença. possibilitem a comparação de resultados, dificultada
hoje pelas várias definições de presença.
4. Considerações finais
5. Referências
Apesar de várias pesquisas, sobre presença, estarem [1] M. Minsky, “TELEPRESENCE,” OMNI magazine,
sendo realizadas ainda existem muitas definições sobre Jun-1980.
presença sendo utilizadas, algumas possuem descrições [2] Y. R. Araujo, Telepresença: interação e interfaces.
diferentes e um mesmo significado e algumas Editora da PUC-SP, 2005.
[3] M. Lombard e T. Ditton, “At the heart of it all: The
descrições e significados diferentes. concept of presence,” Journal of computer-mediated
Os termos mais encontrados na literatura foram communication, vol. 3, n. 2, p. 20, 1997.
presença, presença física, presença social, copresença e [4] J. M. Loomis, “Distal attribution and presence,”
auto presença. Presence: Teleoper. Virtual Environ., vol. 1, n. 1, pp.
Pelas definições encontradas presença e presença 113-119, 1992.
física tem a mesma definição, a sensação de estar em [5] M. Garau, “The impact of avatar fidelity on social
um lugar real ou virtual e podem ser chamados interaction in virtual environments,” University
somente de Presença. College London, 2003.
Presença social é a sensação que uma pessoa tem [6] W. A. Ijsselsteijn, J. Freeman, e H. De Ridder,
“Presence: Where are we?,” Cyberpsychology &
de estar com outra pessoa ou entidade em um ambiente
Behavior, vol. 4, n. 2, pp. 179–182, 2001.
real ou virtual. [7] C. Heeter, “Reflections on real presence by a virtual
Copresença é definido como a sensação de estar person,” Presence: Teleoperators & Virtual
junto com outra pessoa em um ambiente Environments, vol. 12, n. 4, pp. 335–345, 2003.
compartilhado, ou seja, é um ambiente onde se percebe [8] R. Schroeder, “Copresence and interaction in virtual
a presença e a presença social. Fato que se percebe, por environments: An overview of the range of issues,” in
exemplo, em uma sala de aula. Presence 2002: Fifth International Workshop, pp.
274–295, 2002.
111
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
112
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
113
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Os dois primeiros fixam o produto anunciado na exibição em público, muitas vezes próximo do local de
memória do público alvo e o terceiro o convence a aquisição do produto anunciado.
adquirir tal produto. Uma peça publicitária deve Um bom exemplo de ação offline é o aplicativo
utilizar-se dos três de maneira ótima. desenvolvido pela Lego, usando um marcador impresso
Uma peça publicitária é um elemento que tem como nas caixas de seus produtos para mostrar um modelo
objetivo tal persuasão. Pode ser um comercial de TV, animado do brinquedo já depois de montado4. Essa
um outdoor ou, em relevância ao assunto estudado, campanha faz ótimo uso dos três recursos publicitários
uma aplicação em RA. – atenção, memorização e persuasão – pois o
Uma campanha publicitária é um conjunto de peças comprador, mesmo que não previamente interessado no
publicitárias que anunciam o mesmo produto, ou produto, tem o impulso de testar a aplicação e pode ser
conjunto de produtos. Um outdoor e um comercial de persuadido a comprar ao ver o modelo montado em sua
TV, ambos tratando de um novo refrigerante, são um frente.
exemplo de campanha. As ações online, por sua vez, são ações que
Uma ação publicitária é um modo genérico de se dependem de uma conexão com a internet e
referir a uma peça ou campanha. equipamento de captura de vídeo próprios do alvo da
Um cliente ou anunciante é quem deseja utilizar a publicidade (como webcam ou celular com câmera).
publicidade para vender um produto. Geralmente uma Apesar da maioria das ações online usarem
empresa. marcadores apenas como estabelecedores de posição
Uma agência de publicidade (agência) é uma para os objetos ou animações desenhadas, já existem
empresa contratada por um cliente para montar as diversas aplicações publicitárias que permitem ao
peças e/ou campanhas. usuário interagir com a parte virtual e algumas que até
O alvo é a quem o produto, e por consequência a usam o movimento do próprio marcador como
publicidade, se destina: é o consumidor. dispositivo de entrada.
Como exemplo de ação nessa linha, a Citroën
3. Publicidade e RA lançou uma ação para promover o carro DS3 onde
usuários usam um marcador como volante em um jogo
3.1. Estado da Arte onde se dirige uma versão virtual do carro5. A Adidas
também lançou uma ação similar6, com uma curiosa
Um dos primeiros exemplos de publicidade com RA diferença. O marcador que serve como dispositivo
foi um modelo 3D de um carro, o Scion XD, controlador do jogo é o próprio tênis, ou seja, a ação
apresentado em uma feira de automóveis nos EUA1. A não tem nenhum efeito persuasivo, já que para acessá-
peça publicitária era uma simples aplicação com um la o produto já tem que ter sido adquirido.
marcador que representava o carro anunciado e uma A campanha “We are Autobots”7 faz uso de
câmera colocada a uma distância suficiente para que o algoritmos de reconhecimento facial para desenhar
carro coubesse na tela em tamanho real e pessoas capacetes de personagens mecânicos da franquia
pudessem interagir com ele. As empresas automotivas cinematográfica Transformers sem utilizar marcadores.
logo seguiram o exemplo. O Nissan Cube2 contava com
um catálogo de customizações visualizáveis em 3D 3.2. Tendências
através de marcadores; e a Volvo fez um modelo 3D de
um iate de corrida também visualizável com um A tendência da RA ,de um modo geral, é deixar de
marcador3. usar marcadores e convergir juntamente com outras
Depois disso ficou comum o uso de RA em tecnologias a aplicativos mais completos, com destaque
publicidade e, até recentemente, as campanhas e peças para dispositivos móveis. Em publicidade isso não será
que se utilizaram dela não passavam muito além de exceção, será o próximo passo. Um aplicativo desse
aplicações simples com marcadores. tipo já existe: o Stella Artois – Le Bar Guide [2]. Ele é
As ações de publicidade podem ser classificadas, de um aplicativo que funciona em conjunto com o GPS e
acordo com seu local de atuação, em online e offline. câmera do iPhone, exibindo na tela direções e distância
Ações offline são ações onde a aplicação de RA e o para diversos bares que servem a cerveja Stella Artois.
equipamento necessário para sua execução ficam em
4
http://www.youtube.com/watch?v=PGu0N3eL2D0
1 5
http://www.youtube.com/watch?v=NoS5gZb6Mz8 http://www.ds3.citroen.com/
2 6
http: //www.nissanusa.com/cube/ http://www.adidas.com/conceptstores
3 7
http://www.vcc.com.my/oceanrace http://www.weareautobots.com
114
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Uma vez escolhido o bar desejado, a rota até ele é do efeito “novidade” e o quanto de fato deriva de uma
exibida na tela de mapa do GPS. Este aplicativo, além melhoria prática na área de inserção.
de tudo, é uma rede social aonde os usuários avaliam Claude Hopkins [7] diz que “a curiosidade é um dos
os bares por diversos critérios, como atendimento e maiores incentivos humanos” e é responsável pelo
clientela. sucesso de vários produtos. O mistério acerca de algo
Esse nicho de mercado já está sendo visado. Um dos novo é um atrativo quase irresistível para o ser
exemplos mais significantes de exploração desse nicho humano. Nesse aspecto, a publicidade em RA atual dá
é o Junaio [3], um AR Browser desenvolvido para aos curiosos tudo que eles desejam. Ela é uma
iPhone e Android. O Junaio é um browser em RA que tecnologia cujo funcionamento é de difícil
usa tecnologias integradas para exibir informações compreensão para um leigo; o que faz com que seu
sobre objetos capturados na tela. A grande vantagem resultado seja hipnótico.
do Junaio é que ele já está sendo desenvolvido com Depois que a primeira ação em RA obteve sucesso
API aberta, voltada para desenvolvimento de em despertar curiosidade, as empresas publicitárias
aplicações publicitárias. Ele promete ser fácil de usar e viram uma nova abertura e seguiram o exemplo.
de se desenvolver aplicativos, sem conhecimento No entanto, a curiosidade despertada por essas
profundo de funcionamentos específicos de RA ou de ações nem sempre é acerca do produto anunciado, mas
programação em geral; a programação será em sim da tecnologia em si. Várias peças publicitárias não
plataformas tipo PHP. passam de um marcador sendo sobreposto com o
Embora ainda não totalmente pronto e em fase de modelo 3D do produto. Depois da segunda ou terceira
testes, o Junaio já tem alguns exemplos interessantes ação publicitária que participa, o usuário acaba se
desenvolvidos por parceiros. Durante a Copa do cansando, pois todas são tecnicamente similares.
Mundo de Futebol de 2010, a operadora de celular Um exemplo da pressa em se utilizar a tecnologia
Vodafone, da Alemanha, usou a plataforma do Junaio nova é a mencionada peça publicitária da Adidas, onde
[4] para apontar estabelecimentos que exibiriam os o marcador, usado como controlador de jogo, está na
jogos e, se o usuário estivesse no estádio, dar língua do tênis. A menos que o dono do tênis queira
informações e estatísticas sobre o jogo (Figura 1). tirá-lo do pé depois de usá-lo e manuseá-lo próximo ao
rosto, a aplicação será executada no máximo uma única
vez, assim que o tênis for tirado da caixa (Figura 2).
115
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
lo baseado somente no modelo virtual dele; inclusive, algum apelo para ela, é de se esperar que ela se irrite e
nesse caso específico, a aparência é o que menos mude de canal. Uma ação publicitária que necessite da
importa. De qualquer maneira ele terá de ler as interação do alvo, como é o caso das que usam RA,
especificações técnicas. É possível até que ele ignore diminui muito esse fator de intrusão. A pessoa que
totalmente a ação em RA e vá direto a essas aceita a proposta da ação interativa, o faz por sua livre
informações. A mesma regra se aplica às ações que e espontânea vontade. Por mais que o resultado da
anunciam carros, por exemplo. interatividade seja decepcionante, o gasto de tempo
Quando uma revista ou outro meio impresso livre foi voluntário, o que minimiza impactos negativos
disponibiliza um marcador de RA para ser utilizado em ao humor.
uma aplicação online, ela requer do usuário um
trabalho que muitas vezes ele não está disposto a fazer. 5. Pontos-chave para o Futuro
Se esse marcador for de uma ação publicitária, será
uma ação menos vista do que uma impressa de forma Embora ainda largamente ineficaz e baseada em
convencional. Muitos leitores de revistas não são seus tentativa e erro, a publicidade já começa a mostrar
donos, como é o caso de pessoas em bibliotecas e em traços de melhor utilização da RA. As subseções a
salas de espera. Tais leitores não absorverão a intenção seguir discutem quatro aspectos específicos a serem
da ação, que pagou o espaço ocupado pelo marcador à considerados no futuro da RA em publicidade.
toa.
Essa corrida publicitária que se deu inicialmente 5.1. Equilíbrio dos três aspectos da publicidade
com a RA evidenciou uma contradição dupla: quem
está realmente interessado na aquisição do produto não A análise dos exemplos comuns da publicidade com
satisfaz sua curiosidade sobre ele na publicidade RA evidencia, por suas ações excessivamente simples,
utilizando RA, e quem está somente curioso com a RA que estão muito mais focados na atenção do que na
não dá muita atenção ao produto. memorização ou persuasão.
O que os publicitários ainda não acertaram é o A memorização, no início do uso de RA em
limite de informação que se pode transmitir em uma publicidade, também era algo garantido. Qualquer
ação em RA para que ela permaneça uma peça empresa que use meios diferentes e inovadores de
publicitária eficaz e auto-contida. Sendo assim, publicidade acaba sendo lembrada por isso, mesmo que
aplicações em RA com essa estrutura convencional a ação em si não seja necessariamente de qualidade.
atual – webcam e marcador – são ideais para ações que Hoje em dia nem isso mais é uma garantia. As ações
necessitem de pouca informação, seja com intenção de excessivamente similares acabam sendo um lugar
venda de um produto simples, seja um simples anúncio comum e caindo no esquecimento.
de uma promoção. Porém, o defeito maior nas ações em RA é a
Um tipo de publicidade que se enquadra nessa aparente falta de preocupação com a persuasão,
categoria é a promoção da marca (brand advertising). aspecto principal; para o qual os outros dois realmente
Produtos ou marcas de conhecimento praticamente são destinados.
universal, Big Mac ou Coca-cola, embora tenham A ação publicitária de sucesso usa os três aspectos
necessidade de utilizar a publicidade constantemente, de maneira otimizada. É dever do publicitário conhecer
podem fazê-lo sem a preocupação em informar o a tecnologia que lhe serve para ser capaz de formular
expectador sobre o produto ou a marca. As peças ações que se utilizem bem dela.
publicitárias em RA comuns hoje são eficazes para a
publicidade de marca. Um aplicativo que simplesmente 5.2. Objetos virtuais como amostras
desenhe um logo 3D de uma marca famosa sobre um
duplamente grátis
marcador pode suprir essa necessidade de publicidade
constante, com pouca informação.
Hopkins [7] enfatiza o uso de amostras grátis como
Uma crítica recorrente à publicidade é sua intrusão
fator de persuasão da publicidade: “o produto por si
na vida das pessoas. Essa intrusão se dá, geralmente, na
mesmo deve ser seu melhor vendedor. Não o produto
publicidade de produtos destinados à vida cotidiana,
sozinho, mas acrescentado (...) da atmosfera que você o
que se foca em atingir a pessoa em seu tempo livre.
cerca”.
Uma pessoa em casa vendo um programa na TV, por
A questão central das amostras grátis é que elas só
exemplo, é exposta a uma quantidade grande de
são grátis para o consumidor. O custo para o
comerciais em relação ao tempo de exibição do
anunciante é bem alto quando comparado aos das
programa em si. Como somente um entre muitos tem
campanhas que não distribuem amostras. O que
116
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
melhor, então, do que amostras virtuais inseridas no no computador. Se o jogo der suporte a vários
mundo real? O anunciante só arcaria com os custos do jogadores, basta uma criança aparecer com um na
desenvolvimento da aplicação. De certa forma ele escola que todos os seus amigos também vão querer. A
pagaria por somente uma amostra. criança nunca está preocupada em por quanto tempo
Esta é uma área ainda não explorada na publicidade ela irá aproveitar algo antes de deixá-lo de lado.
com RA e que poderia render ótimos frutos. Poderiam Sendo assim, parece que a publicidade simples em
ser feitas amostras de coisas até hoje impossíveis. Uma RA deveria se dirigir massiva e explicitamente ao
aplicação Magic Lens que permitisse a uma pessoa ver público infantil.
o resultado de uma obra em sua casa antes dela ser
feita, ou se ver dentro de um carro ainda não lançado, 5.4. Diminuindo o Vão Academia-Mercado
por exemplo. Aplicações Magic Mirror, embora mais
limitadas, também renderiam ótimas amostras; por A publicidade não é uma área tecnológica por
exemplo, mostrar a um paciente em potencial os natureza. Embora dependa da boa utilização da
resultados futuros de uma cirurgia plástica que ele tecnologia para obter sucesso, é essencialmente não
deseje. científica, realiza seus objetivos levando em conta
O uso de RA para esse tipo de amostra traz a muitos fatores subjetivos do comportamento humano.
possibilidade, até hoje impossível ao consumidor, de Já a Informática acadêmica é o oposto. Uma área
uma amostra personalizada. Atualmente, justamente totalmente voltada à tecnologia, com critérios práticos
pelo custo que o anunciante tem com elas, elas são e objetivos. O comportamento humano quase não tem
sempre padronizadas. lugar na avaliação estritamente lógica de pesquisa.
Por essa diferença essencial, o vão entre essas duas
5.3. Mercado Infantil áreas é uma consequência inevitável. Ele é responsável
por muitas das tentativas de pouco ou nenhum sucesso
A maior parte da análise feita na Seção 4 a respeito publicitário. Há, no entanto, formas de diminuí-lo. Para
de como o consumidor reage racionalmente à melhor compreendê-lo, é preciso entender que ele é
publicidade; e como a publicidade atual em RA falha composto por um fator de comunicação e um fator
em dar a ele o que ele precisa para comprar, contam temporal. O primeiro diz respeito a essa diferença de
com uma coisa: o consumidor é um adulto consciente. natureza inerente às duas áreas. Já o segundo se refere
Porém, o público alvo da publicidade não é ao tempo decorrido desde a invenção da tecnologia
necessariamente quem compra o produto, mas sim estudada em meio acadêmico até sua inserção no
quem o usa e tem influência sobre aquele que o mercado em questão.
compra. O mercado infantil é composto em sua No caso da RA usada em publicidade hoje, o fator
totalidade por pessoas que contam somente com sua temporal do vão foi considerado como sendo de nove
capacidade persuasiva para conseguirem o que querem anos (1999 – criação do ARToolKit [9] a 2008 –
dos pais. Uma criança não tem a capacidade de primeiras ações de publicidade envolvendo RA com
ponderar sobre as vantagens e desvantagens de um marcadores).
produto, ela simplesmente o quer ou não. A área de pesquisa, embora as considere, não tem as
Com isso em mente, anunciar para crianças consiste demandas de mercado como prioridade. A Publicidade,
em impressioná-las o suficiente para que convençam pelo outro lado, não tem um bom olho para tecnologias
seus pais a comprar. Um modelo 3D animado, que cujas aplicações não estejam inseridas no mercado. A
pareça estar interagindo com ela, embora não suficiente Publicidade fica então a mercê de alguns poucos
para um adulto comprar um notebook ou um carro, visionários e da lenta inserção da tecnologia em outras
impressiona muito uma criança. áreas para sua descoberta. E, por ser uma área que
Um exemplo claro da falta de aproveitamento do trabalha quase sempre em urgência, nem sempre há
público infantil é o já criticado tênis da Adidas de RA. tempo de avaliá-la antes de usá-la.
Um adulto sabe que vai usar o aplicativo em RA Ambos os fatores são minimizados com a mediação
pouquíssimas vezes e depois usar o tênis normalmente. que começa a ser feita hoje por empresas de tecnologia
Sendo assim, ele pondera sobre as qualidades do tênis com visão mercadológica, como é o caso da Metaio.
antes de adquiri-lo. Se essa campanha fosse voltada Com acesso ao que existe de ponta em pesquisa,
para o público de crianças, em um período como o empresas desse tipo analisam as demandas de mercado
Natal, o resultado sem dúvidas seria melhor. Pouco de forma mais precisa.
importa para a criança se o solado ou o amortecimento Para futuras tecnologias, com objetivo de se ter um
são adequados; o que interessa é usar o tênis para jogar vão temporal menor, é interessante que a publicidade,
117
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ou qualquer outro ramo, se ocupe de estudar os Com isso em mente, diversas empresas começam a
avanços tecnológicos não só em suas aplicações de se formar, ou a alocar mão de obra para atender a
mercado, mas em sua fonte primordial de pesquisa. demanda da publicidade com RA. Aquelas que
Por outro lado, se a área de pesquisa tivesse seus observaram com cautela as relações entre as duas áreas
trabalhos mais disponíveis em meios dominados por prosperarão.
leigos, seria um ganho geral. De certa forma é Essa comunicação mediada é proveitosa tanto para a
interessante que ela fizesse uma melhor publicidade de RA quanto para a publicidade. A primeira passa a ter
si mesma. Isso geraria não só um interesse menos acesso às demandas de mercado, e muito
tardio por parte do mercado na tecnologia; como esse provavelmente, maior capital para realização de suas
interesse, muitas vezes, se traduziria em fundos para a pesquisas. Já a segunda se beneficia com suas
própria pesquisa. É um ganho mútuo. demandas supridas e seus produtos funcionando com
uma tecnologia mais perto do estado da arte.
6. Conclusão
7. Referências
“A comercialização da pesquisa (...) é muito mais
fruto de prospecção do que de alquimia” [10]. Tal frase [1] R. A. Nelson. A Chronology and Glossary of
resume a essência de uma das questões centrais deste Propaganda in the United States, Greenwood, 1996.
artigo: a falta de acesso à tecnologia de ponta por
[2] Anheuser-Busch Inbev. Stella Artois – Le Bar Guide.
setores não relacionados à pesquisa. O que é
Disponível em <http://itunes.apple.com/us/app/
comercializado ao público como tecnologia de ponta id335624129>. Acesso em jun 2010.
nunca é nenhuma novidade para o campo da pesquisa.
Tal falta de acesso se dá, principalmente, por uma [3] Metaio. Junaio. Disponível em <http://www.metaio.com/
falha de comunicação entre as áreas de mercado e de products/junaio/>. Acesso em jun 2010.
pesquisa, por culpa dos dois lados. A Academia não se
expõe e o Mercado não sabe o que pedir. [4] Metaio. Junaio® displays Public Viewing and Match
Muitas empresas pregam que um gerente ou Statistics with Augmented Reality. Disponível em
administrador deve conhecer as funções de seus <http://newsletter.metaio.com/index.php?id=1053>. Acesso
em jul 2010.
subordinados, para que suas ordens sejam claras,
precisas e, principalmente, possíveis e eficazes. O [5] J. Grosjean, and S. Coquillart, “The Magic Mirror: A
mesmo se aplica às áreas usuárias de tecnologia. Metaphor for Assisting the Exploration of Virtual Worlds”,
Enquanto um cliente não tiver conhecimento básico Spring Conference on Computer Graphics, 125-129, 1999.
sobre o funcionamento da tecnologia que está
contratando ele está fadado à ineficácia. [6] R. Azuma, Y. Baillot et al. “Recent advances in
Desconhecimento técnico, em muitos casos, pode levar augmented reality”, IEEE Computer Graphics and
ao uso ineficiente ou inadequado da tecnologia. Saber Applications, 21 (6), 2001, pp. 34-47.
precisamente suas possibilidades e limitações e como
[7] C. Hopkins, Scientific Advertising, Crown Publishers Inc,
pedir o que se quer são o que fazem a diferença entre
New York, v.4, 1966.
um cliente que consegue uma aplicação plenamente
funcional de um que; ou quer mais do que pode, ou [8] C. J. Dirksen, and A. Kroeger, Advertising Principles and
consegue menos do que poderia. Problems, Richard D. Irwin Inc. Homewood, Illinois, ed.4,
A relação entre Realidade Aumentada e Publicidade 1973.
se encontra hoje em uma situação do segundo tipo. A
publicidade até trai seus próprios propósitos por [9] H. Kato et. al, ARToolKit – Augmented Reality Toolkit.
consequência da falta de conhecimento em RA. Disponível em: <http://www.hitl.washington.edu/artoolkit>.
Situações desse tipo talvez sejam o atual processo Acesso em jun 2010.
natural da popularização da tecnologia. Sendo ou não,
tal ineficácia inicial evidencia onde há espaços para [10] B. Buxton “Forward into the Past”, Time Magazine, 3
melhoras. Espaços que se preenchidos por pessoas Out. 2004. Disponível em <http://www.time.com/time/
covers/1101041011/nextessay.html>. Acesso em jun 2010.
qualificadas rendem uma aceleração notável neste
processo, bem como as recompensam generosamente.
118
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 6
VISUALIZAÇÃO
119
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Eduardo Antonio Souza1 ; Luis Arthur Vasconcelos1 ; João Marcelo Teixeira2 ; Eduardo
Simões de Albuquerque3 ; Judith Kelner2 ; Veronica Teichrieb2
1 2 3
Centro de Artes e Centro de Informática Instituto de Informática
Comunicações Universidade Federal de Universidade Federal de
Universidade Federal de Pernambuco Goiás
Pernambuco {jmxnt, jk, vt} [email protected]
{souza.ead, lalv4401} @cin.ufpe.br
@gmail.com
1. Introduction
120
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ISO 9241-11 suggests that measures of usability with the embedded system) of the equipment being
should cover: repaired. It makes use of motion tracking, mobile
• Effectiveness, the ability of users to computing, wireless networking and 3D modeling
complete tasks using the system; to improve both quality and efficiency of the task
• Efficiency, the level of resources being performed [5].
consumed in performing tasks;
• Satisfaction, user’s subjective reactions to
using the system [2].
The CapCam device had already been tested
before, although not with final users or on the field.
As result of this first evaluation, it was ascertained
that its main deficiency was its fixation to the
users’ head [3]. Other demands to improve the
prototype were defined. The proposed upgrades
were (1) improve the fixation system; (2) provide
greater adaptability of the CapCam to other HMD
models and (3) enhance usability.
At last, in this paper, it proposes to evaluate the
CapCam regarding (1) difficulty of wearing it, (2)
fixation to users’ heads, (3) discomfort caused on Figure 2. ARMAR’s screenshot. The 3D model of the
the user, (4) functionalities, (5) acceptance by users equipment to be mounted is shown by the AR
and (6) fatigue due to having it worn for long time. device, along with the instructions of what the user
This paper is divided in sessions that show the has to do.
steps in the development of the CapCam. In
section 2 the related work that provided basis to the Meanwhile, research aimed at making portable
project’s concept and intents are to be shown. and wearable devices have also produced important
Then, in section 3, the case study of the CapCam results in the last years (Figure 3). The need of
will be explained and detailed, firstly, being connected to the world through the internet
(subsection 3.1) the methodology used and then the has motivated the development of this type of
description of the process (subsection 3.2). Having devices. By making this technology available, other
explained the process, the results will be shown and applications of wearable devices have been
explained in section 4. In section 5, some suggested, studied and developed. The miva
considerations will be discussed and the future platform is a reliable platform of wearable devices
works will be proposed. which takes advantage of AR in order to design
virtual interfaces, improving human-machine
interaction considerably [1].
2. Related Work
121
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
(Figure 4) and this way, it could help identifying researched and analyzed in order to identify their
and specifying problems and the equipment in positive and negative aspects. Searches must be
which these problems are occurring [6]. made using keywords related to the main concept
of the project and a database with similar products
must be created, pointing out its characteristics and
exemplifying through images, if possible [7]. This
comparison is very important in order to use
effective and attainable technologies.
Throughout the tests, two methods were used to
extract relevant information from the users. The
first one was (2) task analysis, which is the
Figure 4. From left to right: real image, thermal image identification of several representative tasks that
and combined image. This combination makes the the system will be used to accomplish [8], in such a
face recognition a much more robust tool. way that the system blends in smoothly to the
world and task of the user, in order to be
In order to aid maintenance personnel, the successful. The second one was the (3) thinking
ARMAR used a HMD to provide AR to the user. aloud method – under this method, users verbalize
This has been proven efficient, since this kind of their thoughts as they enter consciousness; hence,
task requires the user to have his/her hands free to they are able to follow their normal sequence of
operate any tools in order to fix the equipment. thoughts while they verbalize [9].
This solution has also been analyzed in other It was also required from the users to show their
products, designed for other uses, and was also position toward the CapCam in a more objective
proven efficient. Attaching devices to head-worn way. That stated, a questionnaire was designed,
equipment is used in many different areas: cycling, applying several methods: (4) a Likert scale – a
parachuting and mining are a few examples. Also, scale commonly employed in questionnaires with
it was useful to integrate the necessary equipment several statements (Likert items) for which the
to the task of inspection – the helmet – to the respondent must indicate a degree of agreement or
thermal vision functionality. disagreement [10] – and (5) the SUS – System
The CapCam integrates many assets, Usability Scale – composed of ten Likert items,
functionalities and technologies related to all of which scores and gives a global view of systems’
these related works. Its goal is to support the user usability [11]. The (6) semantic differential scale –
in tasks such as thermal inspections, providing an in which the respondents indicate their attitude
improvement on the users’ quality of work. towards the object, using an itemized scale – was
also used [12].
3. Case Study The testes were done using the CapCam, which
has a webcam Microsoft VX-6000 and a thermal
This section presents the case study, which is camera Irisys 1011 embedded. Also, the user wore
the description of the steps that were taken by a HMD Liteye monocular LE-750A.
CapCam developers in order to evaluate the
usability of the prototype. 3.2 Evaluation Process
The methods used in the evaluation design are to
be explained. The pre-evaluation step (analysis of The analysis of similar concepts was focused on
similar concepts), the test itself (task analysis, helmets that were made to be very well fixed on
thinking aloud method) and the concepts used on a users’ heads; among them, were found bike, war
post-test questionnaire answered by the users and construction hard helmets. It was noticed that
(Likert scale, SUS and semantic differential scale) war helmets used press-studs in order to make the
are the phases that the team has gone through in helmet fastened. This material was used to attach
order to realize the evaluation. the liner to the hard helmet, which made it ready to
The evaluation process is described next, use: comfortable and steady.
divided in Methodology, which contains the It was chosen to attach a different HMD from
methods and equipment used, and the Evaluation which was used on the first round of tests with the
Process, which describes the process itself. CapCam [3]. This was due to the need of broader
adaptability of the helmet with other models of
3.1. Methodology HMDs available on the market. The display used
on this round of tests was a monocular one attached
Before realizing the tests, it was performed (1) to the helmet’s side, with a screw.
an analysis of similar concepts, a method in which It is important to notice that the only differences
products with similar goals and target audience are between the evaluated prototype and the previous
one are defined by the new inner liner and its
122
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
fixation system, and the monocular HMD used this about the task, and not about the process itself,
time. since satisfaction is one of the three parameters for
To evaluate the CapCam, four phases were usability.
proposed: casual interview, realization of the task At last, the questionnaire was applied to the
(thermal inspection), prototype testing and three subjects, so that some aspects (that were
questionnaire responding. already evaluated subjectively) could be graded and
The casual interview was made in order to the objectively measured. The questionnaire was
team members get acquainted to the users, and so, composed of three steps, each one based on a
preliminary information about the task and aspects different method previously explained. Firstly, the
related to it could be obtained. This information is SUS was answered; then, five Likert items helped
important, for it reflects the users’ attitude towards quantify specifically some aspects that SUS
the task. covered generically. At last, a semantic differential
The test was conducted at Chesf’s Bongi scale was used to quantify the aspects of the
substation in Recife, Brazil and three typical end CapCam more casually by the users.
users collaborated on it. The task the CapCam was
designed to aid was thermal inspection on 3.2. Results
substations. This task consists in identifying
malfunctioning equipment – indicated by the According to the answers of the users, the SUS
presence of hotspots. That is the main reason why score was calculated. The average score given by
thermal vision is such a robust tool for the task. the respondents was 71.6. Rating this score, the
Even though this task has low complexity, it CapCam can be classified as Good, among the
demands long time to be completed, which means proposed by Bangor (2009). This classification was
it is hardly performed with urgency. In this phase, consistent with the users’ answers on this extra
the task was analyzed in order to comprehend the item suggested by Bangor.
whole sequence of ideas and subtasks the users In order to grade the other five Likert items that
have to accomplish before finishing the main task. were unrelated to the traditional SUS rating, an
The next step consisted in performing the same arbitrary and intuitive scalar quantity rating was
task a second time using the CapCam; so the created: each level of agreement to the statement
usability and users’ satisfaction could be compared was rated by 1 point, which means that 5 points is
to the method the thermal inspections are done up the greater grade for each statement for an
to this date. The task analysis was also performed individual user. The last statement, though, used a
at this point, in a way that the CapCam could be different evaluation: the lower the score, the better
evaluated about providing the support needed in all it was. Thus, the total grade given by the
of the subtasks. respondents was subtracted from the max grade
Throughout both of the fore mentioned phases, overall (15) in order to maintain cohesion to the
the thinking aloud method was also applied, in evaluation, as shown in Figure 5.
order to acquire data related to the users’ thought
Figure 5. Bar chart, showing the sum of the scores of the answers the users gave to the statements on a Likert
scale. Being the score from 1 to 5 for each user, the maximum sum of points is 15.
123
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
In the next phase on the questionnaire – that to his head size, for he couldn’t find the knob on
used the semantic differential scale – the results the back of the helmet – which was thought to be
were very positive. The answers given by each user easy, as the liner is the same currently used by the
are shown in Figure 6. company. The HMD had an adjustable lock on the
The equipment that was beneficial to the side of the helmet, where it was attached, to which
realization of the task (as it is currently performed) the users were not acquainted. This means the
was analyzed and several needs and difficulties previous training is very important for the users to
were ascertained. The equipment used were (1) understand all the functionalities of the CapCam.
helmet – mandatory for the entrance on the The new fixation system was approved by all of
substation – (2) rubber boots, for electric isolation, the three users. Each one of them felt completely
(3) thermal camera and (4) psychrometer, to confident and comfortable to move their heads in
measure relative humidity. Among those, the focus any ways. Along the inspection using the CapCam,
of the analysis was the thermal camera and its the users continued to commend this characteristic.
relation to the user. The camera currently used is Nevertheless, the system does not take thermal
the ThermaCAM S60 and even though it is photographs and send them to the company’s
considered light compared to other thermal cameras database, which is a main subtask that must be
(it weights two kilograms), it inflicts discomfort done. Some suggestions were given by the users
and pain on the users’ wrists after some time of along the process, for example, a control panel that
use. would be attached to the user’s chest, in order to
As a result from the task analysis, it was noticed keep hands free. An issue regarding the cameras
that all along the inspection, it is demanded that the attached to the CapCam was noticed: they do not
users visualize many hotspots in position high have the same technical specifications (e.g., lenses,
above eye level, and so, the users need to lift the focal length), which means they were not and most
camera. To do that, the user would have to raise likely cannot be suitably aligned so the images get
his/her whole arm, which would cause pain in the overlapped.
users’ shoulders; besides, raising the whole arm The thermal camera used on the CapCam
makes the thermal camera’s monitor difficult to be represented a technical barrier: it needs to be small
seen, because it is located at the top of the camera. and light (to fulfill the requirements of the
If the camera is raised using only the wrist, as were CapCam), but it has low resolution, reach and
done by the users on the test, it inflicted pain by accuracy. According to one of the users, the low
continuous repetition. This may be due to the task resolution thermal image overlapping (over the real
the camera is designed to: it was not designed to be world image) lessens even more the quality of the
a hand-camera, but to rest on a tripod, registering inspection. Also, there was a drawback from using
images along extended periods of time. the CapCam, analogous to the currently used
Regarding the CapCam, there was some cameras. In order to visualize equipment highly
difficulty on wearing the helmet, because there are above the level of the eye, the users had to lean
too many wires on the back of the helmet and the their heads to the back exhaustively. This is due to
HMD on the front, which makes the user wear it both the cameras are proportionally much above
slowly and uncertain. For the same reason, one of the level of the eye. In other words, it causes
the users had some difficulty adjusting the helmet discomfort to keep leaning the head backwards
much too many times.
124
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5. References
[1] TEIXEIRA, J. M.; SILVA, D.; MOURA, G.;
COSTA, L. H.; TEICHRIEB, V.; KELNER, J. miva:
Constructing a Wearable Platform Prototype, Recife,
2007.
125
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Diego Roberto Colombo Dias, Anthony Ferreira La marca, Mário Popolin Neto, José Remo
Ferreira Brega
Universidade Estadual Paulista – LSTR
126
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
127
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
utilizam os aglomerados tradicionais não possuem esta Protocolo encapsula bibliotecas, escondendo as
necessidade [5]. diferenças entre os protocolos de comunicação TCP,
A libGlass consiste em um conjunto escalável de UDP, MPI, VIA, entre outros. O plugin de
componentes que podem ser utilizados pelas Compartilhamento é responsável pela distribuição de
aplicações, que são construídas reutilizando-se, valores de objetos para os nós do AG. As Barreiras
conforme a necessidade, os componentes que estão gerenciam o sincronismo no AG. O plugin Evento
disponíveis, habilitando assim, a execução dos serviços permite ao desenvolvedor utilizar dispositivos não
oferecidos pela biblioteca. convencionais para a interação com o AV, como
Apesar de a biblioteca ter como objetivo agilizar e celulares ou Palms, que mesmo possuindo um poder
facilitar o processo de desenvolvimento de aplicações menor de processamento, pode enviar estímulos ao AV
de RV, ela pode ser utilizada para desenvolver sem interferir no desempenho da aplicação. O plugin
qualquer aplicação baseada em aglomerado. Além Alias permite diferentes visões aos usuários, com
disso, pode ser utilizada para portar aplicações de RV diferentes posições de câmeras no mesmo ambiente.
já desenvolvidas para sistemas fortemente acoplados As aplicações Glass podem usar diferentes
para serem executadas em AG sem a necessidade de protocolos sem que a biblioteca seja modificada ou
refazer todo o projeto. recompilada, esse componente possui uma infra-
A Figura 2 apresenta uma visão geral dos seus estrutura de empacotamento e desempacotamento de
componentes. Inicialmente, tem-se o arcabouço, que é mensagens, que suporta todos os tipos básicos (integer,
composto pelos componentes: Instanciação, Protocolo float, string, entre outros). Este tipo de comportamento
e os Plugins. O componente Instanciação tem por garante a interoperabilidade entre sistemas
objetivo inicializar as aplicações conforme a operacionais. Assim, pode-se, por exemplo, executar
arquitetura interna da libGlass, que permite criar alguns nós da mesma aplicação no Linux e outros no
aplicações Cliente ou Servidor. O componente Windows ou no Mac OS [5].
A libGlass possui dois grupos de aplicações, sendo Aplicações de Suporte que auxiliam o desenvolvimento
eles: i) as Aplicações Glass criadas pelos aplicações.
desenvolvedores e os programas exemplos; e ii) as
128
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Os nós que manuseiam os dados de entrada dos Dessa maneira, é necessária a especificação de seus
dispositivos não precisam estar executando as métodos, pois existem diferenças entre as
aplicações, contudo eles devem receber as entradas, implementações utilizando OpenGL e o Java 3D.
processar e enviar os resultados para os nós que estão
executando a aplicação. Os eventos devem ser 5. Descrição da aplicação Exemplo
recebidos por todos os nós interessados, caso isso não
aconteça, incoerências no ambiente podem ocorrer. Nesta seção, são apresentados os passos de
O tratamento correto dos dados de entrada é de desenvolvimento de uma aplicação em Java 3D
extrema importância para as aplicações de utilizando a libGlass no compartilhamento de dados de
multiprojeção, pois o ponto de vista de cada imagem posicionamento do AV. Um AV no formato X3D é
deve ser preciso para que não ocorra incoerência na utilizado com estudo de caso. O loader Xj3D [9] foi
imagem. escolhido para gerar o grafo de cena X3D à aplicação
Os tipos comuns de dados podem ser criados e Java 3D.
manipulados. Entretanto, pode-se escolher outras Primeiramente, devem ser criados os objetos do tipo
bibliotecas para trabalhar em conjunto com a libGlass, Cliente Glass, Barreiras, Compartilhamento e Alias. O
por exemplo, a API Java 3D. objeto Cliente Glass é responsável por instanciar a
Ainda, as aplicações podem utilizar diversos aplicação Glass como um nó do AG. O objeto Barreira
dispositivos de multriprojeção, como: CAVERNAS possibilita o sincronismo entre os nós do aglomerado.
Digitais, capacetes de visualização e monitores; e Os objetos Compartilhamento são responsáveis pelo
vários dispositivos de interação, como: mouse, compartilhamento de dados das coordenadas do AV.
rastreadores e dispositivos de sensação ao toque. Por último, os objetos Alias, responsáveis por controlar
Estes tipos de ferramentas são aquelas que auxiliam os pontos de vista do AV. A Figura 3 apresenta a
o desenvolvimento de aplicações Glass. definição dos objetos.
4. Trabalhos Correlatos
O grupo LSTR realiza pesquisa em áreas como:
Realidade Virtual, Realidade Aumentada, Sistemas de
Multiprojeção e Visualização Científica.
Alguns trabalhos correlatos foram publicados em Figura 3. Declaração dos objetos Glass.
outros eventos, entre eles:
Dias [6], apresentou um trabalho relacionado A Figura 4 apresenta o método de inicialização da
no WRVA 2009. O trabalho consiste em uma aplicação Glass.
ferramenta utilizada para visualização de
arcadas dentárias. As bibliotecas utilizadas
foram: a libGlass e o OpenGL [7]. A
aplicação foi desenvolvida utilizando a
linguagem C++, nativa às duas bibliotecas
utilizadas.
Dias [8], apresentou trabalho no WIM 2010,
evento satélite do XXX CSBC. O trabalho
consiste de uma ferramenta de Visualização
Científica para Estruturas Dentárias em geral.
Esta ferramenta foi desenvolvida utilizando a
linguagem C++.
129
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Servidor, isto é, ele será responsável por gerenciar os ambiente, as novas coordenadas geradas são
outros nós do AG. Dessa maneira, o nó Servidor deve compartilhadas pelos objetos Glass, para que os outros
ser o primeiro a ser instanciado. Os objetos Glass são nós também possam ser alterados.
instanciados logo após a definição do tipo de nó. O
nome entre aspas, por exemplo, “anglex”, representa o
nome que o objeto compartilhado tem perante os nós.
O protocolo de rede utilizado entre os nós do
aglomerado é o TCP, sendo este implementado como
plugin da libGlass.
A Figura 5 apresenta a definição dos pontos de vista
do AV. Foram utilizados dois pontos de vistas, gerando
assim duas projeções simultâneas.
130
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
7. Referências
[1] HANCOCK, D. Viewpoint: virtual reality in search of
middle ground. IEEE Spectrum, 1995.
O uso de sistemas de multiprojeção, antes limitado a [6] DIAS, D. R. C. et al. Sistema de Realidade Virtual para
poucos devido aos altos custos dos dispositivos, hoje Estruturas Dentárias. In: 6º WORKSHOP DE REALIDADE
pode ser implementado utilizando-se apenas VIRTUAL E AUMENTADA - WRVA, 2009, Santos. Anais
computadores pessoais e projetores. do WRVA 2009, Santos, 2009.
A API Java 3D tende a facilitar o desenvolvimento
[7] OpenGL. The Industry's Foundation for High
de aplicações de Realidade Virtual, devido a sua
Performance Graphics: from games to virtual reality,
independência de plataforma e o alto poder de mobile phones to supercomputers. 2010. Disponível em:
produtividade que a linguagem Java proporciona ao <http://www.opengl.org/about/overview/>. Acesso em: 5
desenvolvedor. ago. 2010.
A libGlass, sendo uma biblioteca livre de custos,
apresentou um bom resultado com relação à proposta [8] DIAS, D. R. C. et al. Sistema de Multiprojeção para o
deste artigo: gerar um AV com multiprojeções de baixo Auxílio ao Ensino de Odontologia. In: XXX CONGRESSO
custo. DA SOCIEDADE BRASILEIRA DE COMPUTAÇÃO -
O desenvolvimento de aplicações utilizando essas CSBC, 2010, Belo Horizonte. Anais… Belo Horizonte,
2010. Disponível em: <http://www.inf.pucminas.br/sbc2010
tecnologias apresentadas são de fácil implementação,
/anais/index.htm>. Acesso em: 6 ago. 2010.
bastando apenas à modificação de alguns métodos da
API Java 3D. [9] Xj3D. 2009. Disponível em: <http://www.xj3d.org/>.
Acesso em: 5 ago. 2010.
Agradecimento
Este trabalho foi financiado pelo Conselho Nacional de
Desenvolvimento Científico e Tecnológico – CNPq,
sob concessão No. 477708/2008-0
131
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Abstract
132
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5 Programas adaptados
3 Bibliotecas utilizadas
Foram realizadas adaptações de programas para os dois
protótipos. O enfoque dado foi na área de jogos tridimen-
Os softwares dos protótipos foram em sua maioria im-
sionais, tendo sido adaptados os jogos de código aberto:
plementados em linguagem Python.
Warzone 2100 e CannonSmash.
A parte de Computação Gráfica foi resolvida usando a A escolha dos jogos não foi feita ao acaso. O jogo War-
biblioteca para desenvolvimento de jogos Panda3D. zone 2100 consiste de um combate terrestre travado em um
Para o reconhecimento e acompanhamento de fiduciais cenário montanhoso. Esse tipo de cenário visto na forma
foi utilizado a biblioteca AR ToolKit, que já está integrada estereoscópica horizontal produz a sensação de que o com-
ao Panda3D. bate se passa sobre uma maquete, tornando a visualização
Para realizar a leitura dos sensores do controle do Wii foi mais natural que a proporcionada pela versão original do
utilizada a biblioteca CWiid. jogo (Figura 5).
Foram também realizadas adaptações de jogos 3D de Embora a versão modificada seja interessante devido ao
código aberto para a plataforma, como descrito na seção 5. relevo do cenário, ela apresenta dois inconvenientes para o
Nestes jogos, o ajuste da saı́da gráfica foi feito caso a caso. efeito estereoscópico:
133
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
7 Conclusões
6 Programas desenvolvidos
Para algumas aplicações, a utilização de visualização
Além dos jogos adaptados, foram desenvolvidas estereoscópica sobre superfı́cies horizontais oferece uma
soluções para a implementação de sistemas em Linguagens maior naturalidade para o usuário do que a visualização es-
C e Python. tereoscópica tradicional. Quando ela é utilizada em con-
134
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Referências
135
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 7
APLICAÇÕES EM REALIDADE VIRTUAL E
AUMENTADA
136
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Eunice P. dos Santos Nunes1,2, Lucia V. L. Filgueiras1, Fátima L. S. Nunes1, Romero Tori1
1
Interlab – Laboratório de Tecnologias Interativas – Escola Politécnica/USP
Av. Prof. Luciano Gualberto, nº 380 – 05508-010 – São Paulo – fone (11) 3091-5282
2
Instituto de Computação – Universidade Federal de Mato Grosso (UFMT)
Av. Fernando C. da Costa, no 2367 – 78060-900 – Cuiabá-MT – fone: (65) 3615-8791
{eunice.poli,lfilguei,fatima.nunes,tori}@usp.br
137
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Uma das teorias mais conhecidas desse é a Engenharia A Figura 1 mostra o processo de design na
Cognitiva que se baseia no pensamento, ou seja, na abordagem da Engenharia Cognitiva.
forma como o usuário interpreta e interage com o
sistema [14].
Neste trabalho, procura-se discutir a concepção de
sistemas de Realidade Virtual (RV) e Realidade
Aumentada (RA) sob a perspectiva da Engenharia
Cognitiva, visto que estes sistemas buscam a interação
homem-computador mais próxima da realidade do
usuário.
Seguindo esta abordagem o presente trabalho
apresenta pesquisas que têm sido desenvolvidas nas
áreas de RV e RA que se preocupam com os aspectos
cognitivos dos usuários no processo de interação
homem-computador, como esses aspectos têm sido
explorados; quais recursos de interação têm sido
utilizados, e como a abordagem da Engenharia
Cognitiva desde a fase de concepção do sistema
poderia contribuir para um sistema centrado no
usuário.
Este trabalho está estruturado da seguinte maneira: a
seção 2 apresenta os conceitos sobre Engenharia
Cognitiva. A seção 3 apresenta pesquisas nas áreas de
Realidade Virtual e Realidade Aumentada Figura 1. Modelo de interação da Engenharia
desenvolvidas com a perspectiva da Engenharia Cognitiva [14]
Cognitiva, e a seção 4 apresenta as discussões e
conclusões deste trabalho. Isso significa dizer que as pessoas elaboram e
trabalham sobre a realidade através de modelos
2. Engenharia Cognitiva mentais ou representações que montam a partir de
percepções provenientes dessa realidade. Esses
A Engenharia Cognitiva foi concebida por Donald modelos, que condicionam totalmente o
Norman em 1986 [10] como uma tentativa de aplicar comportamento do indivíduo, constituem a sua visão
conhecimentos de Ciência Cognitiva, Psicologia da realidade, que é modificada e simplificada pelo que
Cognitiva e Fatores Humanos ao design e construção é funcionalmente significativo para ele. Os modelos
de sistemas computacionais. Os principais objetivos de mentais relativos a um sistema interativo, por exemplo,
Norman eram: i) entender os princípios fundamentais variam de indivíduo para indivíduo, em função de suas
da ação e desempenho humano que são relevantes para experiências passadas, e evoluem no mesmo indivíduo,
o desenvolvimento de princípios de design; ii) elaborar em função de sua aprendizagem.
sistemas que sejam agradáveis de usar e que envolvam Partindo do princípio da Engenharia Cognitiva, o
os usuários de forma prazerosa [14]. objetivo do designer é desenvolver uma aplicação que
Norman & Draper [10] definem que inicialmente o facilite ao usuário trabalhar com modelos mentais que
designer cria o seu modelo mental do sistema, sejam mais naturais a ele. Para que isto seja possível,
chamado “modelo de design”, fazendo a seguir a Norman & Draper [10] argumentam que o designer
implementação formando a imagem do sistema. precisa entender o processo através do qual o usuário
Posteriormente, o usuário interage com essa imagem e interage com a interface do sistema e para isso propõe
cria seu próprio modelo mental da aplicação, chamado a Teoria da Ação para apoiá-lo.
de “modelo do usuário”, por meio do qual formulará A Teoria da Ação determina que a interação
suas ações e objetivos, traduzindo-os em termos de usuário-sistema deve ser feita através de um ciclo de
comandos e funções do sistema. Percebe-se, assim, que ações. Esse ciclo se divide em dois Golfos, o Golfo de
a Engenharia Cognitiva focaliza centralmente a Execução (Formulação da Intenção, Especificação da
interação usuário-sistema, enfatizando o produto final Sequência das Ações, Execução) e o Golfo de
do processo de design, o sistema, e o modo como o Avaliação (Percepção, Interpretação, Avaliação), como
usuário o entende. ilustra a Figura 2.
138
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
139
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
baseadas em Bloom et al. [2], a fim de avaliar sua mostraram a importância de se utilizar a abordagem da
cognição no ambiente virtual imersivo em relação ao Engenharia Cognitiva para a concepção de sistemas de
conhecimento, compreensão e aplicação, considerando RM, em vez de transferir as diretrizes tradicionais de
os processos mentais superiores. usabilidade para interação homem-computador no
Segundo Vygotsky [15], os processos mentais domínio em questão.
superiores (pensamento, linguagem, comportamento) Nesse mesmo caminho Nilsson & Johansson [9]
têm origem em processos sociais. O desenvolvimento apresentaram a concepção de um protótipo que utiliza
cognitivo do ser humano não pode ser entendido sem técnicas de RA também com base na Engenharia
referência ao meio social, ou seja, é necessário Cognitiva, e inclui um estudo de usabilidade que foi
converter as relações sociais em funções mentais. testado por doze participantes profissionais médicos e
O objetivo da pesquisa de Zanbaka et al. [19] foi enfermeiros. O objeto usado no estudo foi um Trocarte,
investigar as diferenças na percepção e compreensão instrumento cirúrgico que serve para praticar uma
de um AV imersivo, comparando-se a exploração do punção em um paciente. Todos os participantes tinham
mesmo por meio de duas formas de interação: usando alguma experiência como o instrumento e foram
um joystick comum e caminhando sobre o espaço observados realizando a tarefa virtual.
virtual de uma forma natural. Visto que em um O trabalho teve como objetivo principal discutir a
ambiente virtual 3D uma navegação eficiente constitui usabilidade e aceitação do usuário em relação ao uso
um aspecto fundamental para alcançar uma interação do protótipo como instrumento de ensino e os
homem-computador condizente com o ambiente resultados obtidos serviram como base para a discussão
virtual, que tem como objetivo principal simular da concepção de sistemas de RA sob a perspectiva da
situações reais. Engenharia Cognitiva. A análise dos resultados indicou
Também na literatura são encontrados diversos que, embora existam alguns problemas ergonômicos a
estudos que buscam a avaliação da cognição em serem resolvidos, a aceitação neste grupo de usuários
ambientes virtuais voltados para o ensino, como em foi elevado, uma vez que um instrumento como o
[5], no qual os autores desenvolveram um framework, Trocarte representa uma ferramenta utilizada para uma
utilizando técnicas de hipermídia adaptativa visando a tarefa de alto risco, mesmo quando usada por
adaptação de um ambiente virtual de aprendizagem de profissionais qualificados.
apoio a EaD, considerando os estilos cognitivos Alguns artigos que abordam a importância da visão
predominantes dos alunos de um curso a distância. cognitiva que está alinhada com a teoria da Engenharia
Cognitiva também têm sido alvo de estudos, como em
3.2. Sistemas de Realidade Aumentada Siegl et al. [13], que apresentam o Projeto Europeu de
Visão Cognitiva (European Cognitive Vision Project)
Nilsson & Johansson [8] desenvolveram um que utiliza tecnologia de RA para selecionar objetos
protótipo para simular uma técnica da área médica, em uma sala, posicionados fora do alcance do braço.
denominada Diatermia, que usa um transmissor de Este trabalho foi concebido seguindo a teoria de
ondas curtas (HF) com o objetivo de provocar o sistema de visão cognitiva proposto por Christensen &
aquecimento de tecidos internos do corpo. Este Nagel [4]. Para tal foi sugerido um sistema wearable
protótipo foi desenvolvido utilizando técnicas de que consiste em dois subsistemas independentes,
Realidade Misturada (RM) - Mixed Reality. O permitindo mobilidade e podendo ser aplicado tanto
desenvolvimento do protótipo tratou as questões de em ambientes internos quanto externos. O aplicativo
usabilidade do sistema sob a perspectiva da Engenharia funciona como uma retroalimentação, visto que
Cognitiva, com a finalidade de encontrar uma permite o sistema aprender assistindo um ser humano
abordagem alternativa para interação dos usuários com realizar determinadas tarefas.
sistemas de RM de forma mais natural possível. Os resultados da pesquisa mostraram que a
Um estudo qualitativo foi realizado com os tecnologia de RA proporcionou uma interação homem-
usuários em um hospital, no qual os profissionais computador adequada partindo do princípio da teoria
testaram o protótipo como um equipamento médico do sistema de visão cognitiva, pois modelou o
voltado para o ensino da técnica. Os resultados processamento da memória visual humana com a
indicaram que os participantes deste estudo não memória ativa [13].
consideraram o sistema RM como um dispositivo de Bannat et al. [3] & Wallhoff et al. [18] propõem
computador tradicional, mas sim como um instrumento um framework multimodal de adaptação de um sistema
pessoal interativo. Durante o estudo, os usuários de produção em uma fábrica de automóveis de acordo
apontaram algumas questões fundamentais em matéria com os aspectos cognitivos dos funcionários do setor
de design e usabilidade no uso do protótipo, que de produção mediante a complexidade da montagem
manual das peças. Pela observação dos hábitos naturais
140
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
dos funcionários em uma fila de produção, tais como Reabilitação Espacial (2004,2008)
os fatores humanos de emoção, reconhecimento de Cognitiva
Avaliação da Processos Zanbaka et
gestos, monitoramento e rastreamento de movimento percepção e mentais al. (2005)
dos olhos e outros, o processo de produção pode ser compreensão de superiores
RV
rastreado e, portanto, ser acompanhado e adaptado um AV imersivo
dependendo do contexto. Avaliação da Estilos Geller;
cognição em AV cognitivos Tarouco;
Este sistema utiliza técnicas de RA, equipado com de EaD predominantes Franco
sensores e atuadores, integrados e incorporados ao (2004)
ambiente físico. Eles diferem de outros sistemas deste Discussão dos Processo de Nilsson;
tipo por capturar os aspectos cognitivos dos aspectos de Engenharia Johansson
usabilidade Cognitiva (2006,2007)
funcionários durante o período de trabalho no setor de
Avaliação da Visão cognitiva Siegl et al.
produção e, assim, possibilitar a capacidade de interação homem- (2007)
adaptação do sistema técnico de acordo com os computador
RA
aspectos cognitivos observados e capturados durante Framework Observação dos Bannat et al.
um período de observação. A adaptação do sistema multimodal de aspectos (2008);
adaptação de um cognitivos Wallhoff et
para o usuário é o principal tema de investigação do sistema de al. (2007)
trabalho dos autores. Portanto a máquina cognitiva produção
observa o trabalhador, reconhece ações relevantes e
reage à situação de acordo com o contexto. Uma vez 4. Discussões e conclusões
que esta é uma tarefa de alta complexidade que
consiste de vários módulos com diversos graus de Analisando os trabalhos relacionados nesta revisão
liberdade, um estudo de caso de produção virtual foi bibliográfica sobre ambientes virtuais 3D, observa-se
estabelecido e estudado, obtendo sucesso nos que vários estudos têm sido realizados destacando-se
resultados da pesquisa. os Fatores Humanos no processo de desenvolvimento
de sistemas interativos.
3.3. Sumarização No entanto, apesar das pesquisas nesta área estarem
avançadas, um grande desafio no campo da interação
A tabela 1 sumariza os trabalhos apresentados nas homem-computador tem sido projetar interfaces de
seções 3.1 e 3.2, classificando-os conforme o foco, usuário para tecnologias emergentes que ainda não têm
abordagem teórica e autores. Tais trabalhos mostram estabelecidos diretrizes de design ou modelos de
como conhecimentos de fisiologia e psicologia podem interação ao introduzir formas completamente novas
contribuir para o projeto de sistemas interativos para os usuários perceberem e interagirem com a
centrados no usuário e a importância de se considerar tecnologia e o mundo ao seu redor. Visivelmente, as
os diversos fatores humanos no desenvolvimento de tecnologias de RV e RA são tecnologias emergentes
ambientes virtuais de RV e RA. que carecem de pesquisas no campo da interação
Para implementação dos fatores humanos alguns homem-computador.
modelos cognitivos têm sido utilizados com sucesso A cognição não é definida como um processo
em sistemas de RA e o ponto de partida tem sido as psicológico, exclusivo para os seres humanos, mas
questões da percepção humana, cognição espacial, como uma característica de desempenho do sistema, ou
visão cognitiva, capacidade cognitiva e as limitações seja, a capacidade de manter o controle. Qualquer
dos usuários, entre outros [12]. sistema que pode manter o controle tem potencial
Mas em RV o que se observou na revisão cognitivo ou cognição [7]. Sendo assim, as teorias da
bibliográfica foi que os AVAs têm sido desenvolvidos Engenharia Cognitiva vêm contribuir para o Projeto de
na sua maioria para investigar a cognição dos usuários Sistemas Centrado no Usuário e diversos Modelos
após o uso do sistema. Dessa forma, há uma lacuna a Cognitivos estão disponíveis, como ACT-R e SOAR
ser preenchida quando se busca sistemas de RV [1]. Esses modelos cognitivos buscam simular o
seguindo a abordagem da Engenharia Cognitiva, isto é, desempenho cognitivo e o comportamento de um ser
sistemas de RV com Projeto de Sistemas Centrado no humano durante a execução de uma tarefa.
Usuário. Neste cenário, esta pesquisa constatou que a
Tabela 1: Abordagens teóricas utilizadas no comunidade científica das áreas de RV e RA ainda
desenvolvimento de sistemas de RV e RA deixam a desejar quando o assunto é Projeto de
Sistemas Centrado no Usuário. Considerando-se os
Técnica Foco Abordagem Autores trabalhos encontrados no decorrer da pesquisa, notou-
AV teórica se que muitos sistemas de RA têm se preocupado em
Sistema para Cognição Wallet et al.
141
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
desenvolver ambientes virtuais com base nos fatores [11] Preece, J. Design de Interação: além da interação
humanos, mas em RV o que se encontrou foi apenas homem-computador. Porto Alegre: Bookman, 2005.
uma preocupação em se utilizar os ambientes virtuais [12] Ritter, F. E., Gordon D. Baxter, Gary Jones, e Richard
como forma de avaliação da cognição dos usuários e M. Young. 2000. Supporting cognitive models as users.
não como condição para se projetar a interação ACM Trans. Comput.-Hum. Interact. 7, no. 2: 141-173.
usuário-sistema. doi:10.1145/353485.353486.
[13] Siegl, H., M. Hanheide, S. Wrede, e A. Pinz. 2007. An
augmented reality human-computer interface for object
5. Referências localization in a cognitive vision system. Image and Vision
[1] Begosso, L. C.; Filgueiras, L. V. Human error simulation Computing 25, no. 12 (Dezembro 3): 1895-1903.
as an aid to HCI design for critical systems. In Proceedings doi:10.1016/j.imavis.2006.04.027.
of VII Brazilian Symposium on Human Factors in Computing [14] Souza, C.S.; Leite, J.C.; Prates, R.O.; Barbosa, S.D.J.
Systems (Natal, RN, Brazil, November 19 - 22, 2006). IHC Interação Humano-Computador: Perspectivas Cognitivas e
'06, vol. 323. ACM, New York, NY, 120-127. DOI= Semióticas. In: Fuks, H. (Org.). Anais do XIX Congresso da
http://doi.acm.org/10.1145/1298023.1298040. Sociedade Brasileira de Computação. Vol. 2: Jornadas de
[2] Bloom, B. S.; Englehart, M. D.; Furst, E.J.; Hill, W.H.; Atualização em Informática. Rio de Janeiro: Edições
Krathwohl, D.R. Taxonomy of Educational Objectives: EntreLugar, 1999, pp. 420-470.
Cognition Domain. New York: McKay, 1956. [15] Vygotsky, L. S. A formação social da mente. 2ª. Ed. São
[3] Bannat, A.; Gast, J.; Rigoll, G.; Wallhoff, F., "Event Paulo: Martins Fontes, 1988.
analysis and interpretation of human activity for augmented [16] Wallet, G., H. Sauzéon, J. Rodrigues, e B. N'Kaoua.
reality-based assistant systems," Intelligent Computer Transfer of spatial knowledge from a virtual environment to
Communication and Processing, 2008. ICCP 2008. 4th reality: Impact of route complexity and subject's strategy on
International Conference on pp.1-8, 28-30, the exploration mode. Fedora Document.
URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4 http://www.jvrb.org/archiv/1757/index_html?set_language=e
648347&isnumber=4648340 n&cl=en, 2004.
[4] Christensen, H.I.; NAGEL, H.H. Cognitive Vision [17] Wallet, Grégory, Hélène Sauzéon, Jérôme Rodrigues, e
Systems. ERCIM News no. 53 (2003), 17–18. Bernard N'Kaoua. 2008. Use of virtual reality for spatial
http://www.ercim.eu/publication/Ercim_News/enw53/EN53. knowledge transfer: effects of passive/active exploration
pdf. mode in simple and complex routes for three different recall
[5] Geller, M.; Tarouco, L. M. R.; Franco, S. R. K. Educação tasks. In Proceedings of the 2008 ACM symposium on
a Distância e Estilos Cognitivos: Construindo a Adaptação de Virtual reality software and technology, 175-178. Bordeaux,
Ambientes Virtuais. In: VII Congresso Iberoamericano de France: ACM. doi:10.1145/1450579.1450616.
Informática Educativa, Monterrey, México, 2004. [18] Wallhoff, F.; Ablassmeier, M.; Bannat, A.; Buchta, S.;
[6] Hollnagel, Erik; David D. Woods. Cognitive Systems Rauschert, A.; Rigoll, G.; Wiesbeck, M., "Adaptive Human-
Engineering: New wine in new bottles. International Journal Machine Interfaces in Cognitive Production Environments,"
of Man - Machine Studies. Multimedia and Expo, 2007 IEEE International Conference
http://www.ise.ncsu.edu/nsf_itr/794B/papers/Hollnagel_Woo on , vol., no., pp.2246-2249, 2-5 July 2007
ds_1983_IJMMS.pdf. URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4
[7] Hollnagel, E.,Woods, D.D. Joint Cognitive Systems. 285133&isnumber=4284553
Foundations of Cognitive Systems Engineering. Boca Raton, [19] Zanbaka, C. A.; Lok, B. C.; Babu, S. V.; Ulinski, A. C.;
FL: CRC Press, Taylor & Francis Group, 2005. Hodges, L.F. Comparison of Path Visualizations and
[8] Nilsson, Susanna, e Björn Johansson. 2006. A cognitive Cognitive Measures Relative to Travel Technique in a
systems engineering perspective on the design of mixed Virtual Environment. IEEE Transactions on Visualization
reality systems. In Proceedings of the 13th European and Computer Graphics, vol. 11, no. 6, pp. 694-705,
conference on Cognitive ergonomics: trust and control in Nov./Dec. 2005.
complex socio-technical systems, 154-161. Zurich,
Switzerland: ACM. doi:10.1145/1274892.1274923.
[9] Nilsson, S.; Johansson B. 2007. Fun and usable:
augmented reality instructions in a hospital setting. In
Proceedings of the 19th Australasian conference on
Computer-Human Interaction: Entertaining User Interfaces,
123-130. Adelaide, Australia: ACM.
doi:10.1145/1324892.1324915.
[10] Norman, D. A.; Draper, S. W. User Centered System
Design – news perspectives on human-computer interaction.
New Jersey: Lawrence Associates, 1986.
142
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Bernardo Reis1, João Marcelo Teixeira1, Eduardo Simões de Albuquerque2, Veronica Teichrieb1,
Judith Kelner1
1 2
Centro de Informática Instituto de Informática
Universidade Federal de Pernambuco Universidade Federal de Goiás
{bfrs, jmxnt, vt, jk}@cin.ufpe.br [email protected]
143
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
um ambiente desktop. Isto ocorre devido colorida para uma imagem em escala de cinza. Isto
principalmente à própria natureza desta plataforma, também é importante devido à quantidade reduzida de
que é voltada para aplicações específicas, onde o memória disponível para armazenar estas imagens, já
melhor desempenho sempre é desejável. que uma imagem colorida de 320x240 pixels com 6
Para alcançar este desempenho, abstrações são bits por cor consome 1382400 bits, enquanto uma
normalmente evitadas, a ponto de serem definidas imagem binária similar necessita apenas de 76800 bits.
inclusive as interconexões entre flip-flops. Além disso, Entretanto, como o módulo existente no ARCam
os dispositivos embarcados são de tamanho reduzido, executa uma limiarização básica, que não leva em
com o intuito de serem portáteis ou de ocuparem pouco consideração aspectos da imagem, é necessária uma
espaço físico em um ambiente. Isto resulta em um análise sobre outras técnicas que aprimorem esta
baixo consumo de energia, que é tanto desejado, como limiarização. No módulo atual é utilizado apenas um
necessário, já que dispositivos móveis possuem limiar fixo para determinar se o pixel é preto ou
capacidade limitada de bateria. branco. Isto leva a um funcionamento inadequado do
Alguns dispositivos, como FPGAs, permitem a sistema em situações com pouca iluminação ou com
programação específica de cada “fatia” de hardware baixo contraste, como ilustrado na Figura 1, onde parte
que compõe seu núcleo, possibilitando que mais de da face não é segmentada do plano de fundo da
uma tarefa seja executada simultaneamente, isto é, com imagem.
paralelismo real (físico).
O desenvolvimento para sistemas embarcados
normalmente envolve a utilização de bibliotecas
específicas do fabricante – comum em celulares ou
microcontroladores – ou linguagens de baixo nível,
ambas as soluções com uma íngreme curva de
aprendizado.
Estas características, contudo, adéquam-se muito
bem às necessidades das aplicações de RA. Porém, as
restrições da plataforma dificultam o desenvolvimento
dessas aplicações. O sistema ARCam, apresentado na
próxima subseção, propõe algumas alternativas para Figura 1. Exemplo de limiarização problemática.
solucionar este problema.
Uma possível solução é a utilização de técnicas de
2.1 ARCam limiarização adaptativa, que usam diversas
características da imagem para permitir a distinção
entre as partes claras e as partes escuras da imagem.
Augmented Reality Camera (ARCam) é um
Este trabalho analisa alguns destes algoritmos e avalia
framework para o desenvolvimento de aplicações de
quais deles poderão ser integrados ao pipeline do
RA embarcada em FPGAs [3][4]. O framework possui
ARCam.
um conjunto de módulos que executam os principais
algoritmos de visão computacional necessários em RA.
Com este conjunto de módulos é possível implementar 3. Metodologia de análise
todo o pipeline de RA, desde a captura da imagem de
entrada da câmera (sensor de imagem acoplado ao O processo de análise desta pesquisa tem como base
FPGA) até a exibição da imagem processada em um fatores qualitativos para avaliar a viabilidade de
display. implementação dos algoritmos de limiarização.
Esses módulos se conectam em forma de cascata, e Contudo, não será avaliada a qualidade da
um componente de memória é utilizado para limiarização, e sim a adaptabilidade dos algoritmos
intermediar a transferência de dados (imagens) entre para sistemas embarcados em RA.
um módulo e outro. A maior parte desses módulos Do ponto de vista de sistemas embarcados serão
executa algoritmos de processamento de imagem, consideradas as seguintes métricas: a facilidade de
como filtragem, convolução, detecção de bordas, paralelização dos procedimentos, o que pode viabilizar
detecção de quadrados, e necessitam que a imagem de a utilização de um algoritmo que sequencialmente
entrada esteja em formato binário (preto e branco). Por consuma mais tempo de processamento; a
isso, um módulo que execute limiarização na imagem complexidade das operações envolvidas, já que
proveniente da câmera é requerido. Este módulo algumas operações podem demorar muito para serem
executa a limiarização depois de converter a imagem executadas ou suas implementações podem ocupar um
número excessivo de elementos lógicos; e uma
144
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
estimativa da quantidade de memória requerida, tendo Este método não apresenta resultados
em vista ser bastante escassa em dispositivos qualitativamente bons comparados aos outros métodos
embarcados. de limiarização adaptativa, contudo é simples e rápido.
Para a análise da viabilidade de utilização dos Ele requer alguma memória para armazenar o
algoritmos no framework ARCam as métricas serão histograma da imagem, mas necessita apenas de
definidas considerando diversos fatores relativos ao poucos elementos lógicos, devido à baixa
comportamento do módulo a ser implementado e os complexidade dos cálculos envolvidos. Apesar de ser
possíveis impactos que poderão ocorrer nos demais essencialmente sequencial, é possível incluí-lo no
módulos do framework. Exemplos desses fatores são: pipeline do ARCam sem introduzir atraso relevante na
qual o tipo de leitura em memória a ser utilizado; qual execução, uma vez que a imagem proveniente da
o método de limiarização a ser otimizado quando da câmera é captada através de um fluxo também
identificação de marcadores de RA, entre outros. sequencial. Este fato caracteriza este método como
uma boa opção para RA embarcada.
4. Limiarização adaptativa
4.2. Método de Riddler
A limiarização adaptativa é uma técnica que analisa
diversos aspectos da imagem para definir se Para definir o valor do limiar, o método de Riddler
determinado pixel será considerado preto ou branco. et al. [6] utiliza um modelo gaussiano de duas classes.
Esta técnica possui uma literatura repleta de A cada iteração, um valor de limiar é escolhido
algoritmos, desde soluções simples (que requer pouco baseado na média do valor das classes de plano de
custo computacional) até a solução ótima de imagem e de fundo. Quando o módulo da diferença
limiarização local. Os algoritmos baseiam-se em entre o valor de limiar de duas iterações seguidas é
características variadas da imagem, como o formato do pequeno o suficiente, então o seu valor é definido.
histograma, a entropia do histograma, atributos Esse processo iterativo possui uma implementação
espaciais, entre outros. custosa quando integrado ao framework do ARCam.
Na próxima subseção estes algoritmos são Isto ocorre porque o fluxo de imagem da câmera não
analisados para verificar a viabilidade de sua permite que a mesma seja lida repetidas vezes, nem há
implementação no pipeline do ARCam. memória suficiente para armazenar a imagem em mais
de um lugar.
4.1. Método de Rosenfeld No entanto, é possível adaptá-lo, considerando que
quadros consecutivos de vídeo não tenham uma
O método de Rosenfeld et al. [5] utiliza o formato composição muito diferente (plano de imagem e de
do histograma para definir o valor do limiar da função. fundo). Em vez do módulo iterar sobre a mesma
O histograma é subtraído de sua própria envoltória imagem, o fluxo convencional da câmera é utilizado e
convexa e o vale mais profundo desta diferença é o limiar é aproximado a cada quadro. Além disso, as
definido como este limiar. A envoltória convexa é o operações utilizadas por este algoritmo não são
polígono convexo que inclui todos os pontos, como complexas e não há necessidade de alocar muitos
ilustrado na Figura 2. recursos de memória. Este método também pode ser
uma boa solução para RA embarcada.
145
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
demandam muitos elementos lógicos do FPGA. Estes durante a implementação este tempo seja maior do que
dois fatores tornam a implementação inadequada para o esperado, ainda é possível paralelizá-lo sem alocar
ser utilizada no contexto do ARCam. muitos elementos lógicos, por exemplo, calculando os
momentos em paralelo. Esta solução poderá ser
4.4. Método de Otsu considerada uma boa opção para o ARCam.
146
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Beghdadi
Conceito 7. Referências
Riddler
Cheng
Kapur
Pun1
Pun2
Otsu
Tsai
[1] R. Azuma, A Survey of Augmented Reality. Presence,
1997, pp. 355-385.
Facilidade de [2] J.M.X.N. Teixeira, V. Teichrieb e J. Kelner, Embedded
2 2 2 2 1 2 4 4 1
paralelização Augmented Reality: Finding an adequate escape pod to real
time augmented reality applications, Lambert Academic
Complexidade
4 4 2 1 2 3 3 3 1 Publishing, 2009.
das operações [3] J.P. Lima, G. Guimarães, G. Silva, J.M. Teixeira, E.
Uso de Xavier, V. Teichrieb e J. Kelner, “ARCam: an FPGA-based
2 4 1 1 2 4 4 2 1 Augmented Reality Framework”, Symposium on Virtual and
recursos
Augmented Reality, 2007, pp. 106-115.
Adaptabilidade [4] G. Guimarães, J.P. Lima, J.M. Teixeira, G. Silva, V.
5 4 2 1 1 4 4 1 1 Teichrieb e J. Kelner, “FPGA Infrastructure for the
ao ARCam
Development of Augmented Reality Applications”,
Pun1 e Pun2 referem-se respectivamente ao primeiro e ao Symposium on Integrated Circuits and Systems Design, 2007,
segundo método de Pun analisados. pp. 336-341.
[5] A. Rosenfeld e A.C. Kak, Digital Picture Processing, 2a.
5. Conclusões ed., Academic Press, 1982.
[6] T.W. Riddler e S. Calvard, “Picture thresholding using an
Foi realizado um levantamento de vários métodos iterative selection method”, IEEE Transactions on Systems,
de limiarização adaptativa com o objetivo de escolher Man, and Cybernetics 8, IEEE, 1978, pp. 630-632.
um ou mais métodos para serem incluídos no pipeline [7] N. Kapur, P.K. Sahoo e A.K. Wong, “A new method for
gray-level picture Thresholding using the Entropy of the
de RA do framework ARCam. Esses métodos foram histogram”, Computer Vision Graphics and Image
analisados sob o ponto de vista de sistemas Processing, 1985, pp. 273-285.
embarcados, cujas restrições existentes atualmente [8] N. Otsu, “A threshold selection method from gray-level
dificultam muito a implementação de vários desses histograms”, IEEE Trans. Systems, Man, and Cybernetics 9,
métodos. 1979, pp. 62-66.
Os métodos de Kapur, Otsu, Beghdadi, Chen e o [9] T. Pun, “A new method for gray-level picture threshold
primeiro método de Pun apresentaram complexidades using the entropy of the histogram”, Signal Processing 2(3),
em diversos aspectos tornando as suas implementações 1980, pp. 223-237.
ineficientes em ambientes de FPGA. Já os métodos de [10] T. Pun, “Entropic thresholding: A new approach”,
Computer Graphics and Image Processing 16, 1981, pp.
Rosenfeld, Riddler, Tsai e o segundo método de Pun, 210-239.
como se pode ver na Tabela 1, se mostram bem [11] W.H. Tsai, “Moment-preserving thresholding: A new
adaptáveis a sistemas embarcados e possuem approach”, Graphic Models and Image Processing 19, 1985,
características favoráveis à implementação no pipeline pp. 377-393.
do ARCam. [12] A. Beghdadi, A.L. Negrate e P.V. De Lesegne,
Como continuação desta pesquisa pretende-se “Entropic thresholding using a block source model”,
implementar os métodos mais satisfatórios encontrados Graphics Models and Image Processing 57, 1995, pp. 197-
nesta pesquisa e realizar uma bateria de testes 205.
avaliando os resultados visuais e as taxas de [13] H.D. Cheng e Y.H. Chen, “Fuzzy partition of two-
dimensional histogram and its application to thresholding”,
reconhecimento de marcadores de RA. Pattern Recognition 32, 1999, pp. 825-843.
[14] A. Kaufmann, Introduction to the Theory of Fuzzy Sets:
Fundamental Theoretical Elements, Academic Press, 1980.
147
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
148
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
símbolos para assinalar unidades, acções ou eventos. Natural Ubiquitous Texture Tracking System [11].
Cada organização envolvida pode ter a sua própria Ambas as bibliotecas estão disponíveis em C++,
simbologia, o que faz com que cada agente tenha de utilizando a biblioteca gráfica 3D Open GL, em
perder tempo na aprendizagem da mesma, sistemas operativos Windows, sendo possível a sua
relativamente a todas as organizações envolvidas. Tal utilização concorrente, isto é, em cada imagem, é
pode gerar mal-entendidos em situações críticas, onde possível a identificação e seguimento de marcas X3M e
vidas humanas e bens materiais podem estar em jogo. marcas NUTTS, conseguindo-se mesmo assim resposta
Contrariamente à situação real (sem RA), a nossa em tempo real. A API X3M utiliza marcas visuais
proposta prevê a utilização e visualização de símbolos semelhantes às utilizadas pelo sistema ARToolKit [12],
virtuais diferenciados para cada agente, associados à sendo no entanto mais eficiente e robusta em ambientes
respectiva linguagem da especialidade, sobre um de iluminação interior variável. Estas marcas são
mesmo mapa em papel e relacionados com os eventos utilizadas pelo sistema, como interfaces tangíveis. A
de crise. Conforme se pode visualizar na Figura 1, na API NUTTS permite-nos escolher para uma marca
nossa proposta, cada agente abstrai e utiliza a sua visual qualquer imagem sem a necessidade de
própria simbologia virtual, para descrever o mesmo contornos da mesma e permite ainda, a oclusão parcial
carro da polícia. da referida marca. Este sistema foi desenvolvido por
Rafael Bastos, no contexto da sua tese de doutoramento
[13] e consiste na análise da imagem e aquisição e
seguimento de diversas features (ou características de
imagem) em várias regiões da mesma, conforme se
pode ver na Figura 3. Estas características são
denominadas FIRST (Fast Invariant to Rotation and
Figura 1. Visualização de símbolos diferentes para Scale Transform), são invariantes à rotação e à escala,
cada agente de duas organizações distintas, que robustas a variações drásticas de luminosidade e, quer
representam o mesmo fenómeno (um carro de polícia). a fase de identificação da primeira pose do plano de
Outro aspecto relevante na gestão dum cenário de textura relativamente à câmara virtual, quer a fase de
crise, prende-se com a presença física de todos os seguimento dessa mesma pose, são realizadas em
agentes de comando no mesmo espaço. Gutwin e tempo real. Refira-se que o algoritmo de seguimento de
Greenberg [8] argumentam mesmo que o sucesso do texturas disponível nas NUTTS, apenas necessita de
trabalho colaborativo, depende muito da interação reconhecer e seguir cinco features FIRST para
presencial. O sistema apresentado neste artigo, recuperar uma pose estável, aumentando claro a
alinhado com os princípios referidos de Gutwin e respectiva precisão, se se conseguirem identificar e
Greenberg, visa a partilha visual e a interação directa seguir mais features FIRST. No caso do nosso estudo
com informação geo-referenciada, relacionada com a foi escolhido como marca NUTTS, um mapa
gestão de uma situação de crise, por parte de todos os geográfico, em formato papel, que serviu de base para
agentes em simultâneo (em modo síncrono) e de forma a gestão e disposição de todas as unidades, acções e
presencial. eventos na gestão da crise.
2.2. Realidade Aumentada 3. Trabalho Realizado
A realidade aumentada pode ser entendida como a Tomando como base o trabalho de Nilsson et al [3],
melhoria da percepção da realidade através do registo mas utilizando no nosso caso, uma abordagem de
de elementos virtuais 3D. Ela necessita de 3 interacção tangível diferente, bem como a possibilidade
características importantes: (1) combinar o real com o de realizar realidade aumentada sobre um mapa em
virtual; (2) registar os objetos virtuais num mundo 3D; papel real sem mais artefactos visuais e, tendo em
(3) realizar esse registo em tempo real, permitindo a conta o equipamento disponível, foram definidos os
interactividade. Estes 3 requisitos são geralmente objectivos e as diversas etapas para a elaboração do
conseguidos pela calibração e seguimento de uma ou nosso sistema
mais câmaras virtuais, cujo modelo matemático 3.1. Equipamento
corresponde ao modelo de uma câmara física solidária No estudo de Nilsson foram utilizados
com a posição e a orientação de um observador da cena equipamentos de visualização to tipo video see-through
real [9]. No desenvolvimento do nosso sistema head-mounted dysplay - HMD, o que permitia a cada
utilizámos duas bibliotecas de realidade aumentada, utilizador visualizar o mapa real digitalizado e os
desenvolvidas por Rafael Bastos e Miguel Dias, a API objetos virtuais em simultâneo. O nosso sistema
X3M – Extreme Tracking [10] e a API NUTTS – suporta igualmente HMD ou, em alternativa, o
149
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
utilizador terá de olhar para o monitor do computador cada imagem adquirida, pelos sistemas de seguimento
portátil, que reproduz o registo da imagem real com os de marcas X3M e NUTTS referidos.
elementos virtuais. Ao nível da interação do utilizador
com o sistema, no sistema de Nilsson, era utilizado um
joystick. Contudo o nosso sistema recorre-se à
utilização de duas marcas visuais X3M, como
dispositivos de interação tangível pessoa-máquina,
manipulados pelos utilizadores. O equipamento
utilizado para o desenvolvimento do sistema, foi o Figura 2. Camera Calibrator do MX Toolkit, para
seguinte: calcular os parâmetros intrínsecos da câmara.
Computador portátil com 2Gb de Ram e placa 3.5. Registo das Marcas Visuais
gráfica NVIDIA® GeForce GO 7400 128MB. Como referido atrás, vamos utilizar no nosso
Câmara de vídeo Logitech® C300 640x 480 30fps. sistema dois tipos diferentes de marcas visuais: uma
Mapa parcial da cidade de Lisboa à escala marca do tipo NUTTS para identificar e seguir o mapa
1:13.400, em papel, servindo de marca NUTTS e do cenário de crise, e algumas marcas do tipo X3M,
duas marcas visuais X3M, como dispositivos de que serão utilizadas como interfaces tangíveis. Como
interação tangível. as features FIRST são extraídas em regiões centradas
nos valores próprios mínimos da imagem (minimum
3.2. Requisitos do Sistema eighen values) [18], elas conseguem identificar e seguir
Para o nosso sistema, foram definidos os seguintes
de forma robusta, invariante á rotação e escala e em
requisitos gerais: (1) A definição dum cenário capaz de
tempo real, diversa informação natural constante na
absorver informação virtual sem alterar o espaço físico
imagem (texturas, linhas vértices, pontos, etc.), o que
dos utilizadores; (2) A interação com o sistema deve
vai permitir que utilizemos uma qualquer parte de um
ser o mais simples, natural e o menos intrusiva
mapa geográfico como marca visual. A técnica FIRST,
possível; (3) Deve ser proporcionada a maior liberdade
exige que a imagem do mapa escolhida seja
na escolha da informação a visualizar para cada
previamente reconhecida pelo sistema, de forma a que
utilizador.
o sistema
3.3. Plataformas Computacionais identifique as
Na elaboração do sistema foram utilizadas as features mais
seguintes plataformas computacionais: apropriadas para
Sistema Operativo Windows XP SP3 [14]. resolver o
Microsoft Visual Studio 2008 C++ [15]. problema do
cálculo da 1ª pose
MX Toolkit: ADETTI-IUL plataforma C++ de
(denominadas
realidade aumentada e mista [16].
Figura 3. Texture Automizer startup features) e
API OpenGL [17] para a descrição 3D do cenário aquelas mais
para obter as startup e tracking
e dos objetos a serem registados para RA. apropriadas para o
features FIRST da marca
3.4. Calibração da camera de Vídeo visual, que será seguida pelo seguimento do
Para realizar a síntese gráfica dos objetos virtuais de sistema NUTTS. plano da textura
forma a apresentarem um alinhamento visual com a (as tracking
marca visual existente no mundo real, é necessário features). Assim, torna-se necessário efectuar uma
criar e configurar uma câmara virtual que possua os análise da imagem digitalizada do mapa da zona de
mesmos parâmetros intrínsecos e extrínsecos da câmara crise, através de uma outra ferramenta disponibilizada
real. Os primeiros são calculados através da ferramenta pela MX Toolkit, o Texture Automizer [16], como se
disponibilizada pela MX Toolkit, o Camera Calibrator pode ver na Figura 3. Esta ferramenta calcula as
[16], visível na Figura 2. Esta calibração apenas coordenadas no referencial assente no plano da textura,
necessita de ser executada uma única vez numa fase das startup features e das tracking features, tendo no
imediatamente anterior à da execução do sistema, para caso presente identificado, respectivamente, 42 startup
a câmara de vídeo utilizada, desde que não se alterem features e 45 tracking features, o que é manifestamente
parâmetros da mesma durante a fase execução (tais suficiente para uma excelente sessão de interação com
como, a resolução de captação de vídeo ou a distância o plano do mapa em realidade aumentada. Essas
focal). No nosso caso foi utilizada a resolução de 640 x coordenadas são arquivadas num ficheiro de texto que
480. Os parâmetros extrínsecos são calculados, para depois é lido na nossa aplicação C++.
150
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Para a interação com o sistema, suportamos duas 3.7. Definição do Menu de Interação
marcas do tipo X3M, a serem utilizadas por cada No processo actual de uma situação de gestão de
utilizador do sistema. A versão impressa das marcas foi crise, quando uma organização manipula um mapa em
definida como tendo 210 x 210 mm, com um contorno papel, este pode ter um vasto número de símbolos para
preto de 5 mm, como se pode ver na Figura 4. Com representar no mapa, como por exemplo, diversos tipos
base nestas imagens foram geradas duas outras de unidades operativas e acções, o que a obriga a dispor
menor resolução (30x30 pixel), para serem de diversos símbolos físicos. A realidade aumentada
reconhecidas e seguidas pelo sistema em tempo real. vem simplificar todo este processo, permitindo no
nosso sistema, que cada utilizador apenas necessite de
duas marcas X3M para a respectiva interação.
Concebemos assim um sistema de menus em zonas
fixas no plano da imagem da tela (zona superior
esquerda), que surgem ao utilizador permitindo a este
activar e desactivar as opções de menu, sobrepondo
Figura 4. Marcas visuais para interação tangível e
simplesmente as marcas sobre as correspondentes
seguimento com a API X3M, para um dado utilizador
regiões do plano da tela, como se pode observar na
do sistema.
Figura 7.
3.6. Definição dos Objetos Virtuais para
Realidade Aumentada
Foram definidos três símbolos 3D, visíveis na
Figura 5, um prisma traingular vermelho para os carros
de bombeiros, um cubo azul para os carros de polícia e
um objeto circular para representar um evento de
incêndio. A escolha destes símbolos numa aplicação Figura 7. Marca visual do utilizador, funcionando
real será da responsabilidade de cada utilizador, de como interface tangível e seleccionando um opção de
cada organização, quanto à sua forma, dimensão, cor e menu para visualizar unidades da polícia.
número. No nosso estudo foi adicionado um objeto
planimétrico geo-referenciado que representa a rede 3.8. Módulos do Sistema
viária da região de crise, como se pode observar na Para o desenvolvimento do sistema utilizamos a
Figura 6 e que se regista no mapa de papel. O linguagem de programação C++, e a biblioteca gráfica
utilizador poderá ainda seleccionar os diferentes OpenGL e, ainda, as bibliotecas MXToolkit, cujas
metadados disponíveis para uma dada zona mapa APIS X3M e NUTTS e o ambiente de integração com
(bocas de incêndio, direcção do transito, etc.) e OpenGL, permitem a visualização e interação em
registados no mapa da região de crise, que poderão ser realidade aumentada. Para satisfazer os requisitos de
visualizados ou não. Todos os objetos virtuais foram sistema, desenvolvemos os 3 módulos seguintes:
contruídos com base em primitivas OpenGL. Módulo de conversão de coordenadas.
Módulo de posicionamento e orientação.
Módulo de gestão de objetos virtuais.
3.8.1. Módulo de Conversão de Coordenadas
Este módulo é o mais crítico de todo o sistema, pois
Figura 5. Objetos 3D que simbolizam, da esquerda
é o responsável por converter todas os sistemas de
para a direita, os bombeiros, a polícia e um incêndio.
coordenadas dos mundos real (onde temos
posicionadas marcas visuais, cada uma com o seu
referencial do mundo próprio associado, onde
consideramos o plano da marca como o plano z = 0) e
virtual (onde definimos objetos 3D), para o mesmo
referencial. Em termos gerais, um objeto 3D é definido
num referencial próprio. A colocação desse mesmo
Figura 6. Objeto virtual planimétrico que representa objeto num referencial do mundo, a consequente
a rede viária do mapa. projeção num plano de uma câmara virtual, definida
nesse mesmo mundo (que no caso da RA tem de
corresponder à câmara de vídeo real), e a subsequente
151
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
transformação para um enquadramento da tela, passam em graus. Por seu lado, a transformação da posição e
por várias etapas até podermos visualizar esse objecto, orientação dos objetos, definidos no referencial do
de acordo com a transformação de visualização mundo próprio associado a uma dada marca, para
completa em 3D, como se mostra na Figura 8 para o coordenadas de câmara, pode ser obtida através da
caso do OpenGL. matriz de ModelView do OpenGL, que o sistema de
RA associa a essa mesma marca:
(2)
152
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
trabalhos futuros, é a sua concretização num sistema mesmos elementos/eventos da situação de crise,
distribuído, para que os vários utilizadores possam existentes em organizações distintas. Propôs-se uma
partilhar a informação entre eles. adaptação desse processo, com a manutenção da
4. Testes e Resultados colaboração síncrona dos intervenientes, numa mesma
Foram efectuados pelos autores dois testes com o sala, numa mesma mesa de trabalho e com a interação
sistema. O primeiro teste consistiu em utilizar as duas conjunta num mapa único (em papel) que reflecte o
marcas X3M sobre a área do menu, em todas as cenário de crise, mas em que toda a simbologia e
situações possíveis do sistema, tendo este respondido simulação situacional se desenrolam numa experiência
com eficácia a todos os requisitos pré-definidos. O em realidade aumentada, que suporta cabalmente o
segundo teste envolveu todo o mecanismo da interação modo colaborativo. Foram definidos os equipamentos e
com os objetos virtuais onde foram realizados os testes o ambiente computacional necessário, incluindo a
de colocação dos objetos, ou seja o seu registo no utilização de uma plataforma de suporte ao
mapa, bem como o seu levantamento do mapa, que desenvolvimento de aplicações em realidade
equivale á remoção do objeto do sistema. Este teste foi aumentada, baseadas no seguimento de texturas
efectuado com várias vistas do mapa, ou seja, em arbitrárias com as novas features FIRST que trabalham
determinados poses, para se verificar que os objetos em tempo real de forma robusta. A partir dos requisitos
eram registados na posição e orientação correctas em de sistema, foi especificada, desenvolvida e testada
qualquer ponto de vista. Para cada ângulo do mapa o uma aplicação em realidade aumentada, que se propõe
objeto virtual a registar era posicionado numa área como uma solução possível para o problema, tendo
aleatória do mapa distante do centro, e eram testadas 4 sido encontrada uma solução capaz de, nomeadamente,
orientações, com o objeto virado para Norte, Sul, Este converter os diversos referenciais em jogo no sistema,
e Oeste. Os resultados da tabela abaixo, estão para um único referencial (do plano de projecção da
expressos em percentagem do correcto posicionamento câmara virtual), o que facilita a interacção do utilizador
e orientação. Detectámos que quando mapa se encontra com o mundo real e o virtual, em realidade aumentada.
no ângulo de zero graus, existe uma ligeira rotação de Conclui-se que é possível enriquecer a experiência de
10 graus relativamente ao pretendido. Este problema gestão de crises real em modo colaborativo, através de
será analisado em trabalhos futuros. um sistema de RA, que adiciona informação geo-
referenciada a objetos reais, como o seja, um mapa da
Ângulo da Colocação situação em papel e onde se podem registar objectos
Levantamento
pose Mapa Posição Orientação simbólicos, que cada interveniente pode modificar e
0 100% 90% 100% adaptar de acordo com a sua linguagem simbólica e
90 100% 100% 100%
organizacional própria. Verificou-se, com testes
180 100% 100% 100%
270 100% 100% 100% exaustivos ao sistema, que a experiência de realidade
aumentada satisfez os requisitos definidos e concluiu-
Tabela 1. Resultados dos testes de interacção. se também sobre aplicabilidade das APIs de RA X3M
e NUTTS para a visualização e interação em realidade
5. Conclusões eTrabalho Futuro aumentada, neste problema. Como linhas de trabalho
Este artigo abordou algumas questões inerentes às
futuro, podemos apontar os seguintes tópicos, que
situações que podem ocorrer no desempenho da gestão
visam enriquecer a experiência em RA e melhorar os
duma situação de crise, onde diferentes organizações
níveis de acesso, visualização e interação com a
têm de trabalhar em modo colaborativo num mesmo
informação disponível para a gestão de um cenário de
espaço físico, de forma a tomarem decisões
crise: (1) Desenvolvimento de um módulo gestão de
relativamente à referida situação. Muitas vezes os
objetos num sistema distribuído para poder ser
intervenientes nessas sessões de colaboração síncrona,
partilhado por vários utilizadores remotos, com registo
de uma dada organização, não dispõem de tempo útil
de log's capaz de poder ser analisada posteriormente;
para serem treinados na simbologia própria utilizada
(2) Integração e desenvolvimento de sistemas de
pelos pares de outras organizações, no que se refere à
simulação física de crises, como por exemplo, a
interpretação dos elementos da situação, bem como á
influência da direcção e intensidade do vento na
gestão dos recursos mais adequados à resolução do
propagação de um incêndio; (3) Desenvolvimento de
cenário de crise. Neste contexto, descreveram-se neste
modelos de previsão com base em dados estatísticos e
artigo os requisitos gerais de um sistema baseado em
históricos, permitindo aos utilizadores, não só
realidade aumentada, capaz de melhorar a actividade
interagirem com a situação actual da crise, como
tradicional de gestão deste tipo de cenário, evitando o
também poderem visualizar situações anteriormente
problema das diferentes linguagens simbólicas para os
153
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ocorridas, ou testar hipotéticas situações, antes da Computer Science, Univ.of Calgary, Alberta, Canada,
tomada de decisão; (4) Integração de um sistema de 2001.
comunicações que permita aos agentes que estão a [9] Ronald T. Azuma, A, “Survey of Augmented
comandar as operações, a ligação directa com os Reality”, Hughes Research Laboratories; Teleoperators
agentes no terreno através de meios audiovisuais, que and Virtual Environments 6, 4, pp 355-385, Agosto
capte as coordenadas GPS [19] de cada unidade no 1997.
terreno e possa actualizar a informação proveniente do [10] Dias, J. M. S., Bastos, R., "An Optimized Marker
mundo real no sistema simulado; (5) Refinação dos Tracking System", Research Sketch EGVE´06, 12th
requisitos de utilizador, novo ciclo de engenharia de Eurographics Symposium on Virtual Environments,
desenvolvimento e teste da solução e avaliação da Centro de Congressos da Fundação Gulbenkian,
usabilidade do sistema, com a intervenção de diversos Lisbon, 8 - 10 /05/2006.
utilizadores reais pertencentes a instituições com [11] Bastos, R., Dias, J.M. S., 2 “Automatic Camera
responsabilidades em tarefas de comando e gestão de Pose Initialization, using Scale, Rotation and
situações de crise; (6) Aplicação da plataforma base do Luminance Invariant Natural Feature Tracking”, in
sistema em outras áreas, como jogos de tabuleiro do Proceedings of WSCG' 2008, The 16-th International
tipo “Risco”. Conference in Central Europe on Computer Graphics,
6. Agradecimentos Visualization and Computer Vision '2008, University
Agradecemos à ADETTI-IUL e ao ISCTE-IUL a of West Bohemia, Plzen, Czech Republic, 2008
disponibilização de todo o software de realidade [12] Augmented Reality Toolkit, disponível em:
aumentada, documentação e apoio para a concepção do <http://www.hitl.washington.edu/artoolkit/>, visto em
projeto associado a este artigo. 20 Julho 2010.
7. Referências [13] Bastos, R., Dias, M., FIRST - Fast Invariant to
[1] Cross, M. and Bopping, C., “Collaborative planning Rotation and Scale Transform - Invariant Image
processes in command and control”, in Fourth Features for Augmented Reality and Computer Vision,
International in Command and Control Research and VDM Verlag Dr. Müller e.K. (Junho 2009) ISBN 978-
Technology, DoD CCRP, 1998. 3-639-17489-2
[2] Billinghurst, M. and Kato, H. “Collaborative <http://www.bod.de/index.php?id=296&objk_id=2253
augmented reality”. Communications of the ACM, 43>
45(7):64–70, July 2002. [14] Microsoft Windows XP , disponível em
[3] Nilsson, S. et al, “Using AR to support cross- <http://www.microsoft.com/windows-xp/>, Visto em
organisational collaboration in dynamic tasks”, IEEE 20/07/2010
ISMAR 2009, Science and Technology Proceedings, [15] Microsoft Visual Studio 2008 C++, disponível em
Orlando, Florida, USA, 19 -22 Outubro 2009. <http://msdn.microsoft.com/en-us/visualc >, visto em
[4] ADETTI – IUL, ISCTE-IUL, Instituto 20/07/ 2010.
Universitário de Lisboa, Portugal, [16] Dias, J., M., S., Santos, P., Monteiro, L., Silvestre,
<http://www.adetti.iscte.pt>, acesso em 20/07/ 2010. R., Bastos, R., “Developing and Authoring Mixed
[5] Grohs, E., Mastri, P., “Realidade aumentada para Reality with MX Toolkit”, ART03, The Second IEEE
informações geográficas”, Trabalho de Conclusão, International Augmented Reality Toolkit Workshop,
Puc- Rio Grande do Sul, Faculdade de Informática, Tokio, Japão, 6/10/ 2003
Curso de Bacharelado em Ciência da Computação, [17] Open GL, <http://www.opengl.org/>, visto em
Porto Alegre, Junho de 2002, 20/07/ 2010.
<http://grv.inf.pucrs.br/projects/aug/aug.pdf>, visto em [18] Shi, J., Tomasi, C., “Good Features to Track”, em
20/07/ 2010. IEEE Conference on CVPR, 1994.
[6] Clark, H. H.. Using Language. Cambridge [19] GPS- Global Positioming System ,
University Press, Cambridge, 1996. <http://www.gps.gov/systems/gps/index.html>, visto
[7] Klein G., Feltovich P. J., Bradshaw J. M., and em 20/07/ 2010.
Woods D. D., Common Ground and Coordination in [20] OpenGl Programming Guide, <
Joint Activity, volume Organizational Simulation, John http://www710.univ-lyon1.fr/~jciehl/Publi
Wiley & Sons, Chapter 6, pp 139–184, 2005. c/OpenGL_PG >, visto em 20/07/2010.
http://dx.doi.org/10.1002/0471739448.ch6.
[8] C. Gutwin, C., Greenberg, S., The importance of
awareness for team cognition in distributed
collaboration. Technical Report 2001-696-19, Dept
154
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
155
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A realidade virtual surgiu como um complemento e essas deficiências, o autor apresenta um processo de
alternativa para as aplicações de comércio eletrônico, desenvolvimento de um catálogo de produtos,
viabilizando a implementação de ambientes virtuais, implementados com realidade aumentada, que podem
sob a forma de lojas e shopping centers, nos quais os ser manipulados pelos consumidores em um sistema de
consumidores podem navegar, explorar as comércio eletrônico.
possibilidades de compra, interagir para obter detalhes Yuzhu [18] reforça a idéia de que a realidade
e visões dos produtos, etc. [5], [11], [13]. No Brasil, aumentada pode ser usada para vencer as limitações do
entre as poucas experiências relatadas, destaca-se a comércio eletrônico convencional e aumentar o nível
criação de um shopping center em realidade virtual, de sucesso desses sistemas. O autor discute uma
com um conjunto de lojas e espaços comuns [7]. ferramenta baseada em realidade aumentada, que foi
Mais recentemente, surgiu, a RA, que envolve o implementada para uso com diferentes tipos de
enriquecimento do mundo real com objetos virtuais dispositivos. A ferramenta foi testada quanto à sua
tridimensionais em tempo real com a utilização de usabilidade, tendo sido demonstrado que a realidade
algum dispositivo tecnológico [2], [3], [4], [9]. A RA, aumentada pode oferecer informações mais completas
na medida em que projeta, no espaço do usuário, os e específicas, sobre os produtos que estão sendo
objetos virtuais 3D e anotações, permite a utilização de comercializados pelo comércio eletrônico, do que os
interações naturais em ambientes reais potencializados sistemas tradicionais ou baseados em realidade virtual.
com informações adicionais [9].
A quantidade de pesquisas e experiências de 3. Visão geral da interface
utilização da RA no comércio eletrônico ainda é
pequena, mas tende a crescer, em função dos avanços A interface de RA para comércio eletrônico procura
da tecnologia e dos benefícios que essa tecnologia uma solução acessível para o problema da insegurança
oferece, principalmente às vendas daqueles produtos do usuário na hora de comprar uma vestimenta, para
que necessitam ser experimentados. Entre as pesquisas saber se realmente o produto atenderá suas
conduzidas sobre o tema, destacam-se os trabalhos de necessidades. Integra, assim, a experiência de comprar
Dempski [6], Yamada [17] e Yuzhu [18]. numa loja física com a experiência do comércio
Dempski [7] propõe um modelo de “comércio eletrônico, fornecendo ao consumidor comodidade de
aumentado”, que envolve a combinação das exigências comprar em casa e um modo de estar mais seguro
do comércio eletrônico convencional e as sobre o que deseja adquirir.
potencialidades oferecidas pela realidade aumentada. Esta interface funciona como um provador virtual
Esse modelo possibilita que o consumidor tome com recursos de RA (Sistema PROVAR), que
decisões mais acertadas em suas compras on line, o possibilita ao cliente experimentar os itens
que contribuirá para aumentar o volume de vendas por comercializados pela empresa.
meio de comércio eletrônico. Nesse contexto, o autor Como a interface permite o acesso pela internet em
discute um protótipo de sistema de comércio eletrônico num ambiente de loja, o usuário tem a liberdade de
para venda de móveis e objetos de decoração. explorar o mesmo ambiente, em situações típicas de
Yamada [25] destaca as dificuldades de se produzir compra. Como exigência adicional, é necessário
catálogos de produtos com representações utilizar um computador para produzir a sobreposição
tridimensionais de alta qualidade, apesar dos recursos dos objetos virtuais aos reais, uma câmera para
de criação e tratamento de imagens. Além disso, capturar a imagem do meio e a impressão dos
destaca os problemas que os usuários de sistemas de marcadores correspondentes às ferramentas utilizadas
comércio eletrônico enfrentam quando querem analisar para provar as roupas virtualmente.
se determinado produto “veste bem” ou se “insere
bem” em determinado ambiente físico. Para solucionar
156
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Na Figura 1 está a representação do uso do sistema com uma função específica, que são descritos na
PROVAR pelo usuário. Ele escolhe no catálogo, que Tabela 1.
contém todas os itens separados por seções, onde cada
seção apresenta uma peça de roupa com uma página Tabela 1. Marcadores do SACRA
relativa aos tamanhos e outra correspondente ao item e
suas variações em cores, texturas e marcas. Após Apagador
escolher o que experimentar, o usuário seleciona os Apaga objeto 3D
marcadores correspondentes e posiciona-se à frente de
um monitor com uma câmera acoplada que irá ler o Bloqueio
Não permite alterações num marcador
marcador correspondente. Em seguida, o usuário
utiliza o marcador de inspeção e ativa o grupo de
Controle
objetos que corresponde à peça de roupa escolhida. Altera objeto 3D associado a marcador
Para trocar para as variações das peças de roupa, o
usuário utiliza o marcador de controle. Cópia
Copia objetos 3D
4. Requisitos computacionais da interface
Inspeção
O Sistema PROVAR necessita de um computador, Ativa/Desativa objetos 3D
uma webcam e um monitor de vídeo. O computador
permite ler a imagem recebida pela câmera, entender Rastro
os objetos por meio de software, sobrepor o objeto real Define rastro de movimentação
por seu correspondente virtual e reproduzir a imagem
Referência (Marcadores 1 a 6)
modificada no monitor. A câmera é utilizada para
Associam objetos 3D utilizados
capturar a imagem real e transferi-la ao computador. O
monitor externo é a saída exibida ao usuário para que Status
ele possa ver o ambiente real simultaneamente aos Visualiza a situação do sistema
objetos virtuais, produzindo a imersão da RA.
Para usar o PROVAR, é necessário que esteja Transporte
instalado o Sistema Operacional Windows XP, Movimentar objetos 3D
Windows Vista ou Windows 7, que suportam a
utilização do Sistema de Autoria Colaborativa em
Realidade Aumentada (SACRA). O SACRA foi
adotado por tratar-se de uma ferramenta livre, indicada
para a prototipagem rápida de aplicações de RA.
Possui recursos para som, imagem e animação, além de
possibilitar interações com múltiplos marcadores. A
Figura 2 representa o ambiente do SACRA.
Os objetos associados devem ser do tipo VRML
(*.wrl), modelados por meio de ferramentas de autoria
como o Vivaty Studio ou Google Sketch up, produzindo
objetos virtuais que são carregados pelo SACRA na
interação entre um marcador de inspeção com uma
esfera de colisão, como apresentado na Figura 3.
Figura 2. Sistema SACRA [14]
O sistema SACRA fornece suporte a arquivos de
áudio para ajudar na imersão do objeto ao campo da
realidade, apresentar explicações de funcionamento ou 5. Tipos de interfaces implementadas
fazer descrição de objetos, sendo necessário que o
arquivo seja do formato WAVE (*.wav) Para a construção da interface do provador virtual
Os marcadores são cartões de papel com imagens estão associados os marcadores de referência 2, 3, 4, 5,
representando as funções e o suporte de objetos 6 e dos marcadores de inspeção e controle para
virtuais do SACRA. A câmera capta a imagem no manipulação do sistema, onde foram tomadas duas
cartão e o computador lê a imagem e projeta sobre ela construções para o sistema, Interface baseada num
o objeto virtual, permitindo a manipulação dos objetos. único ponto associado a um marcador e interface
O sistema atual do SACRA usa 14 cartões, cada qual baseada em múltiplos pontos associados a um
marcador.
157
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5.1. Interface baseada em um único ponto Nesta interface, a ativação e desativação de pontos
associado a um marcador por meio do marcador de inspeção devem ser
constantes na hora de trocar o objeto que se deseja
Este tipo de interface requer a utilização de apenas vestir, pois a não desativação resultará em ocultação ou
um ponto de contato para visualização dos itens da sobreposição do objeto desejado.
loja. Neste caso, um marcador carrega as peças de
roupa de uma loja, ou as cores de uma determinada 5.3 Aspectos importantes da implementação
peça, ou as texturas de uma determinada peça, ou os
tamanhos das peças de roupa. Durante a implementação foram enfrentadas
Nesta interface não há necessidade de ativação e algumas dificuldades, como as destacadas a seguir.
desativação de objetos virtuais por meio do marcador • Iluminação. Iluminação é um fator limitante no
de inspeção, pois são únicos no marcador de referência uso dos marcadores, que acaba atrapalhando o
e no programa. Entretanto, é necessário ativar os posicionamento durante a elaboração e inclusão
pontos a partir de um terminal, usando ‘a’ (minúsculo) dos objetos e na captura e visualização dos
para exibir e ‘A’ (maiúsculo) para desativar. marcadores por parte da câmera.
6. Utilização da interface
Objeto
6.1. Uso da interface baseada em único ponto
Ativado
associado a um marcador
158
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
O marcador
Por meio do controle troca
marcador de o objeto 1
inspeção amplia- pelo seguinte.
se o meio físico.
Estado
Camisa virtual ativado 2 do
representando tipo Camisa
a realidade representand
aumentada. o a toca de
cor.
159
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Foram implementadas duas alternativas de uso do Proceedings of the Working Conference on Advanced Visual
PROVAR: alternativa (1) - Interface baseada em um Interfaces, Trento, Italy , 2002, p. 308-315.
único ponto associado ao marcador; e alternativa (2) -
Interface Baseada em múltiplos pontos associados a [6] K. Dempski. Context-sensitive e-Commerce. Proc. of the
ACM Conference on Human-Factors in Computing Systems,
um marcador. Uma análise comparativa preliminar das The Hague, Netherlands, 2000, p. 55-66.
duas alternativas implementadas, considerando-se o
protótipo atual, levou às seguintes considerações: [7] T.G. Kirner, C. Kirner, and P.T. Aquino Jr. Development
of a Virtual Reality-based Interface to Support E-Commerce.
• Na alternativa (1), a manipulação é mais fácil e Proceedings of the 3rd IFIP Conference on e-Commerce, e-
rápida, mas muito mecânica, necessitando de Business, and e-Government, Guarujá, SP, 2003, p. 640-649.
diferentes marcadores para definir diversos
objetos e variações de tamanho, cor e textura, ou [8] Kirner, C., and R. Siscouto (Org.). Realidade Virtual e
Aumentada: Conceitos, Projeto e Aplicações. Porto Alegre,
utilização de diversas aplicações para fins
RS: SBC, 2007.
diferentes.
[9] Kirner, C., and H. Tori. “Fundamentos de Realidade
• Na alternativa (2), ocorre uma diminuição do uso Aumentada”. In: Kirner, C., R. Tori, and R. Siscoutto. (Ed.)
de marcadores, mas exige-se maior cuidado na Fundamentos e Tecnologia de Realidade Virtual e
hora de provar as roupas, tendo-se que Aumentada, Porto Alegre, RS: SBC, 2007, p. 22-38.
constantemente ativar e desativar pontos na tela.
Como cada ponto corresponde a objetos [10] Laudon, K.C, and J.P. Laudon. Sistemas de Informação
Gerenciais. São Paulo: Pearson/Prentice-Hall, 2007.
completos, tem-se uma lista de vários objetos
associados a um ponto, o que pode tornar [11] Lepouras, G., and C. Vassilakis. Adaptative Virtual
cansativo experimentar todos os objetos para Reality Shopping Malls. IGI-Global, 2000.
poder realizar uma escolha.
[12] P. Rothman. Comércio Eletrônico Cresce 25% no Brasil.
Info Online, 19/05/2009. Disponível em:
Na continuidade do trabalho, será implementada <http://info.abril.com.br/noticias/negocios/comercio-
uma versão mais avançada do Sistema PROVAR, eletronico-cresce-25-no-brasil>. Acesso em: 21/10/2009.
utilizando o FLARToolKit [15] e interfaces de
[13] A. Sanna, C. Zunino, and F. Lamberti. HAVS: a human
hardware, como o Wii Remote, na qual as limitações
animated VRML-based virtual shop for e-commerce.
do atual protótipo deverão ser eliminadas. Proceedings of the 6th World SCI Multiconference, 2002, p.
24-29.
8. Agradecimentos
[14] R. Santin. SACRA - Sistema de Autoria em Ambiente
Os autores agradecem à FAPEMIG pela bolsa Colaborativo com Realidade Aumentada. Dissertação –
PIBIC/UNIFEI concedida, que proporcionou o Ciência da Computação, UNIMEP, Piracicaba, 2008.
desenvolvimento do projeto.
[15] Saquosha.Net. Start-up Guide for FlartoolKit.
Disponível em < http://saqoosha.net/en/flartoolkit/start-up-
9. Referências guide/> Acesso em 22/06/2010.
[1] R. Azuma A Survey of Augmented Reality. Presence, [16] VINCE, J. Introduction to Virtual Reality. Londres:
Teleoperators and Virtual Environments, 1997, p. 355-385. Springer-Verlag, 2004.
[2] R. Azuma et al. Recent Advances in Augmented Reality. [17] R. Yamada, and K. Kishimoto. Development of an
IEEE Computer Graphics and Applications, Nov 2001, p. Augmented Reality based Catalog for Electronic Commerce.
34-47. Proceedings of the IEEE IECON Conference, 2002, p. 301-
306.
[3] M. Billinghurst, and H. Kato. Collaborative Augmented
Reality. Communications of the ACM, Jul. 2002, p. 64-70. [18] L. Yuzhu, and S. Smith. Augmented Reality E-
Commerce Assistant System: Trying While Shopping.
[4] M. Billinghurst, R. Grasset, and J. Looser. Designing Proceedings of the Human-Computer Interaction
Augmented Reality Interfaces. SIGGRAPH Computer Conference, 2007, p. 643-652.
Graphics, Feb. 2005, p. 17-22.
160
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 8
REALIDADE AUMENTADA NA
EDUCAÇÃO
161
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
{profclebersonforte,renan192003, majcavallari}@yahoo.com.br,
[email protected]
162
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
computador, utiliza-se algum software específico, como sinais, apesar de apresentarem diferenças significativas
por exemplo, a biblioteca ARToolKit [1]. quando comparadas as linguagens de diferentes países,
tem em comum a natureza predominantemente 3D, pois
As aplicações desenvolvidas com a tecnologia
se articulam espacialmente e são percebidas
de RA, utilizando-se da biblioteca ARToolKit,
visualmente, ou seja, usam o espaço e as dimensões que
normalmente não prevêem a imersão total.
ele oferece na constituição de seus mecanismos
Diferenciando-se das aplicações desenvolvidas em
“fonológicos”, morfológicos, sintáticos e semânticos
Realidade Virtual imersiva, nas aplicações de RA os
para veicular significados, os quais são percebidos
usuários geralmente visualizam o ambiente a partir da
pelos seus usuários através das mesmas dimensões
tela do computador, com a ajuda de uma webcam para
espaciais [2].
capturar o marcador no ambiente real, sem a
necessidade, portanto, de utilizar dispositivos especiais Diante deste cenário, pode-se inferir que o uso
de visualização. A interação com os objetos virtuais se de ferramentas que permitam representar a
dá através dos marcadores tangíveis (impressos em configuração da natureza da linguagem, também em
papel). Dessa forma, a RA torna-se particularmente 3D, possa ser de grande relevância, principalmente
mais viável, pois não necessita de hardwares quando delimitamos a necessidade de emprego destas
específicos e o seu desenvolvimento torna-se mais ferramentas em ambientes de ensino, como objetos de
rápido, fácil e econômico. aprendizagem. A Realidade Aumentada, por sua vez,
apresenta-se como uma tecnologia naturalmente
Ao mesmo tempo em que a tecnologia se
propícia para este emprego, pois permite não só a
populariza, aumentam as expectativas sobre as
representação das palavras (ou letras) compostas pelas
possibilidades de emprego da RA para diferentes fins.
mãos em 3D, mas também que o usuário interaja com
Assim como ressalta FORTE [3], considerando-se os
este ambiente, tornando-o mais atraente e motivador.
dados do V Workshop de Realidade Virtual e
Aumentada, realizado em 2008, temos que, dos 41
projetos apresentados naquele evento, 34% tinham uma 3. Desenvolvimento do Sistema de
ligação direta com a aplicação da tecnologia na área da Aprendizagem de LIBRAS com
educação. Segundo o autor, este fato nos aponta que o Realidade Aumentada (SALRA)
estudo do emprego da tecnologia de RA aplicada à
educação mostra-se bastante atual e tem sido foco da O emprego da RA no enriquecimento de softwares
comunidade acadêmica, que busca, de maneira geral, educacionais, segundo FORTE [3], apresenta
analisar as reais contribuições desta tecnologia quando características por si só justificáveis, por possibilitar,
aplicada na realidade dos desafios educacionais por exemplo: a manutenção do interesse e incremento
nacionais. da motivação do aluno para com o assunto estudado,
maior poder de ilustração, aumento dos canais
sensoriais pelos quais a informação é exposta e maior
2. Linguagem Brasileira de Sinais e oportunidade para a realização de experiências,
Datilologia permitindo que o educando desenvolva seu
A Linguagem Brasileira de Sinais, ou simplesmente conhecimento a partir de seu próprio ritmo.
LIBRAS, é a língua usada, em primeira instância, pelos Levando-se em consideração estes aspectos, as
deficientes auditivos. As linguagens de sinais recebem o características relacionadas à comunicação em
status de língua porque são compostas pelos seguintes LIBRAS, e em consonância com a possibilidade
níveis lingüísticos: o fonológico, o morfológico, o defendida por OLIVEIRA et al [6], que apontam o uso
sintático e o semântico. Como parte integrante da da RA como meio capaz de prover ganho educacional
estrutura da LIBRAS, temos o alfabeto datilológico, em ambientes de educação especial, justifica-se o
também conhecido como alfabeto manual, que é desenvolvimento deste trabalho, no qual apresentamos
utilizado, predominantemente, para informar o desenvolvimento de um software educacional que,
(representar) coisas que ainda não possuem um sinal na enriquecido com a RA, pretende incentivar o
LIBRAS, para expressar nomes próprios ou para aprendizado do alfabeto datilológico por crianças e
expressar palavras de línguas estrangeiras [8]. A origem adolescentes com ou sem deficiência auditiva.
dos alfabetos datilológicos remonta ao século XVI,
quando o monge beneditino Pedro Ponce de León A linguagem Java foi empregada no
passou a utilizar sinais numa metodologia para a desenvolvimento do SALRA devido à sua
educação de seus alunos surdos. Depois de ser levado à portabilidade. Por ser uma linguagem interpretada, o
França e, subsequentemente, aos Estados Unidos, hoje Java pode ser executado em qualquer plataforma ou
o alfabeto datilológico, que, nesta vertente, utiliza equipamento que possua um interpretador. Além disso,
apenas uma mão para a representação das letras, é a Java é uma linguagem gratuita e grande quantidade de
utilizado pela maior parte das comunidades surdas de programadores a emprega em seus desenvolvimentos.
todo o mundo em suas respectivas línguas de sinais [8]. Utilizou-se, como ambiente de programação, o
NetBeans IDE, em um computador pessoal HP Pavilion
O que se pode perceber é que as linguagens de dv5, com processador AMD Turion X2 64 Ultra Dual-
163
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Core com 3,0 GB de Memória 800MHz, e sistema SALRA ter como um de seus objetivos a facilitação da
operacional Windows 7. interação com a tecnologia de RA, que se utiliza de
objetos 3D, verificamos que uma transição mais
O SALRA, como pode ser observado na
gradual, que parte da letra, passa por sua representação
Figura 1, prevê a disponibilidade de um ambiente
datilológica em 2D (imagens) e depois parte para a
amigável, no qual as letras, que serão posteriormente
interação com o objeto 3D, pode apresentar-se mais
convertidas para a mão em 3D, usando a RA, são
adequada, pois se utiliza um conhecimento prévio dos
expostas no menu lateral e podem ser facilmente
educandos (interação com softwares que não utilizam
acessadas através do mouse.
RA) e a partir daí insere um novo conceito.
A ferramenta tem como compromisso a
facilitação do acesso aos recursos providos pela RA. O
que se observa é que grande parte das aplicações
desenvolvidas utilizando esta tecnologia requer certo
domínio sobre informática, pois normalmente necessita-
se de configurações e tratamentos de exceções diversas.
No SALRA, o educador tem a possibilidade de
desenvolver suas tarefas pedagógicas sem que lhe seja
atribuído sobrecarga de trabalho, ao mesmo tempo em
que o educando tem à sua disposição um software
motivante. Basicamente, o funcionamento do sistema,
desde a sua instalação (realizada a partir de aplicação
de auto-instalação, como a maioria dos softwares Figura 2 – Software exibe a representação em
encontrados no mercado), se dá de maneira bastante datilologia da letra selecionada.
intuitiva.
Depois de exibida a representação datilológica em
Como ilustração, adotemos um cenário no qual imagens 2D, clicando-se no botão "Interagir", a captura
o educando, orientado pelo professor, cumprirá a tarefa de imagem é habilitada. O educando, então, pode exibir
de acessar e interagir com o software. Ao acessar o o marcador, de modo que a imagem deste seja captada
programa (através de ícone gerado na área de trabalho pela webcam e processada pelo ARToolKit. O ambiente
do computador no qual está instalado), é exibido o permite que o educando interaja com a representação
menu principal (Figura 1). Ao escolher a letra que se datilológica em 3D (objeto virtual), visualizando as
deseja trabalhar e clicando-se no botão Iniciar (Figura configurações e movimentos corretos das mãos sob o
1), é exibida, na área central do software, um desenho ângulo que preferir, atentando-se apenas à necessidade
que tem correspondência com a letra desejada. Abaixo de que o marcador deve sempre ser visível à webcam
do desenho é exibida uma série de imagens de mãos para que o objeto 3D seja mostrado. O objetivo é que o
representando o nome correspondente ao desenho em educando possa analisar sob todos os aspectos a
alfabeto datilológico. A primeira letra recebe destaque configuração das mãos representadas no software e,
em maior escala e as demais completam a palavra que assim, por observação e imitação, aprender com mais
descreve o objeto. Voltando ao nosso exemplo, facilidade a realizar as mesmas configurações. O
consideremos que o aluno selecionou a letra "N" no ambiente resultante deste processo pode ser observado
menu. O ambiente resultante, após ele clicar sobre o na Figura 3.
botão "Iniciar", é mostrado na Figura 2.
164
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
165
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
166
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Todavia, a busca por metodologias que motivam o outros níveis de ensino, especialmente o Ensino Médio
estudante e que levam em consideração quais são essas que, de acordo com dados sobre repetência e evasão
concepções é válida e muito útil ao que tange a escolar, é nesta etapa da educação básica que existe a
necessidade de melhoramento do desempenho desses contingência de milhares de jovens que necessitam de
estudantes. um emprego ou outras atividades econômicas que
A utilização de computadores no ensino de física gerem subsistência.
abrange algumas possibilidades como coleta e análise Nesse sentido, algumas mudanças que devem
de dados em tempo real, simulação de fenômenos ocorrer para atender melhor essa demanda de alunos, a
físicos, instrução assistida, etc. [14], além de ser uma matriz curricular e a forma como os conteúdos são
ferramenta que desperta o interesse de seu usuário. Mas trabalhados em sala de aula merece destaque. O alto
é importante ressaltar que a utilização da informática índice de reprovação e as dificuldades apresentadas
na sala de aula deve levar em consideração muitos pelos alunos no aprendizado de Física,
fatores para se tornar efetiva. A simples utilização de especificamente, torna interessante a discussão e a
uma tecnologia não é suficiente para resolver as procura por ferramentas e metodologias que ajudem a
dificuldades encontradas, logo, informatizar o material melhorar o índice de desempenho desses estudantes.
tradicional não é solução, se não houver uma alteração Analisando as médias obtidas pelas escolas em cada
das técnicas de ensino. área de avaliação da prova do ENEM [6] – Ciências
Neste contexto, esta pesquisa visou aplicar em Humanas, Linguagens, Ciências da Natureza e
turmas do Ensino Médio do IFG de Jataí, aplicações Matemática – as duas últimas apresentam o
desenvolvidas com a tecnologia de Realidade desempenho mais baixo dos alunos, evidenciando
Aumentada em conjunto com materiais convencionais deficiência na área de exatas. Outros dados comprovam
para avaliar como essa metodologia seria capaz de também o baixo desempenho de estudantes nas
alterar ou romper com as concepções intuitivas, Ciências Naturais (Física), como é o caso do Enade e
contribuindo para a construção do conhecimento dos PISA.
alunos. O Enade 2008 (Exame Nacional de Desempenho de
Especificamente foi desenvolvida uma apostila com Estudantes) apresentou que apenas 3,9% dos cursos de
conteúdos nível médio da disciplina de física e, com o graduação em Física, licenciatura e bacharelado,
software ARToolKit foi criada uma aplicação em RA, obtiveram conceito 5 na avaliação que estima o
que utilizava os marcadores da apostila para projeção rendimento dos alunos em relação aos conteúdos
de objetos em realidade virtual, ampliando a programáticos, habilidades e competências nas
visualização do aluno a cerca do fenômeno físico Instituições de Ensino Superior [9]. Realizado em
estudado. A partir de questionários e testes feitos com 2006, o Programa Internacional de Avaliação dos
os alunos foram analisados aspectos sobre o Estudantes – PISA [15] classificou o Brasil em 52º
entendimento do conteúdo, facilidade de utilização e lugar entre 57 países participantes da avaliação, na
relevância. escala de ciências, sendo considerado como
significativamente abaixo da média OCDE.
167
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
168
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
169
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
170
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
171
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Abstract 2. Preliminaries
This paper describes a new prototype of a computational In this section, we briefly study related literature and de-
system which deals with Augmented Reality used as a tool scribe some definitions used throughout the paper.
for teaching children the meaning of traffic signs. This is a
VRML based system which has animation, sound, and in- 2.1 Augmented Reality
teraction in order to enhance the expected final result.
According to [9] Augmented Reality (AR) is the over-
lapping of virtual objects with the physical environment,
being shown to the user in real time through a technolog-
1. Introduction ical device, using the real environment interface adjusted to
visualize and manipulate real and virtual objects.
In an AR interface the users can interact with systems
Recently, new technologies have been employed in
using their hands or reference markers to manipulate vir-
developing educational computer systems, making them
tual objects in real scenarios. It is a technology that uses
closer to reality. Augmented Reality (AR) is one of these
methods defined in Virtual Reality, Computer Vision, and
technologies that have been used in many applications to
Computer Graphics, allowing the user to see the real world
enable a person to interact with the real world in ways never
at the same time as the virtual objects within the same envi-
before possible.
ronment.
In this publication, we proceed to investigate the use of This combination of the real with the virtual requires an
AR as a technology aid in education, studying its effects appropriate environment structure. Basically, the AR sys-
in teaching and learning systems. Therefore, we propose tems can be built based on optical or video technologies.
an implementation of a computational system for teaching According to [2], the AR systems can be classified into four
children the meaning of traffic signs. We define different types:
scenarios where the user interacts with the system through
markers recognized by a webcam, and so it is possible to 1. Optical see-through Head-Mounted Display (HDM):
insert virtual objects in a real world. works by placing optical combiners in front of the
The use of AR technology has been broadcasted in ed- user’s eyes. The combiners let light in from the real
ucation and in developing systems with learning purposes. world, and they also reflect light from monitors dis-
Many projects have explored how AR interfaces and how playing graphic images.
its characteristics can be best applied in the teaching envi-
2. Video see-through HDM: works by combining a
ronment.
closed-view HDM with one or two head-mounted
This paper is organized as follows. In Section 2 we video cameras.
present the basis of AR and briefly study related literature.
In Section 3, we describe the development tool we have 3. Monitor-based configuration: in this case, one or two
used to build our application. In Section 4 we detail the video cameras capture the environment so the video of
computer system developed with its components and how the real world and the graphic images generated by a
to operate it. Finally, Section 5 brings the conclusion and scene generator are combined, and displayed in a mon-
points to future research directions. itor in front of the user.
172
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
173
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
can be the center of the marker. The other kinds of markers Building interactive software with traffic basic notions
are called reference markers, allowing the users to interact for children from 8 to 12 years old is an important initiative
with the points and virtual objects inside the system. because it makes available a didactic and easy tool to be
Each reference has one or more associated points that used by the public. Investments on traffic education in gen-
make reference to one or more virtual objects. eral are a government task. That so expected peace of mind
in culture traffic is acquired particularly on the emphasis of
prevention not on the charges that are associated with the
Table 1. List of action markers government.
MARKER FUNCTION
Inspector Inspect or register new points
Control Changing virtual objects 4.1. System composition
Copy Copying virtual objects in the scene
Transport Reposition the point in new orientations A computational system has been created for this goal,
Eraser Delete points and deallocate memory the SELTRA, which has some interesting features, such as:
Status Show to the user variable values it is fully based on the elements of augmented reality, it
Path Take paths among references by trails is interactive and this interactivity is done by using sound,
Lock Allow lock and unlock remote operations texts, and traffic signs, which is very important to the chil-
dren learning specially at this age. Following are the system
descriptions.
Markers are used for the interaction between the user and
4. The developed computer system the system. It’s an AR system monitor-based (see Section
2.1), where a webcam and some markers are used. As men-
SELTRA is the anachronism for the Sistema de Ensino tioned before, this system is based on an already developed
das Leis de Transito com Realidade Aumentada in Por- tool, called SACRA, described in Section 3 and so, it has
tuguese that means a computational system that deals with some defined markers which are also used on the SELTRA.
augmented reality for the learning of some traffic laws. As These action markers are used for controlling virtual ob-
AR technology is the addition of virtual entities into the real jects’ operation on the system. These markers are shown at
world viewed by using some markers, as shown earlier in Figure 1.
this article, it can support any kind of expertise. So, this The inspection marker on Figure 1a is responsible for the
section will show our experimental model of a computa- verification of the points associated to the reference mark-
tional system that uses AR in the field of urban traffic. It ers, and also to register new points. Point inspection cor-
also demonstrates other related design tasks which involve responds to the action of controlling virtual objects with
planning the best manner to reach any location of a designed sounds present on the scene, allowing the user to activate
space. or deactivate virtual object persistency which are associated
The main goal of this prototype is to use this software in to the points.
order to teach children the meaning of traffic signs and the The control marker on Figure 1b is used to exchange
consequent charges when someone breaks those laws in a virtual objects with its sounds, in the case of having a list of
daily transit. points associated to a determined point. This marker does
It begins by observing traffic environments and people’s this operation in a sequential order.
behavior inside this context. There are rules controlling The ref marker on Figure 1c allows the user to interact
both entities: the man and the machine, in order to allow with the spatial points registered on the system. Each refer-
them to coexist. Teaching these rules for kids, while they ence can have many points, each one referring to a virtual
are young and while everything is new for them, is the eas- object.
iest way to obtain the best results in this kind of education. SELTRA system has been developed to use some more
When they reach the right age for driving, they will already appropriate markers according to the objective of the soft-
know how to proceed and will be able to get their drive’s li- ware, which means, related to the traffic signs. So, in the
cense quicker and besides, they will be better citizens know- Figure 2 these markers are shown in order to understand
ing how to behave themselves in traffic. their utility.
Many advantages come up by using such a system. It The right Turn marker is used to indicate the user to turn
is not necessarily a real world for teaching how to proceed to the right on the corner. In the same way, the left Turn
in car traffic, but it is a big advantage because no one is marker is used to indicate the left turn as the correct way to
in danger, no real damage will occur to the cars, it is easy, be followed, and the ahead marker is used when no turns,
and it is a fun way to learn, plus the student can choose any left or right, is allowed on the corner of the scenario. It is
place and time to learn. noteworthy that these markers were created specifically for
174
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
175
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
176
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Acknowledgements
References
177
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Emília Alves Nogueira1, Bruno Moraes Rocha1, Rafael Tomaz Parreira1, Thamer Horbylon Nascimento1,
Vanessa Avelino Xavier de Camargo1, Laurence Rodrigues do Amaral1 e Marcos Wagner de Souza
Ribeiro1
Departamento de Ciência da Computação - Universidade Federal de Goiás – Campus Jataí
Rod br 364, Km 192
CEP 75800-000, - Jataí - GO
Brasil
[email protected] , [email protected] , [email protected] , [email protected] ,
[email protected] , [email protected] e [email protected].
Resumo - Este trabalho tem por objetivo contribuir com para obterem melhores resultados no processo de ensino da
profissionais da área da psicologia, educadores, pais escrita e leitura possibilitando que a pessoa em tratamento
envolvidos com pessoas com dislexia, no desenvolvimento de entre em estado de imersão, interagindo com o ambiente
uma ferramenta baseada em técnicas de Realidade criado virtualmente por meio desse software.
Aumentada para auxilio no processo de aprendizado da Neste escopo os processos de aprendizagem da leitura e
codificação das palavras aproveitando-se das características escrita podem ser melhorados significativamente, visto que o
de imersão e interação possibilitadas pela Realidade próprio disléxico irá buscar cada vez mais a descoberta de
Aumentada. novos ambientes e principalmente novas maneiras de
interação com os objetos virtuais.
178
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
sistema primário de pensamento, e o outro como o Pode-se dizer, então, que a Realidade Aumentada é uma
secundário. particularização da Realidade Misturada. A Figura 1
Segundo DAVIS [6], durante o período em que o aspecto apresenta o diagrama adaptado (Continnum do Milgram
de transtorno de aprendizagem da dislexia se forma, entre os [10]) de realidade/virtualidade contínua, mostrando as
três e os treze anos de idade, é necessário que o disléxico em possibilidades gradativas de sobreposição do real com o
potencial seja primariamente um pensador não-verbal – uma virtual e vice-versa.
pessoa que pense em imagens.
A linguagem é composta por símbolos que, por sua vez,
são compostos de três partes: 1) O som do símbolo; 2) O
significado do símbolo; 3) A aparência do símbolo.
Na leitura notam-se confusões de grafemas cuja
correspondência fonética é próxima ou cuja forma é
aproximada, bem como surgem frequentes inversões,
omissões, adições e substituições de letras e sílabas. Em
nível de leitura de frases, existe uma dificuldade nas pausas e
no ritmo. Isto é revelado em uma análise compreensiva da
informação quando existe uma leitura muito deficitária
(muitas dificuldades em compreender o que lêem). Figura 1 - Continnum do Milgram [7]
As palavras que mais causam confusão e desorientação
quando se esta lendo, escrevendo ou comunicando algo são A Realidade Aumentada [14] proporciona ao usuário uma
demoninadas “Palavras Gatilho”[1]. Elas geram confusão interação segura, sem necessidade de treinamento, uma vez
por que: a) A pessoa não tem uma imagem mental do que a que ele pode trazer para o seu ambiente real objetos virtuais,
palavra significa ou representa. b) Muitas dessas palavras incrementando e aumentando a visão que ele tem do mundo
possuem múltiplos significados. real [12]. Isto é obtido, por meio de técnicas de visão
Alguns exemplos de “Palavras Gatilho”[9]: computacional e de computação gráfica/realidade virtual,
Bata, Pau, Taco, Vela, Farol, Cara, Mapa, Dedo, Bote, Puma, resultando na sobreposição de objetos virtuais com o mundo
Táxi, Vaso, Foca, Gola, Macaco, Dois, Boca, Pipa, Touro, real.
Vaca, Fila, Copa, Gota, Mesa, Disco, Baú, Peru, Tubo, Vale, Além de permitir que objetos virtuais possam ser
Folha, Calha, Galo, Marco, Ducha, Bala, Parede, teto, Vila, introduzidos em ambientes reais, a Realidade Aumentada
Fogo, Carta, Gordo e Muleta. proporciona também, ao usuário, o manuseio desses objetos
Originalmente, os pesquisadores acreditavam que a com as próprias mãos [13], possibilitando uma interação
dislexia tinha um componente genético, exceto em caso de atrativa e motivadora isso por intermédio do ambiente
acidente cérebro-vascular (AVC). Ser disléxico é condição ArToolKit [2], o mesmo faz com que objetos virtuais façam
humana [15]. Em qualquer dos casos, haveria uma parte do ambiente real e sejam manuseados, o ArToolKit é
interferência nos processos mentais necessários a leitura [6]. um software com capacidade de visão do ambiente real e de
Existem diversas maneiras de diagnosticar-se a dislexia, posicionamento dos objetos virtuais, além de acionar
deve-se inicialmente verificar se na história familiar existem dispositivos tecnológicos apropriados para Realidade
casos de dislexia ou de dificuldades de aprendizagem e se na Aumentada.
história de desenvolvimento mental da criança ocorreu
alguma problemática não normativa. 2. TRABALHOS RELACIONADOS
179
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Figura 2 é visualizados com a ajuda do computador, sim demonstrar um direcionamento no caminho de uso de
mostrando que é possível, através de uma plataforma RA em diversas aplicações.
computacional simples e software gratuito, criar quebra- Outro fator que tem colaborado para a aceleração das
cabeças eletrônicos enriquecidos, motivadores e de fácil pesquisas acerca desta tecnologia é a mudança dos hábitos e
usabilidade. expectativas dos consumidores que estão cada vez mais
exigentes e conectados com as inovações, querendo desfrutar
de novas sensações isso abre uma gama de potencialidades e
receptividade à Realidade Aumentada.
180
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Os marcadores (alvos) onde são projetados os objetos pronúncia esteja correta (modelo cadastrado previamente), a
virtuais seguem o mesmo formato das palavras, imagem no marcador é alterada para “Parabéns passe para o
possibilitando assim associações desta com o objeto que esta próximo marcador” (Figura 7). A página seguinte do livro
representa, conforme ilustrado na Figura 5, onde o marcador conterá outro marcador. Caso o usuário insista, na
tem o nome do objeto que será projetado facilitando assim o visualização da próxima imagem, sem acerto na pronúncia,
entendimento do disléxico. nada aparecerá na página seguinte.
Neste caso, a necessidade de acompanhante, professor ou
psicólogo, se faz necessária, pois podem existir falhas no
reconhecimento da fala. Teclas de atalho para
prosseguimento foram criadas para este fim. Outro aspecto
de padronização foi a definição de designar sempre o alvo
como “marcador” permitindo uma mesma conceituação para
o termo (Figura 7).
181
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
REFERÊNCIAS BIBLIOGRÁFICAS
[1] ADELAIDE H. P. Silva Língua Portuguesa I: Fonética e
fonologia Curitiba: IESDE Brasil – 2007
Foi relatado aos profissionais da área de educação qual o [4] CAPOVILLA, F. C. et al. Estendendo as fronteiras da
intuito do software, deixando bem claro que buscou-se Psicologia para abarcar a (re) habilitação cognitiva:
182
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
183
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 9
COLABORAÇÃO
184
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
185
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
186
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
baseadas em RV. Como todo framework, o CyberMed rede que são o Unicasting, onde a mensagem é
viabiliza ao desenvolvedor um desenvolvimento mais endereçada a um único host de destino, o
ágil de sistemas, além de oferecer a possibilidade de Broadcasting, em que a mensagem é divulgada através
extensão do código fonte e inclusão de novos recursos. da rede para todos os clientes conectados e por último
O CyberMed destaca-se, principalmente, pela ampla o Multicasting, onde a mensagem também é divulgada
gama de recursos oferecidos pelos seus módulos. para vários clientes de destino, sendo que neste é
Dentre suas principais funcionalidades destacam-se: possível a distinção entre vários grupos de máquinas de
visualização mono e estereoscópica, interação através destino, entre outras vantagens.
de dispositivos convencionais (mouse e teclado) e não- Dentro do contexto de colaboração atualmente
convencionais (háptico e de rastreamento), uso de implementado no framework, foi utilizado o protocolo
modelos tridimensionais deformáveis, suporte à UDP/IP em conjunto com a arquitetura peer-to-peer,
detecção de colisão, suporte a aplicações de devido à velocidade de transmissão que este modelo
colaboração e integração de métodos de avaliação oferece, sendo essencial para manter o efeito de
online. Assim, ele é constituído por dez módulos, como realismo proposto pelas aplicações de simulação
pode ser visto na Figura 1, dispostos em três camadas médica com sistemas hápticos, uma vez que estes
principais: Application Engine, Core e a Utils. A operam sob taxas superiores a 1 KHz [5]. Logo, a
camada Core é responsável pelo controle dos estados colaboração atualmente implementada é realizada sem
internos, como aquisição, cálculo, armazenamento e que haja um servidor atuando como mediador das
acesso aos dados do sistema [8]. A camada Application conexões dos clientes, evitando assim, o acréscimo de
Engine provê um conjunto de métodos que auxiliam o tempo nas respostas e possíveis atrasos. Apesar disso,
usuário na construção de suas aplicações na inserção o cliente criador da colaboração, atua como um
de recursos como a visualização, a colisão, a facilitador que fica responsável pela coleta e
deformação, a avaliação e a interação háptica. Por fim, divulgação dos endereços IPs e das posições dos
a camada Utils oferece uma série de facilidades na interadores de todos os participantes. Esta arquitetura
construção e edição de menus e na realização de pode ser vista na Figura 2. Pode-se dizer, ainda, que o
operações matemáticas como cálculo de matrizes e módulo de colaboração do CyberMed possui uma
operações lineares. arquitetura distribuída onde cópias da base de dados
principal são distribuídas entre todos os nós da rede.
Esta distribuição é realizada por meio de um modelo de
distribuição de objetos virtuais conhecido como
replicação ativa [4]. Com esta abordagem, a cópia
principal do AV é replicada entre todos os processos
ou grupo de processos clientes que estejam conectados
na colaboração.
Uma vez observado que apenas uma versão do AV
é executada por todos os participantes da colaboração
ao mesmo tempo, faz-se necessário realizar o controle
Figura 1 – A arquitetura de camadas e módulos do de consistência, de modo que os estados de todas as
CyberMed. versões estejam em razoável sincronia. Na replicação
ativa, este controle é realizado mediante a divulgação
O módulo de rede, chamado CybNetwork, prover de todos os estados das cópias locais, logo após cada
comunicação de rede para a camada de colaboração alteração ou inserção de novos objetos e participantes
CybCollaboration e simula tanto as comunicações na colaboração. Deste modo, cada cliente fica
confiáveis, isto é, aquelas onde há a garantia na responsável por enviar mensagens periódicas contendo
integridade das mensagens, como também as o estado corrente de suas cópias locais. Este
comunicações não-confiáveis, que são mais mecanismo também é conhecido como heartbeat [6].
freqüentemente utilizadas por aplicações em que a Uma desvantagem na utilização do mecanismo de
velocidade possui maior importância em relação à replicação e de suas mensagens de estado,
qualidade da mensagem final, como nos casos de principalmente para os AVCs de grande escala, é o
sistemas de multimídia (áudio e vídeo). Os protocolos aumento na propagação de mensagens pela rede, visto
de transporte suportados são o UDP/IP (User a necessidade de replicação da base de dados principal
Datagram Protocol) e o TCP/IP (Transmission Control para todos os clientes, sendo que estas mensagens
Protocol), sendo o primeiro não-confiável e o último muitas vezes são irrelevantes para certos clientes.
confiável. O CybNetwork dá suporte, ainda, para os Deste modo, é importante observar que tal
três tipos básicos de estruturas de comunicação em abordagem foi optada para o CybCollaboration por
187
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
dois principais motivos. Primeiramente, por ser um existentes e através da comparação de seu estado atual
módulo voltado para a construção de simulações com as arquiteturas dos diferentes frameworks
médicas colaborativas, onde normalmente existem pesquisados, foi possível a detecção de alguns
poucos usuários, geralmente em torno de dez requisitos que o CyberMed ainda não possui e deverá
participantes, interagindo entre si. Em segundo lugar, ter implementado para que este venha a suportar a
AVCs desta magnitude, não possuem grande volume manipulação cooperativa. De acordo com Ruddle [3],
de dados trafegando pela rede, o que não chega a existem alguns requisitos para que uma atividade de
comprometer a execução correta do ambiente em todos cooperação ocorra corretamente e estes envolvem três
os clientes. Em relação à liberdade de alteração de um importantes questões:
objeto por parte dos participantes em uma colaboração, (a) A comunicação de rede. A combinação das
dois estados de gerenciamento de manipulação são ações exige que os dados emitidos pelos usuários não
oferecidos que é a Livre e o Bloqueado. O estado Livre sejam perdidos ou corrompidos, para que a resultante
permite uma colaboração onde todos podem alterar o das ações tenha consistência em todos os clientes.
objeto sequencialmente. Já no estado Bloqueado, o Logo, é imprescindível o uso de um canal confiável
objeto é bloqueado e apenas um solicitante poderá para a transmissão de tais ações.
alterá-lo. Este modo é utilizado nas colaborações de (b) O feedback das ações de cada usuário
tutoria, onde apenas o tutor tem a permissão de auxiliando-os na percepção do resultado de suas ações
manipular o objeto. na cooperação, como é o caso das técnicas de
awareness [2] que exploram o recurso da visualização
a fim de que os usuários percebam entre si as intenções
das ações.
(c) As formas pelas quais as várias ações serão
integradas.
Em relação ao requisito de comunicação em rede, o
módulo de colaboração atualmente faz uso do
protocolo não-confiável UDP/IP com o Unicasting,
para que as transferências de mídia-háptica ocorram a
uma taxa razoável. Tal protocolo ainda é inviável para
que a cooperação ocorra corretamente, já que não há
um controle da integridade ou ordenamento dos dados
enviados pelos usuários. O Unicasting apesar de não
oferecer nenhum grande impecílho para a cooperação,
possui a desvantagem de fazer com que mesmo aqueles
Figura 2 – A arquitetura de rede usada pelo módulo de usuários que não estejam envolvidos na manipulaçao
colaboração.
de um objeto em dado momento, recebam as
mensagens de estado, como por exemplo, as
Assim, o CyberMed possibilita ao seu usuário a
mensagens de awareness. Assim, uma alternativa para
escolha entre diferentes tipos de colaboração, a partir
este problema, seria a integração de técnicas de
da combinação de um dispositivo de interação
qualidade de serviço (QoS – Quality of Service), como
(háptico, mouse ou de rastreamento) com um modo de
o controle de fluxos e ordenamento dos pacotes, ao
gerenciamento da manipulação (Livre ou Bloqueado).
protocolo UDP/IP uma vez que, este protocolo ainda é
O caso mais comum é o da colaboração livre
uma opção por conta de sua velocidade de transmissão
utilizando-se o mouse. Outra forma possível pela atual
quando comparado com o protocolo TCP/IP.
implementação é a colaboração guiada, onde um
Uma alternativa ao TCP/IP seria o uso do UDP/IP
usuário designado como líder, utilizando-se de um
confiável a partir de bibliotecas específicas tal como a
dispositivo háptico, pode guiar os movimentos dos
QUANTA Networking Library [9]. Em relação à
outros participantes que o acompanham através do
estrutura básica de comunicação, poderia ser utilizado
retorno tátil provido por seus dispositivos.
o Multicast, que é um modelo onde se torna possível a
criação de grupos de usuários, associados a um único
4. Proposta de Expansão endereço IP. Deste modo, apenas os clientes
associados àquele endereço recebem os pacotes
Como visto anteriormente, a manipulação contendo determinados tipos de dado. Com esta
cooperativa de objetos ainda não é suportada pelo abordagem, seria possível a divisão entre dois grupos
CyberMed. Após serem observados os diferentes tipos Multicast distintos, onde o primeiro estaria associado
de colaboração e modelos de comunicação de rede àqueles usuários que estivessem a participar de uma
188
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
manipulação cooperativa em determinado momento e o uma delas, para que o requisito de feedback das ações
segundo constituiria o grupo daqueles que não estariam dos usuários seja suprido fazendo com que o usuário
envolvidos. Para que um cliente pertença a um grupo tenha consciência imediata das intenções dos usuários
Multicast faz-se necessário que ele se subscreva no remotos com os quais está a cooperar. Por exemplo
mesmo, e para esta proposta, tal subscrição poderia Bowman [2] subdivide a técnica de interação em
ocorrer na etapa de seleção do objeto escolhido. Vale quatro sub-componentes: a Técnica de Seleção, que
ressaltar que os pacotes destinados a grupos de trata do método de indicação do objeto a ser
Multicast, apenas são processados por roteadores manipulado; a Técnica de Acoplamento, que
específicos, e o conjunto desses forma o Mbone [6], especifica como se dá o acoplamento do interador ao
que se trata de um backbone especial para objeto, a Técnica de Posicionamento/Orientação, que
processamento dos pacotes de Multicast. Assim, nem dita como o interador modificará a posição e
todos os roteadores da Internet possuem tal recurso e as orientação do objeto e por fim, a Técnica de
aplicações que utilizam o Multicast poderiam ser Liberação que aborda a forma como o objeto é
prejudicadas caso não houvesse rotas possíveis para as liberado.
suas mensagens. Como suposição, poderia ser definido que a cada
Para contornar este problema, Zyda [6] faz seleção em um objeto, o interador de um usuário
referência a uma camada de software que cria grupos mudasse de cor e houvesse uma indicação visual (ex:
de Multicast e mascara-os, ou seja, empacota-os em seta, círculo) a fim de informá-lo sobre o grau de
mensagens de Unicasting, fazendo com que estes liberdade que este estaria possibilitado a manipular.
possam trafegar livremente pela Internet, já que os Também foi observado na arquitetura dos frameworks
pacotes de unidifusão não possuem a necessidade de propostos por Margery [1] e Pinho [2], o uso de um
roteadores específicos com suporte ao Multicast. Esta módulo responsável pela combinação das ações, sendo
abordagem, conhecida como AOIM (Area Of Interest este denominado pelo segundo trabalho como
Management), poderia ser acrescentada ao módulo de Command Combiner. Assim, é percebida a necessidade
rede CybNetwork, pois este possui o protocolo de de integrar ao CybCollaboration, uma camada
Multicast já implementado. A forma como o AOIM é específica para a combinação das ações e forças
disposta na rede pode ser visualizada na Figura 3. aplicadas, no caso das cooperações hápticas, a fim de
que este seja responsável pelo recebimento,
ordenamento, processamento e divulgação de uma ação
resultante a ser aplicada nas cópias de todos os
clientes.
Por fim, vale salientar que um requisito importante
para a combinação de tais forças é que o módulo
responsável pela integração deve saber quando estas
são ou não simultâneas. Do contrário, apenas haverá
uma sucessão de movimentos elementares de cada
Figura 3 – Camadas de software AOIM [6]. usuário. Para atender a este requisito, podem ser
utilizadas as equações definidas por Broll [4], que
Em relação ao segundo requisito de técnicas de visam definir matematicamente quando diversos
awareness, nas colaborações encontradas no pedidos de manipulação são considerados
CybCollaboration, podem ser notados alguns concorrentes. Esta camada de software responsável
identificadores básicos utilizados para que os usuários pela combinação pode estar localizada em todas as
possam perceber uns aos outros na colaboração. Estes cópias do AV, de forma replicada, ou pode ser disposta
identificadores são feitos baseando-se na diferenciação em um cliente central, que ficaria responsável por
de cores e tamanhos dos objetos interadores de cada receber as solicitações de manipulação, avaliar quais
usuário. Porém, tal modelo não é o suficiente para são simultâneas e por fim, gerar uma transformação
suportar a interação cooperativa. Como se pode resultante ao objeto divulgando-a na rede. Por fim,
identificar em outros frameworks [1,2], geralmente há pode ser observado na Figura 4, um modelo de
um módulo à parte, exclusivo para a geração dos comunicação baseado nos requisitos citados
awareness do sistema. Assim, a medida que cada uma anteriormente.
das etapas de interação for ocorrendo no momento da
cooperação, faz-se necessário que o módulo de
awareness dispare retornos visuais associados a cada
189
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
190
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Luciana de Oliveira Berretta1, Fabrizzio Alphonsus Alves de Melo Nunes Soares1, Márcio Giovane Cunha Fernandes1, Eliane
Raimann2 e Marcos Wagner de Souza Ribeiro1
1 - Departamento de Ciência da Computação - Universidade Federal de Goiás – Campus Jataí
2 – Instituto Federal de Educação, Ciência e Tecnologia de Goiás – Campus Jataí
[email protected] , [email protected], [email protected], [email protected],
[email protected]
191
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Para KIRNER [6], uma das grandes vantagens em a latência, escalabilidade e extensibilidade como parâmetros
utilizar um ambiente de ensino baseado em Realidade de comparação demonstraram qual a melhor abordagem para
Virtual, é que o conhecimento intuitivo do usuário sobre o construção de ambientes virtuais multidisciplinares.
mundo físico pode ser diretamente transportado para o
mundo virtual. 2.3. Aplicações Distribuidas para Realidade Aumentada
Por meio de vários recursos, aliados a essa Colaborativa
tecnologia, destaca-se o acesso à informação por meio de
Ambientes Virtuais Colaborativos (AVC) onde indivíduos Em Aplicações Distribuidas para Realidade
em lugares geograficamente distantes, podem compartilhar Aumentada Colaborativa [3], os autores desenvolveram um
informações e o próprio ambiente [9]. software de RA que apresenta uma arquitetura para
distribuição e colaboração de um espaço de trabalho tri-
1.3. Realidade Virtual dimensional. Assim, o sistema permite que vários usuários
possam compartilhar uma experiência qualquer em 3D, que
Realidade Virtual é uma interface avançada para por sua vez conta com várias aplicações, montando uma
aplicações computacionais, que permite ao usuário navegar espécie de quebra-cabeças que é agrupado por vários
e interagir, em tempo real, com um ambiente tridimensional monitores e outros sistemas de projeção, tais como capacetes
gerado por computador, usando dispositivos multisensoriais e projeção em Realidade Aumentada (RA).
[5].
2.4. Ambientes Colaborativos com RA
1.4. Ambiente Virtual Colaborativo
Em Ambientes Colaborativos com Realidade
Aumentada [7], os autores descrevem o desenvolvimento de
Ambientes Virtuais Colaborativos (AVCs)
um trabalho baseado no uso do software ARToolKit e,
permitem que usuários localizados em posições geográficas
configurado para funcionar em rede por meio do uso de
distintas colaborem por meio de uma simulação de um
soquetes. Para isso, os autores relatam que o ARToolKit foi
mundo sintético controlado por computadores, utilizando
modificado para importar e exportar posições, permitindo a
uma infra-estrutura de comunicação tal como a Internet.
inserção de objetos virtuais em posições recebidas pela rede
Ambientes Virtuais Colaborativos tem historicamente sido
de computadores e, ainda, o envio das posições das placas
aplicado a diversas áreas do conhecimento, por exemplo:
marcadoras existentes no ambiente local para o ambiente
Simulação Militar de Combate para treinamento de pessoal,
remoto.
design e engenharia, treinamento, Engenharia de Software,
Medicina, etc. [11], [16] e [17]. Tais aplicações podem
2.5. Construct3D
incluir um nível a mais de realismo em uma simulação,
permitindo que o usuário tenha uma experiência similar
Construct3D foi desenvolvido pelo Institute of
àquela que o mesmo teria em similar situação no mundo real
Software Technology and Interactive Systems na Vienna
[5].
University of Technology e pelo Institute for Computer
Graphics and Vision na Graz University of Technology. Este
2. TRABALHOS RELACIONADOS projeto visa à criação de uma ferramenta que possibilite a
construção geométrica tridimensional, sendo que, ela está
2.1. Virtual Harlem direcionada especificamente para o ensino de matemática e
geometria (KAUFMANN e SCHMALSTIEG, 2006). O seu
O Virtual Harlem [2], criado com o objetivo de desenvolvimento baseia-se no sistema móvel de Realidade
fazer as pessoas conhecerem o bairro de Harlem na década Aumentada colaborativa denominado Studierstube [1].
de 20, onde as pessoas representadas por avatares têm
contato com objetos que seriam da época, ouvem música da 2.6. ARCA
época, tudo como se estivesse na cidade.
O projeto ARCA, acrônimo de Ambiente de
2.2. Arquitetura de Distribuição de Ambientes Virtuais Realidade Virtual Cooperativo de Aprendizagem, está sendo
Multidisciplinares desenvolvido por três áreas de ensino da Universidade
Federal do Rio Grande do Sul – UFRGS: Psicologia,
Neste trabalho [15], ao relatar uma arquitetura para Educação e Informática, coordenado pelo Programa de Pós-
distribuição de ambientes virtuais multidisciplinares de Graduação em Informática na Educação (UFRGS, 2008).
ensino, os autores avaliaram diferentes arquiteturas de Este projeto propõe-se a desenvolver um ambiente de ensino
distribuição com o objetivo de identificar aquela que com e aprendizagem que, apoiado pela Internet, possa atuar como
mais eficiência permita que interações ocorridas em um instrumento no auxílio a uma prática pedagógica
ambiente alterem o comportamento de outros, mesmo que diferenciada. O seu ambiente visa criar condições para uma
estes sejam relacionados a outras áreas do conhecimento. aprendizagem significativa por meio de um ambiente
Protótipos construídos sobre a plataforma escolhida para a desenvolvido em Realidade Virtual que permite a
distribuição, seguindo uma mesma metodologia (na qual os cooperação. Os estudantes podem, ainda, utilizar
aspectos do modelo de dados foram alterados) e ainda, tendo telepresença via avatar, esta ferramenta possui como objetivo
192
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
permitir aos estudantes e professores realizar uma Toda a parte de distribuição e comunicação entre os
comunicação por meio de um personagem, o avatar [18]. ambientes virtuais foi construída usando a linguagem de
programação JAVA por meio da API Java RMI. A
3. ARQUITETURA DO SISTEMA comunicação tem por base a existência de uma aplicação
servidora. Os clientes se conectam ao servidor e requisitam
3.1. Arquitetura para Distribuição do Sistema ao mesmo, informações sobre ambiente e o servidor
disponibiliza:
O propósito deste tópico é a demonstração de uma a) Fase do Algoritmo.
b) Estrutura do Algoritmo.
arquitetura que permita a existência de n computadores
O modelo de visão de cada ambiente não é distribuído e
capazes de hospedar m ambientes virtuais, fazendo assim, a
distribuição dos objetos virtuais visualizados e manipulados cada usuário pode navegar pelo ambiente sem influenciar na
na cena, permitindo uma colaboração na construção de um distribuição.
Algoritmo. Desta forma, propõe-se a arquitetura para Os objetos virtuais e a capacidade interativa do sistema
distribuição (colaboração) do sistema, conforme a Figura 1. foram construídos usando JAVA 3D. Alguns objetos que
O sistema proposto neste trabalho (AV ALGOL) é composto necessitaram uma modelagem mais detalhada foram
pelos seguintes módulos: construídos com ferramentas de modelagem geométrica e
exportados para uso no ambiente.
- Interface do Ambiente Virtual: A interface propicia a
manipulação dos parâmetros interativos que serão
distribuídos e, também a visualização das fases (Estruturas 5. FUNCIONAMENTO DO SISTEMA
Sequenciais, Estruturas Condicionais e Estruturas de O sistema possui três fases de aprendizado com base em
Repetição). estruturas: sequencias; condicionais; repetição.
- Servidor: O servidor da aplicação recebe dos clientes e Na primeira fase o objetivo é entender o processo de
distribuí na rede de computadores as informações acerca das criação de variáveis, seus respectivos tipos de dados e a
fases e o respectivo momento de cada fase. Este servidor é respectiva manipulação das mesmas. A metáfora usada para
independente do ambiente, sendo inicializado abstrair este conceito foi a utilização de cubos para cada tipo
automaticamente no computador do primeiro cliente que for de dado. Sempre que o usuário escolhe (seleciona) um cubo
ativado. O Servidor utiliza-se da API Java RMI para suportar uma variável é criada. É possível ao usuário realizar
a comunicação cliente-servidor. pequenas operações matemáticas e exibir mensagens. De
Computador 1 Computador 2 Computador 3 Computador n acordo com a interação e manipulação dos objetos (cubos) o
AV ALGOL AV ALGOL AV ALGOL AV ALGOL Algoritmo vai sendo construído. (Figura 2).
Fase 1 Fase 2 Fase 3 Fase m
Um aspecto ainda não implementado no sistema, porém
Java 3D Java 3D Java 3D Java 3D
em fase de desenvolvimento, é a comunicação bidirecional
entre construção de ambiente virtual e geração de Algoritmo.
Ou seja, o usuário pode construir o ambiente e gerar o
GUI GUI GUI GUI Algoritmo ou construir o Algoritmo e gerar o ambiente.
Atualmente apenas a geração do Algoritmo por meio da
Ação/Visualização Ação/Visualização manipulação é possível.
JAVA RMI
193
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Figura 3. Interface da Fase 2 do Ambiente [4] JESUS, A.; BRITO, G. S. Concepção de Ensino-
Aprendizagem de Algoritmos e Programação de
Computadores: A Prática Docente. I ENINED - Encontro
Na primeira fase, o Algoritmo é construído
Nacional de Informática e Educação.
preenchendo-se os blocos: variáveis; mensagens; valores das
variáveis. Na segunda fase, têm-se os blocos: variáveis;
condições; mensagens; Na terceira fase: variáveis; condições [5] KIRNER C.; SISCOUTTO R. A., “Fundamentos de
Realidade Virtual e Aumentada”. Realidade Virtual e
de parada; mensagens; atualizações.
Aumentada: Conceitos, Projeto e Aplicações, pp. 9-21,
A colaboração no sistema está ligada a um maio 2007.
gerenciamento de um administrador que permite que cada
cliente possa contribuir com alguma alteração. Sem a
[6] KIRNER, C.; “Evolução da Realidade Virtual no Brasil”.
permissão do administrador a alteração realizada por cliente In: SVR08 - Smposium on Virtual Realty 2008, 2008,
não é replicada para os outros clientes. A premissa é João Pessoa-PB. IX Smposium on Virtual Realty, 2008.-
realmente que haja contribuição para que seja encontrada a SVR 2008
melhor configuração de objetos virtuais e estrutura
algorítmica. [7] KIRNER, C.; at al. “Ambientes Colaborativos com
Realidade Aumentada”. In: II Workshop de Realidade
6. CONCLUSÕES E TRABALHOS FUTUROS Aumentada – WRA’2005, 2, 2005, Piracicaba-SP.
Procedings. Piracicaba-SP, 2005.p.13-16.
Espera-se com este trabalho criar um ambiente que
promova aos alunos uma sensação de imersão e [8] MAGALHÃES, L.,P., “SAPIENS - Sistema de Apoio à
envolvimento, proporcionando uma visão da programação Aprendizagem”. Disponível em
talvez não obtida com os métodos tradicionais de ensino, <http://www.dca.fee.unicamp. br/projects/sapiens/
além de aumentar o nível de abstração e reduzir a exigência Reports/rf2000/rf2000.html>. Acesso em: 20 ago. 2010.
de conhecimento prévio.
O ambiente de ensino se baseará em metáforas para [9] MATOS, A. T. “A Biblioteca em Realidade Virtual como
permitir a manipulação e interação das estruturas dos Um ambiente Colaborativo”. UNESP, 2003.
Algoritmos pelos alunos.
O resultado deste trabalho visa ainda ser um produto [10] MOURA, J.S, Cardoso A, Júnior, E.L. “A Realidade
educacional para ser usado em escolas de ensino técnico ou Virtual como uma ferramenta para o ensino da Geometria
superior, presencial ou EAD e distribuído livremente. Molecular”. WRVA 2009.
194
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Algoritmos”. XIII Workshop sobre Educação em Colaborativos. In: XI Simpósio Brasileiro de Sistemas
Computação, São Leopoldo-RS, 2005. Mutimídia e Web, 2005, Poços de Caldas, MG. Anais do
WebMedia 2005, 2005. v. 1. p. 25-33.
[14] RAPKIEWICZ, C. et al. “ Estratégias pedagógicas no
ensino de Algoritmos e programação associadas ao uso de [17] SANTOS FILHO, J. V. ; PEDROZA, A. C. P. ;
jogos educacionais”. RENOTE - Revista Novas COURTIAT, J.-P. . “Gerência de Direitos de Acesso de
Tecnologias na Educação, vol 7, n. 3, Porto Alegre, 2006. Usuários em Ambientes Virtuais Colaborativos”. In:
SVR06 - Simposium on Virtual Realty 2006, 2006,
[15] RIBEIRO, M. W. S. “Arquitetura para Distribuição de Belém/PA. VII Simposium on Virtual Realty, 2006.
Ambientes Virtuais Multidisciplinares”. Tese Doutorado.
Uberlândia, Faculdade de Engenharia Elétrica - UFU, [18] UFRGS. ARCA. Disponível em:
2006, 176p. http://penta.ufrgs.br/pgie/arca/arca.htm. Acesso em: 25
ago. 2010.
[16] RODRIGUES, S. G. ; OLIVEIRA, J. C. . ADVICe - um
Ambiente para o Desenvolvimento de ambientes VIrtuais
195
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Rui
Nuno
de
Almeida
1 Miguel Sales Dias 1,2
1
ISCTE
Instituto
Universitário
de
Lisboa,
Portugal
2
MLDC, Microsoft Language Development Center – Porto Salvo, Portugal
[email protected],
[email protected]
an
important
issue
for
AR.
It
may
seem
utopian
to
Abstract
want
to
bring
our
favorite
pet
from
World
Of
This
paper
presents
a
contribution
for
the
Warcarft
[18]
into
Second
Life
[15],
or
even
bring
interoperability
between
on-line
virtual
reality
(VR)
virtual
3D
objects
and
characters
from
our
favorite
and
augmented
reality
(AR),
via
3D
object
exchange.
online
3D
game
to
the
living
room
to
meet
Sony
We
describe
architectures
and
techniques
use
in
EyePet
[16].
And
why
not
to
bring
a
character
we’ve
three
experiments,
to
allow
the
visualization,
just
created
using
a
tool
of
a
Kinect
enabled
XBOX
interaction
and
two-way
exchange
of
objects
[11]
environment,
into
an
online
virtual
world
or
between
an
on-line
VR
world
and
an
AR
environment.
even
to
Facebook[4]?
For
sure,
if
we
want
to
Our
aim
was
to
present
a
proof
of
concept
for
the
configure
this
kind
of
Interoperability,
we
will
need
interoperability
of
future
social
media
applications.
easy,
simple
and
natural-‐to-‐use
novel
tools.
In
this
paper,
we
aim
at
addressing,
with
a
series
of
Keywords:
Second
Life,
Augmented
Reality
preliminary
experiments,
the
interoperability
Interoperability.
between
a
popular
on-‐line
virtual
world
that
follows
the
social
media
metaphor
(Second
Life
-‐
SL),
and
a
conventional
augmented
reality
1.
Introduction
environment.
Our
aim
is
not
to
build
a
complex
and
complete
tool
to
provide
interoperability
between
Since
Cauddell
and
Mitzel
[2]
developed
the
SL
and
AR,
but
to
carry
a
more
pragmatic
approach,
concept
of
Augmented
Reality
(AR),
while
by
specifying,
developing
and
testing
a
series
of
simplifying
a
wire
bundle
industrial
manufacturing
experiments
of
interaction
and
interoperability
process
in
a
Boeing
airplane
assembly
line
back
in
between
both
environments.
In
the
next
sections
1992,
many
developments
were
made
and
we
can
we
design
and
test
three
experiments
that
will
see
nowadays
several
sophisticated
applications
demonstrate
the
ability
to
author
and
transfer
3D
and
experiments
in
areas
such
as
entertainment,
objects
from
SL
to
AR
and
back,
keeping
their
art,
media,
advertising,
navigation
devices,
characteristics,
such
as
shape,
static
or
dynamic
architecture,
industrial
design
and
others.
Recently
behaviour
and
pose
in
relation
to
a
reference
the
concept
of
“Augmented
Reality
Browser”
has
coordinate
system.
The
first
two
experiments,
come
to
live,
with
examples
as
Layar
[8]
or
demonstrate
the
exchange
of
objects
in
the
Wikitude
[19],
for
mobility
devices,
or
FLARToolkit,
direction
of
AR
to
SL.
In
the
first
experiment,
by
an
Adobe-‐Flash
AR
extension
developed
by
means
of
tangible
interaction
with
AR
visual
Saqoosha
[21],
based
in
a
Java
ported
prior
version
markers,
we
allow
the
user
to
create
3D
objects
in
of
ARToolKit
[6].
We
believe
that
it’s
only
the
AR
and
transfer
those
to
a
SL
world.
These
virtual
beginning.
objects
are
“clones”
of
the
augmented
reality
Web
blogging,
social
networks
and
social
media
in
objects
and
their
pose
in
SL
(in
a
local
reference
general,
have
shown
us
that
content
sharing
and
frame),
follows
the
AR
pose.
In
the
second
easy
information
portability
in
the
Internet,
are
experiment,
we
extend
the
previous
process
to
probably
the
success-‐key
that
will
eventually
lead
allow
the
creation
and
exchange,
from
AR
to
SL,
of
to
the
growth
and
spread
of
AR
as
a
massive
use
static
or
dynamic
objects.
At
this
stage
of
our
phenomenon.
Therefore,
the
Interoperability
research,
the
resulting
objects
are
not
similar,
but
between
different
systems
has
increasingly
become
196
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
related
to
the
AR
objects.
Finally,
in
our
third
and
SLARiPS
project
experiment
(see
Figure
1),
final
experiment,
a
Second
Life
3D
primitive
is
introduces
the
concept
of
transferring
and
created
and
modified
and
then
it
is
exchanged
with
manipulating
3D
objects
between
SL
and
a
desktop
AR,
keeping
the
same
characteristics
as
the
original
AR
application.
To
transition
between
these
two
primitive.
Our
computing
environment
can
be
environments,
a
proxy
is
used,
based
on
a
virtual
characterized
as
follows.
To
build
up
the
AR
visual
marker
in
SL,
providing
a
bridge
between
environment
we
have
used
the
C++
API
X3M
–
both
worlds
(see
Figure
2).
This
project
adopts
a
Extreme
Tracking,
developed
by
Rafael
Bastos
and
scripting
Augmented
Reality
(AR)
authoring
tool
Miguel
Dias
[3]
at
ADETTI-‐IUL
[1].
X3M
is
a
visual
ComposAR
[14].
marker
tracking
system
for
desktop
AR,
that
brings
benefits
of
precision,
performance
and
robustness
to
varying
lighting
conditions,
when
compared
with
the
standard
ARToolkit.
In
order
to
provide
the
basic
communication
link
between
SL
and
AR,
we
have
used
System.Net
Namespace
HttpWebResponse
class
from
from
.NET
Framework
Class
Library
[10]
combined
with
a
Second
Life
world
XML-‐RPC
[20]
client/server
and
a
PHP
[13]
enabled
HTTP
[5]
web
server.
Later
on,
we
will
discuss
about
this
choice
and
debate
the
different
options
that
could
have
been
used
to
establish
interoperability
between
the
two
systems.
The
programming
development
environment
was
quite
rich:
we
have
used
C++
for
Figure
2–
Network
representation
of
SLARiPS
project.
the
AR
part,
LSL
(Linden
Scripting
Language),
the
Their
current
work
focuses
on
the
anatomical
aspect
Second
Life
native
scripting
programming
language,
of
the
avatar
and
it's
duality
between
AR
and
VR
and
PHP
for
HTTP
server
programming.
For
3D
worlds.
programming
and
modelling
building,
we
have
used
3.2
AR
Second
Life
(AR
Playspace
and
AR
the
OpenGL
C++
API
for
the
AR
system
and
the
Pit)
[7]
built-‐in
Second
Life
3D
in-‐world
online
modelling
tools.
Massively
Multiplayer
Online
Worlds
(MMO)
are
persistent
virtual
environments
where
people
play,
3.
Related
Work
experiment
and
socially
interact.
In
this
work,
the
To
our
knowledge,
few
academic
contributions
authors
demonstrate
that
MMOs
also
provide
a
have
appeared
addressing
the
interoperability
powerful
platform
for
AR
applications.
They
between
virtual
worlds
and
augmented
reality,
in
introduce
the
notion
of
AR
Stages,
persistent,
particular
works
related
to
Second
Life
and
AR.
In
evolving
spaces
which
encapsulate
AR
experiences
the
following
paragraphs,
we
describe
two
of
these
in
online
3D
virtual
worlds.
Based
on
the
3D
virtual
contributions
that
have
in
some
aspects
influenced
world
Second
Life,
their
custom
client
software
our
work.
(they
changed
the
open
source
SL
client
to
support
AR),
blends
together
locations
in
the
physical
space
3.1.
Project SLARiPS [17] with
corresponding
places
in
the
Second
Life
virtual
space
and
leverages
the
power
of
the
MMO
to
create
SLARiPS
(Second
Life
Augmented
Reality
in
a
powerful
AR
authoring
environment,
targeted
at
a
Physical
Space),
explores
the
evolution
and
impact
wide
audience
and
fields
of
application
(see
Figure
of
networked
digital
environments,
particularly
in
3).
massively
multiplayer
online
worlds
like
Second
Life.
Figure
3–
“AR
Second
Life”:
an
Avatar
in
AR.
Figure
1,
View
of
SLARiPS.
They
have
examined
the
technology
and
workflows
necessary
to
integrate
AR
in
MMOs
and
197
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
have
created
novel
AR
experiences.
The
AR
to
a
convincing
experience.
The
quality
of
the
Playspace
experience
(see
Figure
4)
is
a
public
graphics
might
be
of
importance,
but
other
factors
mixed-‐reality
performance
space.
The
experience
is
like
responsiveness
of
the
tracking
system
might
be
intended
to
be
a
place
to
have
fun
and
to
play.
It
is
a
even
more
influential.
By
measuring
presence
while
"window''
which
connects
the
physical
world
with
adjusting
these
parameters,
they
evaluated
which
the
virtual.
Visitors
in
both
domains
can
enter
the
factors
contribute
to
a
convincing
AR
experience
mixed
reality
space
and
see
the
"other
side.''
People
(see
Figure
5).
The
feature
set
of
AR
Second
Life
in
the
physical
space
are
captured
with
a
video
allowed
them
to
quickly
evaluate
different
content
camera
and
can
see
themselves
on
a
large
video
designs
and
their
influence
on
the
user
experience.
screen
that
shows
the
augmented
output.
As
soon
as
a
virtual
avatar
enters
the
corresponding
space
in
Second
Life,
they
appear
also
in
AR.
In
order
to
give
the
avatar
a
view
of
the
physical
world,
the
augmented
output
is
streamed
as
a
video
back
into
Second
Life.
Both
spaces
are
blended
together
and
Figure
5–
AR
Pit
experiment.
actions
in
either
domains
are
perceivable
in
the
4.
System
Architecture
other
space.
Voice-‐Over-‐IP
support
even
allows
real-‐time
audio
transmission
between
both
spaces.
Our
AR
software
is
based
on
the
C++
API
X3M.
This
API
implements
classes
for
visual
marker
tracking.
The
markers
need
to
be
squared
and
include
a
high
contrast
black
border
and
any
non-‐symmetric
colour
texture
in
its
interior
(see
Figure
7).
In
this
particular
study,
we
have
used
several
markers
at
Figure
4–
AR
Playspace
mixed-reality
space.
the
same
time.
To
make
the
communication
between
SL
and
AR,
we
had
several
possible
means.
Intentionally,
the
AR
Playspace
experience
has
All
of
these
ways
require
the
use
of
XML-‐RPC,
has
it
been
deployed
in
a
public
space.
It
invites
casual
is
the
only
protocol
implemented
to
interact
with
SL
visitors
of
both
domains
to
stop
by
and
just
have
scripted
objects.
The
most
efficient
way
would
have
fun
or
talk.
To
make
the
experience
more
engaging,
been
to
develop
a
C++
XML-‐RPC
client/server
physical
visitors
can
take
fiducial
markers
and
directly
in
the
AR
software
that
would
communicate
present
these
to
the
camera.
The
AR
Second
Life
directly
with
SL,
with
the
advantage
of
receiving
software
recognizes
these
patterns
and
computes
client
requests.
That
architecture
would
have
their
pose
in
real-‐time.
Visitors
in
the
virtual
space
brought
the
great
advantage
of
letting
SL
interact
can
assign
arbitrary
objects
to
be
displayed
on
top
with
the
AR
software
on
its
own
initiative.
However,
of
these
markers.
This
opens
the
possibility
for
a
the
integration
of
a
XML-‐RPC
client/server
that
variety
of
games
and
fun
moments.
would
satisfy
our
requirements,
would
have
taken
The
AR
Pit
[7] experiment
demonstrates
the
us
several
weeks
of
development.
In
this
context,
capabilities
of
AR
Second
Life.
The
experiment
is
an
given
the
time
factor
and
also
because
for
our
study,
attempt
to
measure
the
effect
of
“presence”
in
it
would
not
be
essential
for
the
SL
to
send
requests
Augmented
Reality
applications.
The
experimental
directly
to
the
AR,
we
have
chosen
a
different
setup
to
measure
presence
was
pioneered
by
architecture
and
a
more
pragmatic
approach
(see
Meehan
et
al
[9]
in
the
context
of
Virtual
Reality.
Figure
6).
We
have
decided
to
use
an
in-‐between
The
researchers
around
Meehan
built
a
deep
virtual
HTTP
server,
developed
with
PHP
scripting.
This
pit
that
participants
of
the
experiment
had
to
face.
server
receives
requests
from
the
AR
software
and
Sensors
attached
to
the
participants
measured
any
sends
them
to
the
SL
terminal,
returning
their
physiological
response
users
had
when
looking
answers
back
to
AR.
This
solution
has
the
down
into
the
pit.
In
theory,
a
convincing
simulation
advantage
of
allowing
the
registration
of
terminals
would
trigger
fears
of
height
and
anxiety
in
the
through
the
use
of
a
MySQL
[12]
database
and
the
participants,
which
then
can
be
measured
and
implementation
of
a
security
layer
between
the
AR
translated
into
an
objective
metric
for
presence.
and
SL.
It
also
allows
the
temporary
registration
of
The
original
experiment
succeeded
in
measuring
the
primitive
characteristics
and
activities
on
both
these
physiological
responses.
sides,
in
the
case
of
losing
the
connection
with
one
The
authors
applied
the
same
principles
to
party.
Augmented
Reality
to
understand
what
factors
lead
198
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
LSL
XML-‐RPC
PHP
WebRequest
C++
Figure
6
–
Software
architecture
of
our
system.
Figure
8
–
Snapshots
from
the
first
experiment.
5.
Experiments
A
“go”
marker
instructs
the
system
indicating
To
setup
the
mentioned
three
experiments,
we
that
the
object
is
ready
to
be
replicated
(from
AR
to
have
used
a
Laptop
PC
to
run
the
AR
software,
and
a
SL),
and
a
“del”
marker
sends
an
instruction
to
SL
in
MacBook
Pro
to
run
the
Second
Life
client
software.
order
to
delete
the
previously
exchanged
object.
A
1024m2
virtual
terrain
owned
by
one
of
the
The
end-‐to-‐end
system
tests
we
have
made,
authors
was
used
in
Second
Life
to
program,
design
revealed
a
big
delay
of
almost
two
seconds
until
the
and
host
a
private
terminal
as
a
base
of
the
AR
system
receives
back
the
response
from
SL,
experiments.
confirming
that
the
objects
were
successfully
We
set
up
two
software
workflows,
one
made
of
created.
Two
main
reasons
are
the
cause
of
this
Second
Life
world
primitives
and
scripts,
and
the
delay.
First,
we
have
the
normal
Internet
HTTP
other
one
in
the
AR
C++
application
(see
Figure
9
communication
delay.
Second,
there
is
an
and
Figure
13).
intentional
delay
inserted
by
SL
developers
into
LSL
scripting
functions,
to
prevent
trashing
situations
in
5.1.
Replication
of
Primitives
from
AR
to
SL
the
SL
servers,
caused
by
possible
attempts
of
In
the
first
experiment
(see
Figure
8),
we
have
clients
to
draw
large
procedural
models.
For
created
in
SL
a
replica
of
the
AR
3D
primitives,
example,
llRezObject
causes
the
script
to
sleep
for
keeping
their
characteristics.
They
have
the
same
0.1
seconds
before
it
can
proceed
to
next
shape,
dimension
and
relative
pose
of
the
original
instruction.
As
a
final
result
we
have
a
pause
in
AR
AR
3D
objects.
For
the
first
approach,
we
have
used
system,
because
it
is
waiting
for
an
object
creation
a
simple
cube
primitive
in
both
environments.
It
is
completion
response
from
SL.
Possible
future
obviously
easy
to
replicate
the
geometry
and
solutions
could
be
a
C++
XML-‐RPC
integration
in
the
topology
of
a
cube.
So,
the
main
problem
was
to
get
AR
software,
or
even
bypass
the
response
from
SL,
the
position
and
rotation
(pose)
of
the
AR
object
in
cases
where
it
is
not
needed.
relatively
to
the
visual
marker
in
AR,
and
replicate
those
characteristics
in
SL.
Other
primitive
features,
such
as
its
colour
or
its
texture,
could
have
been
replicated
too,
but
the
main
concern
at
this
stage,
was
the
pose
of
the
object.
Figure
7
–
Visual
markers
used
in
the
AR.
We
have
created
a
scripted
main
object
in
SL,
that
we
have
called
a
terminal.
The
main
task
of
this
terminal
object
was
to
receive
the
XML-‐RPC
calls
from
AR
and
create
or
destroy
the
primitives
in
SL,
according
with
those
calls.
To
setup
the
experiment
Figure
9
–
Representation
of
our
AR
system
workflow.
in
the
AR
environment,
we
have
used
two
types
of
visual
markers:
object
markers
and
instruction
199
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
The
setup
for
the
second
experiment
was
similar
5.3.
Replication
of
Primitives
from
SL
to
AR
to
the
first
one.
However,
in
this
case,
the
system
The
aim
of
this
experiment
was
to
demonstrate
creates
in
SL
replicas
of
the
AR
markers
(see
Figure
the
exchange
of
virtual
objects,
from
SL
into
the
AR
10).
The
pose
of
replicated
markers
is
the
same
in
environment
(see
Figure
14).
In
this
case
we
want
relation
with
the
real
AR
markers.
Then,
we
use
a
to
modify
or
rotate
an
SL
primitive
and
create
a
specific
AR
marker
to
instruct
the
virtual
marker
in
replica
of
that
primitive
in
AR,
with
the
same
SL
to
create
a
registered
object.
characteristics.
SL
objects
must
have
a
script
that
scans
all
changes
and
communicates
those
changes
to
the
terminal.
It
must
be
done
near
the
terminal,
because
objects
in
SL
have
a
limit
distance
within
which
they
can
send
messages
to
each
other.
AR
is
programmed
to
make
an
OpenGL
replica
of
the
SL
Figure
10
–
AR
markers
(left)
representation
and
their
SL
replica
(right).
primitive.
In
this
case
we
only
worked
with
simple
In
AR,
each
real
marker
is
associated
to
one
object
cubic
primitives
and
supporting
changes
in
and
the
SL
object
is
not
necessarily
a
replica
of
the
translation,
rotation
and
colour.
Textures,
AR
object
(see
Figure
11
and
Figure
12).
The
virtual
deformations
and
other
features
could
also
have
marker
is
scripted
in
LSL
to
be
able
to
create
been
also.
However,
we
believe
that
the
ones
we
objects.
have
used
are
enough
for
the
purpose
of
proof-‐of-‐
concept.
Once
again,
we
would
like
to
remind
that
we
don’t
have
an
XML-‐RPC
server
integrated
in
the
AR
application.
So
the
initiative
of
getting
the
updated
object
must
come
from
AR
software.
This
is
an
obvious
limitation,
but
again
it
can
be
solved
with
the
same
behaviours
we
referred
to
in
the
first
Figure
11
–
Left:
SL
objects
created
in
the
virtual
markers
place.
Right:
AR
marker.
experiment.
The
SL
object
can
even
have
an
embedded
animation.
The
SL
terminal
creates
the
virtual
markers
and
it
also
sends
the
instructions
for
the
virtual
markers
to
create
their
associated
objects.
After
creating
its
object,
each
virtual
marker
destroys
itself.
The
terminal
can
also
receive
instructions
from
AR
to
delete
the
objects
if
they
are
still
in
the
proximity.
Figure
12
–
Created
SL
objects,
based
on
AR
marker-
based
interaction.
In
this
experiment,
the
virtual
markers
in
SL
can
Figure
13
–
Representation
of
the
SL
system
also
be
used
as
real
AR
markers.
If
we
turn
the
AR
workflow.
camera
into
the
SL
viewer,
it
will
also
recognize
these
markers
as
if
they
were
real
and
will
register
correctly
the
AR
objects.
This
is
especially
useful
in
case
we
have
SL
terminals
in
different
distant
locations/regions
inside
SL
and
want
to
transport
Figure
14
–AR
objects
created
as
a
replica
of
SL
or
create
objects
within
this
popular
on-‐line
virtual
construction.
environment,
using
the
AR
application.
This
experience
has
demonstrated
that
we
can
use
AR
200
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
7.
Conclusions
and
Future
Work
[3]
Dias,
J.
M.
S.,
Bastos,
R.,
"An
Optimized
Marker
Tracking
System",
Research
Sketch
EGVE´06,
The
aim
of
this
study
was
to
explore
the
new
12th
Eurographics
Symposium
on
Virtual
possibilities
brought
by
the
interoperability
Environments,
Lisbon,
8
–
10,
May
2006.
between
a
Second
Life
world
and
an
augmented
[4]
Facebook,
Sept
2010.
reality
environment.
We
have
demonstrated,
with
[5]
HTTP
-‐Hypertext
Transfer
Protocol,
tree
experiments,
the
possibility
of
two-‐way
http://www.w3.org/Protocols/,
Sept
2010.
exchange
of
simple
3D
primitives
and
its
features,
[6]
Kato,
H.,
Billinghurst,
M.,
Poupyrev,
I.,
Imamoto,
such
as
pose
and
colour,
between
AR
and
SL.
This
is
K.,
Tachibana,
K.,
“Virtual
Object
Manipulation
a
different
approach
from
the
incorporation
of
on
a
Table-‐Top
AR
Environment”,
In
Proc.
of
the
video-‐based
tracking
in
the
standard
Second
Life
International
Symposium
on
Augmented
Reality,
client
viewer,
as
in
[7].
To
get
better
results,
as
we
(ISAR
2000),
Munich,
Germany,
pp.111-‐119,
referred
earlier
in
this
paper,
we
should
consider
2000.
implementing
a
fast
and
more
robust
[7]
Lang,
T.
,
"Massively
Multiplayer
Online
Worlds
communication
workflow
between
SL
and
AR.
One
as
a
Platform
for
Augmented
Reality
possibility
would
be
to
eliminate
the
HTTP/PHP
Experiences",
In
Virtual
Reality
Conference,
interface
and
to
make
a
bidirectional
direct
2008.
VR
'08.
IEEE
(2008),
pp.
67-‐70..
communication
system
over
XML-‐RPC,
or
any
other
[8]
Augmented
Reality
Browser,
protocol
supported
by
both
platforms.
The
http://www.layar.com/,
Sept
2010.
extension
of
simple
3D
primitives
and
features
to
a
[9]
Meehan,
M.
et
all.
“Physiological
measures
of
wide
range
of
complex
shapes
and
deformations,
presence in virtual environments”, Proceedings of
could
bring
some
new
possibilities,
such
as
content
the 4th Annual International Presence Workshop,
sharing
or
full
asset
transfer
between
SL
and
AR.
In
Philadelphia, PA, 1-28.
fact,
the
contents
inside
the
Second
Life
world
are
[10] MSDN-Microsoft Developer Network,
made
from
manipulations
of
no
more
than
eight
3D
http://msdn.microsoft.com/, Sept 2010.
primitives,
each
one
with
a
limited
number
of
[11] Microsoft Corporation XBOX | Kinect
features.
Therefore,
with
a
proper
shape
http://www.xbox.com/kinect,
Sept
2010.
interpretation
layer,
complex
content
inside
the
[12]
MySQL
DBMS
,
http://www.mysql.com/,
Sept
Second
Life
world
could
be
exchanged
with
an
2010.
augmented
reality
application.
Extending
this
[13]
PHP-‐
Hypertext
Preprocessor,
concept
to
all
kinds
of
social
media
and
http://www.php.net/,
Sept
2010.
applications,
maybe
we
can
imagine
a
global
[14]
Seichter
,H.,
“ComposAR:
An
Intuitive
Tool
for
“metaverse”,
were
3D
content
flow
from
place
to
Authoring
AR
Applications”
,
In
proceedings
of
place
in
the
Internet,
and
even
are
exchange
with
IEEE
International
Symposium
on
Mixed
and
the
real
world.
Enriching
this
concept
with
some
Augmented
Reality
2008.
new
“trends
and
ingredients”,
such
as
novel
natural
[15] Virtual world Second Life
user
interfaces
of
modern
game
consoles,
like
the
http://www.secondlife.com, Sept
2010.
XBOX
Kinect,
in
the
context
of
a
new
geographic
[16]
Sony
Eye
Pet
for
Playstation,
information-‐based
web,
were
interaction
via
a
3D
http://www.eyepet.com,
Sept
2010.
interface,
or
even
through
augmented
reality
[17] Stadon, J,
“SLARiPS:
an
investigation
of
browsers,
would
became
holistic,
we
will
be
able
to
Mediated
Mixed
Reality
Existence”,
In
create
new
and
innovative
applications,
based
upon
proceedings
of
the
8th
IEEE
International
this
paradigm.
Symposium
on
Mixed
and
Augmented
Reality,
ISMAR
2009,
Orlando
Florida,
19th-‐22nd
Oct.
8.
References
2009,
IEEE
Press,
pp.
65-‐71,
2009.
[1]
ADETTI,
ISCTE-‐
Instituto
Universitário
de
[18]
World
of
Warcraft
-‐
Blizzard
Entertainment,
Lisboa,
Portugal,
CGM
Lab
http://www.blizzard.com,
Sept
2010.
<http://www.adetti.iscte.pt>,
Jul.
20,
2010.
[19]
Wikitude
worlds
browser,
[2]
Caudell,
T.P.
and
Mizell,
D.W.,
“Augmented
http://www.wikitude.org,
Sept
2010.
Reality:
An
Application
of
Head-‐Up
Display
[20]
XML-‐RPC
protocol,
http://www.xmlrpc.com,
Technology
to
Manual
Manufacturing
Sept
2010.
Processes,”
Proceedings,
IEEE
Hawaii
[21]http://www.libspark.org/wiki/saqoosha/FLAR
International
Conference
on
Systems
Sciences,
ToolKit/en,
Sept
2010.
January
1992,
pp.
659-‐669.
201
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 10
REALIDADE VIRTUAL NA EDUCAÇÃO
202
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Resumo – Este trabalho apresenta uma alternativa de Para que isso não ocorra pode-se usar Realidade
ensino feita em Realidade Virtual e Realidade Aumentada Aumentada, que permite a manipulação de objetos virtuais
desenvolvida através das bibliotecas Papervision3D e com as mãos ou algum dispositivo simples, sem a
FLARToolKit, que simula as principais ligações entre necessidade de treinamento ou adaptação dos usuários [6].
átomos. Auxiliando e estimulando a construção de A Realidade Aumentada é a mistura de mundos reais e
conhecimentos necessários através da interação, virtuais em algum ponto da realidade/virtualidade contínua,
envolvimento e interesse do estudante, obtendo assim que conecta ambientes completamente reais a ambientes
resultados positivos. completamente virtuais, portanto, a Realidade Aumentada é
a melhoria do mundo real com textos, imagens e objetos
Palavras-Chave – Conhecimento, Ligações Químicas, virtuais, gerados por computador [8], [5].
Realidade Aumentada, Realidade Virtual.
203
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
De acordo com pesquisas bibliográficas, outras proporcionando a visualização e interação do estudante com
iniciativas já demonstram que este caminho é propício ao o conhecimento de modelos químicos de maneira completa,
sucesso, o que aumenta a relevância desta pesquisa, porém facilitando a compreensão dos conceitos químicos, ou para
nenhum destes trabalhos direciona a pesquisa para ligações correção de concepções inadequadas de modelos científicos
entre átomos. [10].
Nesse contexto, a área de Ligações Químicas se apresenta
2. LIGAÇÕES QUÍMICAS como um campo de estudo de grande utilidade, uma vez que
agrega técnicas que facilitam o entendimento a partir de
Se analisar um átomo sozinho em sua estrutura, representações visuais tridimensionais.
observam-se os seguintes aspectos: ausência de cor e
visibilidade, ou seja, não é perceptível. Mas aglomerando 3. TRABALHOS RELACIONADOS
uma grande quantidade de átomos surgirão moléculas, e
estas irão se unir a mais moléculas para formar outras ainda Nesta seção serão descritos os principais trabalhos
maiores e diferentes umas das outras. A partir daí se tem relacionados à pesquisa em questão, os trabalhos foram
uma enorme variedade de compostos, e é assim que tudo classificados por ordem de relevância e também como
forma-se ao nosso redor [1]. possíveis contribuições para trabalhos futuros.
Hoje no vaivém de ensino e aprendizagem através dos
tempos, chega-se ao ensino de química, praticado nos mais 3.1. Aplicação da Realidade Virtual na Educação Química –
diferentes níveis e nas mais diferentes comunidades. O Caso do Ensino de Estrutura Atômica.
Atualmente atingiu-se uma situação em que a antipatia
supera em muito, a simpatia pelo entendimento da química. O objetivo do projeto visa desenvolver simulações de
Identificar as causas e os culpados por esta situação já alguns conceitos de estrutura atômica baseado em ambiente
ocupou as mentes dos mais diferentes tipos de profissionais. de Realidade Virtual e Realidade Aumentada, assim, o
Aparentemente, o tempo investido no diagnóstico foi muito usuário perceberá em três dimensões as simulações de
maior que aquele gasto na procura de soluções. estruturas atômicas. Dessa forma, utilizando ferramentas e
Assim, o uso da informática como um recurso dispositivos de Realidade Virtual como ferramenta didática,
pedagógico que proporcione um aumento na eficiência e na o projeto contribui para a melhoria da qualidade de ensino
qualidade do ensino de Química é ver que a mesma está Química, visto que atualmente existem recursos didáticos
vinculada à realidade da educação de seus professores e limitados em utilização nas aulas de Química no ensino
alunos, estar voltada ao alcance da superação de problemas médio [10].
no ensino e procurar identificar formas de usá-la para
constituir respostas para os problemas da educação [3].
A informática no ensino de Química, nas últimas
décadas, teve um grande avanço de diversidade de uso,
sendo utilizada em modelagens, animações, simulação, entre
outros [7].
O ensino de Química em escolas e universidades não tem
sido fácil para muitos professores. Uma das razões para essa
situação é que a Química lida com vários conceitos, alguns
dos quais, caracterizados por exigir uma alta dose de Fig. 2. Imagem do Ambiente.
entendimento que muitas vezes, está fora de alcance dos
sentidos humanos, tais como ligações entre átomos, que
3.2. Realidade Virtual no Ensino de Química: o caso do
fazem freqüentemente com que os alunos se sintam
modelo de partículas.
entediados e impossibilitados de realizarem aulas
experimentais [7].
O projeto considera a existência de poucos softwares para
Portanto, a compreensão das ligações químicas é um dos
o Ensino de Química onde o aplicativo de Realidade Virtual
pilares da Química, exigindo alto nível de abstração,
- modelo de partículas desenvolve simulação do conceito de
gerando dificuldade de entendimento por parte dos alunos e
Estrutura Atômica utilizando recursos computacionais de
professores. Este problema pode ocorrer devido a diversos
modelagem em ambiente 3D, podendo estes ser visualizados
fatores como: forma ineficaz na atividade docente, ausência
no Browser (WEB3D) e pela biblioteca de interações
de recursos necessários para o estudo ou a falta de métodos
gráficas Artoolkit. O modelo desenvolvido é baseado em
que possam despertar o interesse e curiosidade do educando
desenho de livro didático, buscando substituir a forma
[7].
estática da representação dos modelos atômicos dos livros,
A Realidade Virtual e a Realidade Aumentada podem
proporcionando ao aluno maior interação com os modelos
contribuir e melhorar representações estáticas dos modelos
de Científicos [9].
atômicos dos livros didáticos, que necessitam de alto nível
de abstração dos alunos, para a compreensão dos
fenômenos, conceitos, teorias até mesmo das próprias
representações. As simulações mostram os fenômenos como
se de fato existissem naquele exato momento,
204
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5. CHEMICAL CONNECTION
205
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
206
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
207
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
REFERÊNCIAS BIBLIOGRÁFICAS
208
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
209
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
experiências em 1ª pessoa, onde o indivíduo conhece o Em se tratando de sons, a utilização de sons estéreo
mundo através de sua interação com ele, influencia tridimensionais, aumenta a percepção espacial do
positivamente no processo de aprendizagem [6]. O uso usuário dentro do AV. Relacionado a sensação de
de simuladores dotados de recursos de RV traz o toque, estão sendo incorporados dispositivos de retorno
benefício da repetição de situações até o domínio das háptico para facilitar a interação do usuário com o AV
técnicas, já que podem ser simuladas inúmeras vezes a e torná-lo mais responsivo.
mesma situação. Outra vantagem é a possibilidade de O termo “háptico” refere-se à capacidade de sentir
colocar o treinando em situações inesperadas, sem um ambiente virtual através do tato, e é composto por
colocar em risco os equipamentos e ele mesmo. dois componentes independentes, o cutâneo,
Na próxima seção será apresentada uma responsável pelas sensações de pressão, temperatura ou
classificação sobre sistemas de realidade virtual, em dor, e o cinestésico, que é responsável pelas sensações
seguida, na seção 3, são expostos alguns trabalhos já de movimento e força [11]. As sensações providas
realizados com simuladores de veículos. A seção 4 pelos dispositivos hápticos podem ser de 4 tipos:
descreve o projeto do simulador e as etapas para seu retorno de aperto (grip feedback) que fornece ao
desenvolvimento, em seguida, na seção 5, são descritas usuário sensação de pressão; retorno de apreensão
as tarefas que já estão sendo desenvolvidas e, na seção (grasp feedback) que fornece limitação dos
6, os resultados esperados com a conclusão do movimentos do usuário em algum grau de
simulador. liberdade; retorno de força (force feedback) que cria
forças direcionais exigindo que o usuário empregue
2. Sistemas de Realidade Virtual força para realizar os movimentos; e retorno tátil ou de
toque (tactile/touch feedback), que produz estímulos
Os sistemas de RV podem ser classificados como em forma de sensação de calor, toque ou vibração
imersivos e não imersivos. O primeiro ocorre quando o [7].
usuário é transportado para o domínio da aplicação, Tanto os simuladores baseados em RV quantos os
através de dispositivos multisensoriais, que capturam híbridos fazem uso de AVs em seu desenvolvimento a
seus movimentos e comportamento e reagem a eles, já fim de fazer com que o usuário reconheça o ambiente
o segundo ocorre quando o usuário continua real nele projetado, quer seja do ponto de vista gráfico,
visualizando e sofrendo influência do mundo real [18]. ou da forma de como ele irá interagir com os
Os equipamentos mais utilizados em sistemas de RV dispositivos de entrada dados. Esta característica dos
imersiva são os óculos do tipo HMD, CAVES e sistemas é descrita em Engenharia de Software como
rastreadores de posição, já na RV não imersiva são sendo a Usabilidade do sistema, o que pode refletir no
utilizados monitores e dispositivos convencionais de sucesso ou fracasso do projeto.
interação.
Quanto aos tipos de simuladores, Zhang et al [21] 3. Trabalhos relacionados
os classifica em 3 grandes grupos: modelo físico,
baseados em RV e híbridos. Os simuladores de modelo Sistemas de RV híbridos são largamente utilizados
físico são utilizados em situações bem específicas, pois em treinamentos que exigem aprimoramento de
seus componentes são físicos e estáticos, são os mais habilidades motoras e intelectuais, entre eles, Bogoni e
realistas, e também os de maior custo de Pinho [5] apresentam um simulador de caminhão que
desenvolvimento. Os simuladores baseados em RV são permite a verificação do comportamento de motoristas
os mais flexíveis, podem representar virtualmente o de caminhão com relação à utilização de técnicas de
que se espera do mundo real e a interação com o direção de econômica. No simulador, dotado de
usuário acontece apenas no mundo virtual. Os equipamentos reais como, direção, pedais e painel de
simuladores híbridos não são tão flexíveis quanto os controle, o motorista conduz um caminhão em um
baseados em RV, mas com a utilização de ambiente virtual enquanto o sistema monitora suas
componentes físicos podem dar uma melhor sensação ações e avalia a forma como ele está dirigindo com
de toque e orientação espacial dentro do Ambiente relação à utilização de técnicas de direção econômica.
Virtual (AV). Em outro estudo, Lopes et al [9] apresentam os
Um dos grandes desafios para os desenvolvedores resultados do uso de um simulador de máquina de corte
de simuladores está em reproduzir exatamente o que o de árvores para o treinamento de seus operadores, no
usuário vê, ouve e sente durante as operações reais. No qual verificaram que o tempo de treinamento em
que tange a visualização, a utilização de imagens equipamentos reais poderia ser reduzido para os
estereoscópicas oferece imagens tridimensionais mais operadores que utilizassem o simulador. Nesta mesma
realísticas e com sensação de profundidade e distância. área de pesquisa, Ovaskainen [12] apresenta um estudo
210
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
com operadores de máquinas cortadoras de árvores que módulo de controle háptico, no qual são efetuados os
buscava identificar quais as operações poderiam ser cálculos das forças que deverão ser retornadas para os
simuladas com o uso de um simulador hibrido dispositivos físicos equipados com force feedback,
utilizando dispositivos físicos similares aos reais. realimentando os dispositivos físicos, reiniciando o
Outra iniciativa para treinamento de operadores de processo de simulação.
equipamentos pesados á apresentada por Barbosa [2],
que descreve o processo de desenvolvimento de um
simulador para treinamento de maquinistas de trens,
projeto desenvolvido pela Escola Politécnica da USP
em parceria com a empresa Vale.
4. Projeto do Simulador
Para o desenvolvimento de um sistema que atenda
às necessidades deste projeto optou-se por utilizar um
simulador híbrido composto por uma cabine de
colheitadeira real e um AV. A cabine é composta por
seus equipamentos básicos como pedais, painel de
controle, direção e alavancas de comando, com o
objetivo de familiarizar o operador com a realidade que
encontrará nos equipamentos reais. O AV será
modelado com base em uma plantação de soja com um
relevo típico de áreas mecanizadas, com os problemas
comuns que podem ocorrer em uma plantação, como
áreas de erosão, locais com ervas daninhas e plantas Figura 1 - Configuração física do simulador
com doenças que não devem ser colhidas.
A Figura 1 apresenta um croqui do simulador,
demonstrando os equipamentos reais que serão
utilizados e o correto posicionamento do usuário dentro
do simulador.
A fim de proporcionar ao usuário uma visão global
do AV, ele utilizará um HMD com exibição de
imagens estereoscópicas. Como o usuário estará imerso
no AV, assim perdendo a noção de seu posicionamento
dentro do ambiente real, os dispositivos reais de
interação e um avatar do usuário também serão
representados dentro do AV. Objetivando manter a
Figura 2 - Arquitetura do simulador
relação de posicionamento espacial do usuário com seu
avatar, será realizado o rastreamento da cabeça, das
Para um melhor acompanhamento do
mãos e dos pés do usuário.
desenvolvimento do projeto, este foi dividido em 6
A arquitetura básica do simulador (Figura 2),
etapas básicas, que são apresentadas nas próximas
identifica o fluxo de comunicação entre os diversos
seções.
componentes do simulador. Quando o usuário interage
com os dispositivos de interação os dados referentes
4.1. Definições do simulador
acionamento de comandos, pressionamento de pedais,
controle da direção e posição de rastreamento das mãos
Nesta etapa são definidas as operações de uma
e pés do usuário são enviados para o módulo de
colheitadeira que podem ser simuladas, a estrutura do
interface de comunicação, que envia estes dados para
terreno onde a simulação irá acontecer e o tipo de
a engine responsável pelo controle do render gráfico
cultura que será utilizada na simulação.
do AV, que por sua vez, atualiza a saída gráfica, de
acordo com a visão do usuário em seu HMD e, envia
dados referentes ao controle de colisão e do 4.2. Construção do setup físico do simulador
posicionamento do usuário no AV de volta a interface
de comunicação, que encaminha estes dados para o Esta etapa é composta pela montagem de uma
cabine que imite a cabine de uma colheitadeira e pela
211
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
212
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
contrária ao movimento do usuário, sendo controlado Virtual e Aumentada. 1 ed. Porto Alegre-RS: Sociedade
através da interação com o terreno do AV, e, as Brasileira de Computação, 2009, v. 1, p. 53-68. 2009.
alavancas de acionamento das plataformas de corte e [7] Farias, T.; Silva, D.; Moura, G. de S.; Teixeira, J.; Costa,
descarregamento da colheitadeira serão equipadas com L.; Dias, G.; Teichrieb, V.; Kelner, J. Um Estudo de Caso
dispositivos do tipo Novint Falcon Controller [10] para sobre a Construção e a Integração de Dispositivos Hápticos
proporcionar reações de force feedback. com Aplicações Interativas. In: Brazilian Symposium on
Computer Games and Digital Entertainment, 2006, Recife. V
Brazilian Symposium on Computer Games and Digital
6. Resultados Esperados Entertainment, 2006.
[8] Freitas, E. Economia de Mato Grosso. 12/05/2008.
Do ponto de vista econômico, espera-se que ao ser
Disponível em: http://www.mt.gov.br/wps/wcm/connect /e-
utilizado o simulador de colheitadeira durante o Matogrosso/Estado/Informa%C3%A7%C3%B5es/
processo de ensino-aprendizagem seja possível Economia+de+Mato+Grosso. Acesso em 16/04/2010.
incrementar as habilidades dos operadores treinados,
[9] Lopes, E. S.; Cruziniani, E.; Araujo, A. J.; Silva, P. C. da.
fazendo com que os problemas nos equipamentos Avaliação do treinamento de operadores de harvester com
causados por mau uso sejam minimizados e sua uso de simulador de realidade virtual. Rev. Árvore [online].
produtividade maximizada, além de desenvolver novas 2008, vol.32, n.2, pp. 291-298.
tecnologias para serem utilizadas neste tipo de projeto
[10] Novint Falcon Controller. Disponível em:
visando para aumentar sua eficiência e reduzir os http://home.novint.com. Acessado em 24/08/2010.
custos relacionados a equipamentos e ao tempo de
[11] Oakley, I.; McGee, M. R.; Brewster, S.; Gray, P.
desenvolvimento das aplicações.
Putting the feel in ’look and feel‘. In Proceedings of the
Do ponto de vista científico, o desenvolvimento SIGCHI Conference on Human Factors in Computing
deste projeto pretende apresentar uma metodologia Systems (The Hague, The Netherlands, April 01 - 06, 2000).
para o treinamento de operadores de colheitadeiras e os CHI '00. ACM, New York, NY, 415-422. 2000.
resultados obtidos com a aplicação desta metodologia, [12] Ovaskainen, H. Comparison of Harvester Work in
sendo possível com isto melhorar o processo de Forest and Simulator Environments. Silva Fennica, V 39 (1)
treinamento dos operadores. pp. 89-101. 2005.
[13] Petridis, P.; Dunwell. I.; Freitas, S. de; Panzoli, D. An
7. Agradecimentos Engine Selection Methodology for High Fidelity Serious
Os autores gostariam de agradecer à Fundação de Games. Games and Virtual Worlds for Serious Applications,
Amparo a Pesquisa do Estado de Mato Grosso Conference in, pp. 27-34, 2010 Second International
(FAPEMAT), por financiarem esta pesquisa (Auxilio a Conference on Games and Virtual Worlds for Serious
Projeto de Pesquisa, nº. 296948/2010). Applications, 2010.
[14] Quest3D. Disponível em: www.quest3d.com. Acessado
8. Referências em: 02/08/2010.
[15] Ribeiro, D. D.; Mendonça, M. R.; Hespanhol, A. N.
[1] Autodesk 3ds Max Products. Disponível em: Relações de trabalho na agricultura mecanizada: a
http://usa.autodesk.com/adsk/servlet/pc/index?id=13567410 monocultura da soja em Goiás. Scripta Nova Revista
&siteID=123112. Acessado em: 02/08/2010. Electrónica de Geografía y Ciencias Sociales, Universidad de
Barcelona, v. 6, n. 119, p. 741-98, ago. 2002.
[2] Barbosa, R. S. Simulador de trens nacional aprimora
capacitação de maquinistas. Agência USP de Noticias, São [16] Silva, R. J. M. Integração de um Dispositivo Óptico de
Paulo, 10 jan. 2009, p. 1-2, 10 jan. 2009. Rastreamento a uma Ferramenta de Realidade Virtual. Tese
de Mestrado DI/PUC-Rio. 2004.
[3] Blender. Disponível em: http://www.blender.org.
Acessado em: 02/08/2010. [17] Sveistrup H. Motor rehabilitation using virtual reality. J
Neuroengineering Rehabil. 2004;1(1):10.
[4] Blender. Disponível em: www.blender.org. Acessado em:
30/08/2010. [18] Tori, R.; Kirner, C.; Siscouto, R.. Fundamentos e
Tecnologia de Realidade Virtual e Aumentada. In: VIII
[5] Bogoni, T. N.; Pinho, M. S. Sistema para Monitoramento
Symposium on Virtual Reality. Pará, pp. 22-38, 2006.
de Técnicas de Direção Econômica em Caminhões com Uso
de Ambientes Virtuais Desktop. In: XI Symposium on [19] Unity3D. Disponível em: http://unity3d.com. Acessado
Virtual and Augmented Reality, 2009, Porto Alegre. em: 02/08/2010.
Proceedings SVR 2009. Porto Alegre : SBC, 2009. p. 103- [20] Unreal Development Kit. Disponível em:
113. http://www.udk.com. Acessado em: 02/08/2010.
[6] Cardodo, A.; Lamunier Júnior, E. A. Aplicações de RV e [21] Zhang, Y.; Phillips, R.; Ward, J.; Pisharody S. A
RA na Educação e Treinamento. In: Rosa Maria Costa; survey of simulators for palpation training. Stud Health
Marcos Wagner S. Ribeiro. (Org.). Aplicações de Realidade Technol Inform 2009;142:444-6. 2009.
213
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Keywords - Physics, Optics, Geometry, Mirror, Os critérios utilizados para análise dos trabalhos
Virtual Reality. relacionados basearam-se na utilização da Realidade
Virtual em ambientes de aprendizagem. Desta forma
1. INTRODUÇÃO são apresentados trabalhos que também são exemplos
de implementações que apresentaram bons resultados
Com a grande dificuldade de aprendizado na em avaliações, auxiliando na construção do
disciplina de física, alguns mecanismos de abstração
214
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
conhecimento nas respectivas áreas de atuação dos ser visualizadas várias situações envolvendo campo
ambientes. magnético e elétrico [6].
Uma ferramenta para o auxilio ao Ensino da
Astronomia - O trabalho tem como base o estudo de 3. METODOLOGIA UTILIZADA
caso do Sistema Solar. A pesquisa foi desenvolvida
tendo como premissa melhorar o ensino deste conteúdo A metodologia utilizada na criação deste projeto foi
no ensino médio. baseada em dificuldades, curiosidades e problemas
O Software utiliza a interface Web, por meio da abordados por alunos e professores, da rede pública de
linguagem VRML, com modelagem simples com ensino, na disciplina de Física. Foi empregado um
interatividade [2]. questionário em que explicitaram sua opinião sobre o
aprendizado dos conteúdos. Nos resultados foram
LVCE – Laboratório Virtual de Circuitos observadas dificuldades em visualizar os fenômenos
Elétricos - O LVCE é um ambiente que utiliza a em imagens estáticas representadas em livros e
linguagem VRML e JAVASCRIPT para construção de desenhos, em que a compreensão e o aprendizado
circuitos elétricos em série e paralelo. O ambiente ficam comprometidos pela falta de interação e
possui objetos com alto nível de realismo, participação dos alunos com esses meios. Uma
possibilitando a visualização em três dimensões e abordagem que pode solucionar os problemas são as
interação. O objetivo do software é o ensino de aulas em laboratórios de informática, onde animações,
circuitos elétricos, possibilitando que o usuário faça a simulações com capacidades interativas estabelecem
montagem de circuitos, com componentes elétricos uma ligação mais estreita com os fenômenos estudos na
(fios, multímetro, resistores e bateria) [3]. física. No entanto, especificamente na óptica
geométrica, não existe um farto acervo de softwares
Laboratório Virtual para experimento de Física que podem realizar a virtualização do processo
– Sistema desenvolvido por meio da linguagem VRML produzido pela óptica.
permitindo disponibilidade de uso na Internet. A Estão sendo atualmente desenvolvidas muitas
ferramenta produzida simula um laboratório de aplicações em Realidade Virtual para o processo de
experimentos de Física. O trabalho é voltado para ensino-aprendizagem, obtendo resultados satisfatórios.
ensino tanto presencial quanto a distancia, permitindo Essas experiências foram levadas em consideração na
ao usuário que faça modificações nos experimentos. A elaboração do sistema.
pesquisa mostra uma grande adaptação do software as
necessidades do usuário, podendo aproveitar um 3.1 Estudo de Caso (Óptica Geométrica da Reflexão
mesmo ambiente para estudo de vários fenômenos em Espelhos)
físicos [4].
A Óptica Geométrica é uma área da Física que
Ensino do Processo da Fotossíntese - Este projeto estuda a luz e os fenômenos luminosos, sem se
teve como objetivo a elaboração de uma aplicação importar com a natureza da mesma. Compreende o
modelada em OPENGL, usando o padrão CORBA para estudo das fontes de luz, propagação da mesma,
distribuição dos ambientes virtuais, criando em rede reflexão e outras.
uma relação entre duas (Biologia e Química) A propagação da luz pode ser representada por meio
representações de um mesmo ambiente real. A parte de linhas orientadas denominadas “raios de luz”, que
biológica apresenta simulações utilizando elementos indicam direções e sentidos de propagação. Pelo
naturais necessários à realização da Fotossíntese como principio da propagação retilínea em meios
plantas, luz, água e minerais. No processo químico são transparentes e homogêneos os raios de luz são
apresentadas as reações no interior das folhas, por meio retilíneos. Feixe de luz é um conjunto de raios de luz
de uma visualização microscópica do fenômeno [5]. escolhidos numa região em que a luz se propaga.
A reflexão é o fenômeno ótico que ocorre quando a
VRML Gallery of Electromagnetism – O trabalho luz incide numa fronteira separada de dois meios
resultou no desenvolvimento de ambientes em VRML, ópticos e retorna ao meio de onde veio. Por meio de
de forma que o usuário tenha uma variedade de representação em raios de luz pode-se estudar
experimentos eletromagnéticos que possam ser geometricamente a formação de imagens refletidas de
observados, com restrições de modificações de objetos. Na reflexão, a sensação de tamanho sofre
propriedades físicas dos fenômenos. Portanto podem interferência da distância do observador da imagem,
pois, quanto mais próximo, maior será a perspectiva
215
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
216
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
REFERÊNCIAS BIBLIOGRÁFICAS
217
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 11
APLICAÇÕES MÉDICAS
218
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Lucas Abrahão1 , Jean-Baptiste Gagnepain1,2 , Kenedy Nogueira1 , Edgard Lamounier1 , Alexandre Cardoso1
1
Universidade Federal de Uberlândia
2
INSA Rouen, France
Abstract prosthesis is not easy. First of all, you need access to the ap-
plication. This is why one of the objectives of this research
Research in Virtual and Augmented Reality applied to is to create a web application usable on-line, and thus
biomedicine has been deeply investigated in recent years. increase the application’s portability and mobility. Second
The application to upper limb prosthesis is a wide field. of all, it is the difficulty involved in the use of such applica-
Traditionally virtual upper limb prosthesis is a desktop ap- tions, and it is often required to spend an adaptation period
plication, used for training in rehabilitation centers. before using correctly the application, and this might repel
Thus, this article reports on the use of Augmented Reality the patient. But this difficulty is mostly caused by the sig-
(AR) in a web-application. The objective here is to create a nal processing tools that were used to control the prosthesis.
home based training environment.
1 Introduction
2 Related work
The purpose of this research project is to support AR
simulation of upper limb prosthesis, through the internet.
Virtual Reality is a field of computer science that works
Most of the previous researche that used Virtual and
with 3D modelling in an environment build by computers.
Augmented Reality focused on the control with electromyo-
Augmented Reality has proved to be an efficient tool for
graphic signals (EMG) of upper-limb prostheses, in a desk-
Health and Medicine desktop applications [7, 4]. For this
top architecture [7, 4, 1]. The technical university of Cluj-
project, the real environment is provided by a webcam, and
Napoca presented a paper [1] about classification technique
the objective is to allow the user to interact with a virtual
of surface electromyographic signals, based on neural net-
arm prosthesis by the intermediate of different signals.
works. The system presented in [4] works with a hand pros-
From a biomedical point of view, a virtual prosthesis has
thesis controlled by EMG signals, and presents a training
advantages and disadvantages compared to real prosthesis.
and practising process in order to use the prosthesis more
But the goals are different: the virtual prosthesis does not
easily. The article presented at [7] focused on a mechanism
replace an arm in a daily way. It enables the patient to
intended to help the patient during the training period, since
train with a prosthesis, and it is important for his rehabil-
it can be long and tiring. It results in a very easy-to-use sys-
itation. Thus, virtual prosthesis has a first advantage: the
tem that can greatly reduce the period of the training stages.
small amount of time needed to manufacture it. Indeed, a
The Lund Institute of Technology, presented this article [6]
real prosthesis must be customized for the patient, accord-
about real time control of a virtual hand. It shows tests ex-
ing to his age, weight, size, and other important factors. It
ecuted on healthy subjects with a virtual hand, in order to
is not possible therefore to use this type of prosthesis dur-
improve the accuracy and to minimize the delay on a set of
ing a time interval in which the Augmented Reality pros-
ten movements.
thesis is available. A second advantage exists for patients
who were victims of an accident. During the recovery pe- The work in [2] introduces Augmented Reality for upper
riod it is impossible to apply weight on the injury, or expose limb prosthesis simulation. To allow a better immersion of
it to friction. That is why an Augmented Reality prosthe- the patient, the author made an application where EMG sig-
sis is useful, because contact with the patient is made only nals were captured, classified in real time processing, and
through the markers and electrodes. then Augmented Reality helps the patient to visualize the
On the other hand, using an Augmented Reality arm prosthesis.
219
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
3 The proposed system In order to allow the user to interact with the system, the
CheckBox tool was used. The CheckBox tool is adapted,
3.1 Methodology since this component allows you to click on one of the but-
tons, and the appropriate event will start. One can distin-
guish four buttons of CheckBox type on this application:
The application was based on the work of Kenedy one for each of the movements. At this point, the user
Nogueira’s master thesis [3]. But it needed to work on was able to choose which movement he wanted the Aug-
internet in order to increase mobility of the application, mented Reality environment to show him, and thus switch
so a greater number of people can use it. The Flartoolkit the graphical component.
technology allows us to implement Augmented Reality in a To simulate the arm movement an algorithm has been
Flash application with Actionscript 3 and XML languages. developed, which use the EMG signals from a file and send
With the help of Flex Builder 3’s profiler, a canvas ob- them to the AR web environment.
ject was added and linked to the webcam. Then the an-
imation of the arm was implemented. Four movements: 3.2 The classification algorithm
pronation, supination, flexion and extension was designed
in Augmented Reality. Usually, 3D objects are created in An Artificial Neural Network (ANN) is a mathemati-
VRML (Virtual Reality Modelling Language). This is pro- cal model, whose representation is an oriented graph. The
posed since the objects files are not heavy, and it is very nodes represents the artificial neurons, and the edges repre-
useful on internet. Figure 1 shows the VRML version of sents the connexions between those neurons.
the Virtual Reality arms. However Flartookit only accepts The ANN treatment is an adaptation of the master thesis
the Collada format which is an open standard digital asset [3]. For the limits cases: the 25 groups of characteristics are
schema for interactive 3D applications. randomly send to the ANN. After the process is finished, the
same signals were sent to the network so they can be recog-
nized. We can see that the ANN was able to learn all the
signals of all the groups of motions, trained with the varia-
tion of each limits, and the analysis of models of contraction
(dynamic or static).
After the computation of the coefficients, the ANN receive
and classify the motions.
An example of architecture of ANN with Multiple Layer
Perceptron (MLP) is shown on Figure 2. Notice that in this
case, the network has a layer of neurones in input who re-
ceive the coefficients AR, an internal layer, and an output
layer who classify the motions.
Here is the algorithm used to sum up the data collected
from the signal into four points, and then choose a motion
characteristic of those points.
Figure 1. The VRML version of the four arm 5- Actualize the coefficients to the AR model:
movements
am (n + 1) = am (n) − 2µe(n)y(n − m)
220
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
3.3 Flartoolkit
221
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
the browser using the Flash Player plug-in. Usually, this in the text area beneath the buttons. It then pass in the al-
SWF file holds only the client-side business logic. If data gorithm seen in 3.2, so the motion can be selected. On the
are need (from a database for example) the Flex application right part of the interface the virtual environment is shown.
makes a request for those data. The server sends only the It is composed by the scene, the webcam can record and the
data (this can be in XML, JSON, AMF3 format), and the virtual object on the marker. Figure 7 shows the system ar-
client knows how to represent this data visually. What
happens here is a service-oriented architecture: the Flex
application is the client that can consume data services
from the server. The application can change state without
refreshing the page or reloading the SWF file in the
browser. The application is a client that can do more than
“just” render data. Thus using Flex and Flash Player it
is possible to create almost anything that makes sense to
deploy on the web, from games to applications, to widgets
that are integrated within “classic” web applications, and
more (see Figure 5).
222
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
References
223
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
224
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
As deformidades dos ossos da face podem se Esta ferramenta permitiu uma diminuição da
originar de distúrbios de crescimento, síndromes e exposição do paciente às radiações, e esta redução no
anomalias específicas, traumas na face, ou serem de número de projeções para a reconstrução 3D não
origem genética, dentre outros fatores. Essa alteração resultou em uma perda de precisão dimensional. As
pode estar localizada em um osso, como na medições com CBCT são consistentes entre as
prognatismo mandibular (mandíbula grande) ou no seqüências e digitalizações diretas para medições entre
retrognatismo mandibular (mandíbula pequena), sendo pontos marcados de referência. [7]
que muitas vezes é um problema combinado, Morfometria tridimensional (3D) da face: a
associando o maxilar superior à mandíbula (fig1). A antropometria facial desempenha um papel importante
correção das deformidades faciais através da cirurgia no diagnóstico de diversas áreas que trabalham com as
ortognática traz grandes benefícios aos pacientes estruturas da face (Odontologia, Cirurgia Plástica e
operados, com sensível melhora na relação entre os Craniomaxilofacial, Otorrinolaringologia), e estão
dentes, músculos e ossos, até mesmo na respiração e interessados em novas tecnologias que auxilie em um
fonação. Ter o queixo para frente ou para trás causa diagnóstico correto e na preparação do plano de
problemas funcionais graves, como apneia, dores na tratamento de pacientes que serão submetidos a
musculatura do rosto, na posição da língua e da tratamentos ortodônticos, cirurgias ortognáticas,
articulação temporo-mandibular (ATM articulação na cirurgias plásticas da face, diagnóstico de malformações
frente dos ouvidos), enxaquecas e até disfunções congênitas ou adquiridas e pesquisas morfométricas.
estomacais (devido à mastigação incorreta). A marcação de pontos craniométricos representa
uma ligação entre a antropometria convencional e a
digital: a identificação dos pontos faciais (antropometria
convencional) utiliza paquímetros, réguas
cefalométricas, etc., para realizar as medições.
Fundamentalmente, a antropometria digital capta as
posições dos pontos, e usam as coordenadas X, Y e Z
para cálculos baseados na geometria euclidiana:
distâncias lineares e ângulos. Com estes resultados e as
Fig. 1 Possibilidades de movimentação óssea cirúrgica. medidas clássicas, cálculos matemáticos e geométricos
Fonte: biosphera.com.br permitem análises mais complexas como: estimativas
III. CENÁRIO ATUAL - TECNOLOGIA NO de volume, área da superfície, análises de simetria,
AUXÍLIO DA CIRURGIA ORTOGNATICA avaliação de formas, utilizando os mesmos pontos já
computados.
São várias as ferramentas em desenvolvimento ou Os dois grupos principais de instrumentos utilizados
em aperfeiçoamento para atender as necessidades da na antropometria facial em 3D são: instrumentos de
Ortodontia, sempre em busca de uma maior precisão na contato (digitalizadores eletromagnéticos e
análise dos problemas, e conseqüentemente em eletromecânicos, sondas ultrassônicas) e instrumentos
melhores resultados. Percebe-se nitidamente os grandes ópticos ou de não-contato (laser scanner, óptico-
investimentos que consultórios e clinicas odontológicas eletrônicos, topografia Moiré, estereofotogrametria),
tem feito em equipamentos de ultima geração. eliminando o risco de compressão cutânea, evitando
Podemos observar algumas tecnologias já testadas danos ou erros na mensuração. Um método de análise
por várias instituições especializadas na área. morfométrica quantitativa ideal para a avaliação de
As imagens 3D permitem precisão e confiabilidade pacientes deve ser não-invasivo e nem nocivos, não
nas medidas lineares entre pontos cefalométricos, provocar dor ou desconforto aos pacientes; de baixo
visualizado na figura 2, utilizando feixes de tomografias custo; rápido (obter informações através de técnicas
volumétricas cone bean computadorizada 3D (CBCT). simples e que capta e armazene os dados digitais 3D da
morfologia facial); possibilitar a criação de um banco
de dados e a visualização, simulação e análise
quantitativa do tratamento.
225
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
226
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
227
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
da anatomia crânio facial, capturadas através de pontos (pontos projetados), gerando assim a imagem
Tomografias Computadorizadas Cone Bean, sugerida na figura 12. São essas definições dos pontos
Ressonância Magnética e sistemas de cameras digitais projetados que determinam o resultado esperado ao
médicas 3D. final da cirurgia.
O apelo visual da simulação computadorizada sana
as deficiências do profissional ao apresentar o caso ao
paciente, que era realizada com o auxílio de traçados
cefalométricos, modelo de estudo e fotografias de
outros pacientes tratados, de difícil entendimento para
um leigo. Além disso, a possibilidade de se realizar
planejamentos ortocirúrgicos com maior facilidade e
precisão tornou este método mais utilizado e estudado
nos últimos dez anos.[1]
V. PROSPECÇÃO DA PESQUISA. Fig. 12 – Radiografia com marcações atuais e
O objetivo desta pesquisa é desenvolver um software projetadas[10]
utilizando a realidade virtual e a realidade aumentada
3) Fusão da parte óssea com a imagem capturada do
para que o cirurgião e também o próprio paciente
paciente utilizando RA.
consigam visualizar o resultado projetado de uma
cirurgia ortognática. A solução foi idealizada e dividida
em quatro grandes etapas, descritas a seguir:
1) Carregamento de uma radiografia
228
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A partir dessas definições, é a fase em que o paciente Sociedade Brasileira de Informática em Saúde”, X
apresentando-se novamente para a câmera e com um Congresso Brasileiro de Informática e Saúde.
marcador em um ponto definido na lateral de seu rosto, Campos do Jordão, São Paulo, 2007. 29 – 3 dez.
figura 14, poderá visualizar sua face em uma realidade [3] G. Cericato; D. Garbin; A. Fernandes “Uso dos
projetada e aumentada, ou seja, espera-se nesse Sistemas Especialistas em Odontologia”,
momento que seja possível visualizar qual seria o CBIS'2006. Costão do Santinho, Florianópolis, SC,
resultado esperado da cirurgia, visualizado na figura 15. 14-18 de outubro,
[4] Folha Online Home Page,
<http://www1.folha.uol.com.br/folha/ciencia/ult306
u585704.shtml> - Acessado em: 15/07/2010
[5] M.A.F. Rodrigues, W.B. Silva, , M.E.B. Neto. “Um
Sistema de Realidade Virtual para Tratamento
Ortodôntico”. In: Mestrado em Informática
Aplicada – Universidade de Fortaleza, Fortaleza-
CE, 2006.
[6] R Santin; C. Kirner, “Detecção em tempo real de
objetos em vídeo usando Realidade Aumentada”.
Fig. 15 – posicionamento da malha na fase para permitir In: Anais do WRA`2005 – II Workshop de
a modificação da imagem. Realidade Aumentada, 2005, Piracicaba, SP, v1,
p.25-28.
A intenção é que os movimentos do paciente sejam
[7] A.A. Brown; W C. Scarfe; at al. “Precisão da
acompanhados pela imagem projetada (VTO). Nessa
tomografia linear Cone Beam CT derivadas de
última etapa ainda é possível escolher entre duas formas
imagens 3D”. In: Angle Orthodontist, artigo de
distintas de visualização, uma refletindo a parte óssea, e
2009, University of Louisville School of Dentistry,
outra focada nas modificações dos tecidos da face
Louisville, Ky.
(lembrando e enfatizando que é uma visualização do
[8] M. Menezes; C. Sforza; “Morfometria
resultado esperado e não exatamente o que poderá
tridimensional (3D) da face”. In: Artigo 2010,
ocorrer).
Dental Press Journal Orthodontics, Departamento
de Morfologia Humana e Ciências Biomédicas da
VI. CONCLUSÕES E TRABALHOS FUTUROS Universidade de Milão, Itália.
Nota-se que a através da aplicação da Realidade [9] M C Metzger; B H. Schwarz; M. Teschner; B.
Virtual e Aumentada, é possível contribuir de forma Hammer; R. Schmelzeisen. “Fabricação de Splints
significativa para que novas técnicas de simulação de para Cirurgia Ortognática Utilizando Impressora
resultados para cirurgia ortognática sejam Tridimensional”. In: Artigo 2008, Revista Oral
desenvolvidas, com o grande objetivo de tornar simples Surgery, Oral Medicine, Oral Pathology, Oral
e menos intrusivo do que muitas das técnicas atuais. É Radiology & Endodontics, Freiburg, Germany; and
visto que existe um campo enorme de aplicação para Aarau, Switzerland Albert-Ludwig University
novas técnicas, dada a pouca oferta de tecnologias Freiburg and Hirslanden Medical Center.
aplicáveis e o grande número de pessoas com [10] C.M.M. Gimenez, F. Bertoz, at al. “Avaliação
problemas que podem ser tratados com ajuda da cefalométrica do perfil mole de pacientes face
cirurgia ortognática. longa submetidos à cirurgia ortognática: estudo
Como trabalho futuro, pretende-se desenvolver retrospectivo”. In: Rev. dental press ortodon.
técnicas de Realidade Aumentada imersiva, para uma ortopedi. facial; vol.11(6): 91-103, Maringa - PR,
melhor simulação e controle por parte do cirurgião nov.-dez. 2006.
dentista. [11] A. Farman; C. Levato; W. Scarfe; J. Mah.
“Education in the round: multidimensional imaging
VII. REFERÊNCIAS BIBLIOGRÁFICAS in dentistry”. Inside Dentistry. Louisville, Kentucky
January 2008, (1):39-41
[1] A.T.S. da Motta, I.H.P. Brunharo, at al., [12] M.de O.Ribas, L.F.G. Reis, B.H.S. França, A.A.S.
“Simulação computadorizada do perfil facial em de Lima. (2005). “Cirurgia ortognática: orientações
cirurgia ortognática: precisão cefalométrica e legais aos ortodontistas e cirurgiões bucofaciais”. R
avaliação por ortodontistas”. In: Rev Dental Press Dental Press Ortodon Ortop Facial. v. 10, n. 6, p.
Ortodon Ortopedi Facial; Maringa – PR, set./out. 75-83, Maringá – PR, nov./dez. 2005
2007, vol.12, n. 5, p. 71-84,. [13] Site da Dolphin Imaging Featuring 3D:
[2] F. Costa; L. Pietrobon; M. Fadel; G. Filho, http://www.dolphinimaging.com/3d.html.
“Utilização da Realidade Virtual em Odontologia.
229
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
230
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
dada classificação conhecida). Uma vez treinada, uma rede entrada da rede neural. Para tal, a solução adotada neste tra-
LVQ classifica um vetor de entrada atribuindo a ele a classe balho foi realizar a extração de características do sinal EMG
representada pela unidade de saída que contém o vetor de mapeando-o em um vetor de menor dimensão, denominado
pesos mais semelhante ao vetor de entrada. LVQ é uma téc- vetor de características. Alguns estudos, como Englehart
nica de aprendizado supervisionado na qual as informações [3] e Zecca [16] propõe diferentes abordagens para se au-
referentes a uma dada classe são usadas para se mover os mentar a performance de classificação da rede a partir da
vetores de pesos das unidades de saída, melhorando-se as redução dimensional do vetor de entrada.
regiões de decisão do classificador [5]. Inicialmente, foi realizado o janelamento dos sinais ob-
Este trabalho apresenta um protótipo de ambiente de trei- tidos, com o objetivo de se selecionar apenas intervalos que
namento em RV que possibilita a simulação e o controle de contêm informações relevantes para o processamento. Os
próteses virtuais de mão utilizando Redes Neurais Artifici- intervalos de janelamento foram determinados a partir da
ais como técnica de classificação. Um sinal EMG é clas- análise visual de cada um dos sinais coletados, uma vez que
sificado pela rede e, a partir da classificação obtida, uma foi possível diferenciar facilmente os intervalos com infor-
prótese virtual é controlada realizando quatro movimentos mações relevantes dos demais intervalos.
diferentes: preensão, flexão do punho, extensão do punho e Após o janelamento, foi realizada a segmentação dos si-
torção. nais. Foram utilizados segmentos de 40 amostras, analo-
gamente ao procedimento realizado por Herle [6]. Como
2. Materiais e métodos o comprimento da janela é diferente para cada movimento
realizado, obteve-se um número variado de segmentos para
Neste trabalho, foi utilizada uma rede LVQ com 5 unida- cada movimento (de 4 a 7 segmentos por movimento). Para
des de entrada (devido às 5 características analisadas, apre- testar a capacidade de generalização da rede, foi criado um
sentadas na Seção 2.1) e um número variado de unidades de novo segmento formado pelos valores médios de cada uma
classificação (clusters). Foram testados diferentes números das característica observadas nos segmentos anteriores, para
de unidades de classificação, obtendo-se resultados satisfa- um mesmo movimento.
tórios (eficiência média superior a 80%) com 80 unidades Para cada segmento, foi realizada a extração das seguin-
(20 unidades para cada classe de movimento). O cálculo tes características: média dos valores absolutos (Mean Ab-
de eficiência utilizado será abordado mais detalhadamente solute Value - MAV), inclinação da média dos valores ab-
na Seção 2.2. A Figura 1 apresenta a arquitetura da rede solutos (Mean Absolute Value Slope - MAVS), cruzamentos
utilizada neste trabalho. em zero (Zero Crossing - ZC), alterações no sinal da incli-
nação (Slope Sign Changes - SSC) e comprimento de forma
de onda (Waveform Length - WL) [7].
MAV representa a média dos valores absolutos das
amostras do segmento analisado. A Equação 1 é utilizada
para calcular este valor [7].
1 X
S
x̄i = |xm |, (1)
S m=1
231
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
trabalho foi utilizado um limiar ǫ = 10−6 . O contador de segmentos não excedeu 86% (para 80 unidades de classifi-
cruzamentos em zero é incrementado quando a condição cação), o que representa um baixo rendimento em relação
aos resultados obtidos por Herle [6] para classificação de
{xm > 0 e xm+1 < 0} ou movimentos do braço.
Com o objetivo de se avaliar a influência de cada uma
{xm < 0 e xm+1 > 0} e (3) das 5 características extraídas do sinal no desempenho final
|xm − xm+1 | ≥ ǫ da rede, foram realizados testes com diferentes combina-
ções das 5 características. Por exemplo, em um dos testes,
é satisfeita para duas amostras consecutivas xm e xm+1
foram utilizados somente a MAV e o ZC como parâmetros
[6].
de entrada. Em outro teste, foram utilizados os parâmetros
As alterações no sinal da inclinação SSC possibilitam
MAV, SSL e WL. No total, foram realizados 10 testes com
uma outra medida do conteúdo em frequência do sinal. O
2 parâmetros de entrada, 10 testes com 3 parâmetros de en-
mesmo limiar utilizado no contador ZC foi aplicado ao con-
trada e 5 testes com 4 parâmetros de entrada. No entanto,
tador SSC, que é incrementado quando a condição 4 é ver-
em nenhum destes testes foi observada melhoria significa-
dadeira para três amostras consecutivas xm−1 , xm e xm+1
tiva em relação aos primeiros testes realizados (utilizando
[6].
todos os 5 parâmetros de entrada).
Após a extração de características dos sinais coletados, Neste trabalho, foi desenvolvido um protótipo de aplica-
foram realizados alguns experimentos para se avaliar a in- ção que possibilita ao usuário a configuração e o teste de
fluência dos diversos parâmetros de configuração no treina- uma rede neural LVQ aplicada ao controle de uma prótese
mento da rede neural. Os parâmetros analisados foram: nú- de mão em um ambiente virtual. Este protótipo é apresen-
mero de unidades de classificação (clusters), taxa de apren- tado na Figura 3.
dizagem (α), tolerância e taxa de decaimento de α. O braço virtual utilizado para representar a prótese neste
Nestes experimentos, após o treinamento da rede, esta trabalho foi adaptado do modelo original desenvolvido por
foi testada tendo como entrada os padrões de treinamento. Kator e Legaz [8], licenciado em Creative Commons 3.0
A partir dos resultados obtidos, foi calculada a eficiência da [1]. Após a segmentação do modelo original, a partir dos
rede para cada classe de movimento, correspondente à razão requisitos deste trabalho, foi adaptada uma armadura de 22
entre o número de acertos e o número total de padrões de ossos ao modelo virtual, para possibilitar a animação deste
treinamento para aquela classe, como mostra a Equação 6. modelo nos 4 movimentos analisados. Esta armadura é
apresentada na Figura 4.
Nacertos A interação do paciente com o ambiente virtual de treina-
E= (6)
Ntotal mento é feita através da interface de classificação dos sinais
Nestes experimentos, foram obtidos resultados satisfató- EMG. Quatro movimentos de mão são executados no am-
rios. Porém, a eficiência média obtida na classificação dos biente virtual: preensão, extensão, flexão do pulso e torção.
232
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
233
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
• Aquisição: módulo responsável pela aquisição dos si- Utilizando a técnica de classificação apresentada na Se-
nais EMG, função implementada pelo eletromiógrafo. ção 2.3, em alguns dos testes realizados, a rede classificou
corretamente 19 dos 20 padrões analisados para um dos in-
• Processamento: extração de características, armazena-
divíduos, atingindo uma eficiência de 95% na classificação.
mento e classificação dos sinais eletromiográficos.
Deve-se ressaltar no entanto que este resultado foi obtido
• Resposta: movimentação da prótese virtual de acordo utilizando-se um número grande de unidades de classifi-
com a classificação obtida no módulo de processa- cação (20 unidades por classe, totalizando 80 unidades de
mento. classificação). Utilizando 40 unidades de classificação (10
unidades por classe), não foram obtidos resultados com efi-
Os sinais EMG coletados utilizando o eletromiógrafo fo- ciência superior a 80% (16 dos 20 padrões classificados cor-
ram armazenados em disco. A seguir, um sistema de extra- retamente).
ção de características realiza o processamento destes sinais,
armazenando os resultados deste processamento (vetores de
características) em uma base de dados. Por fim, estes veto- 4. Conclusões e trabalhos futuros
res de características são usados para treinar uma rede neu-
ral artificial. Uma vez treinada, a rede neural é capaz de Neste trabalho, foram utilizadas redes neurais artificiais
classificar os vetores de características em sua entrada, con- para a classificação de sinais EMG, visando o controle de
trolando uma prótese de mão em um ambiente virtual. A uma prótese de mão em um ambiente de Realidade Vir-
Figura 7 apresenta 4 exemplos de vetores de características, tual. As técnicas utilizadas para extração de características
cada vetor representando um dos movimentos. dos sinais apresentaram resultados satisfatórios, permitindo
à rede classificar os sinais analisados de forma rápida e com
uma eficiência de até 95%.
A técnica de segmentação utilizada para classificação
dos sinais neste trabalho possibilitou um aumento na efi-
ciência do sistema de classificação. No entanto, deve-se
ressaltar que, para aplicações em tempo real, o tempo de
resposta da rede pode não satisfazer aos requisitos tempo-
rais do sistema (requisitos de resposta em tempo real). Uma
análise do desempenho desta técnica em sistemas em tempo
real constitui uma interessante proposta para trabalhos futu-
ros.
Ambientes virtuais de treinamento utilizados para si-
Figura 7. Exemplos de vetores de caracterís-
mulação e controle de próteses mioelétricas possuem
ticas.
grande aplicação nas áreas de saúde, mais especificamente
como tecnologias assistivas em reabilitação pós-amputação.
Além disso, estes ambientes constituem uma ferramenta au-
xiliar de diagnóstico, acompanhamento e avaliação de usuá-
3. Discussão dos resultados rios em potencial deste tipo de prótese. A possibilidade de
se integrar o protótipo apresentado a um sistema de banco
O protótipo desenvolvido apresentou bom desempenho de dados visando a geração automática de relatórios de trei-
na classificação dos sinais analisados. No entanto, neste namento é um dos fatores que potencializam sua utilização
trabalho foi realizada apenas a análise do sinal a partir de por profissionais de saúde.
uma base de dados, não sendo contemplados a aquisição Como outras sugestões para trabalhos futuros, pretende-
e processamento de sinais em tempo real. Para aplicações se investigar: a análise da contribuição de diferentes carac-
em tempo real, deve-se ressaltar o consequente aumento no terísticas dos sinais na fase de classificação; a extensão do
tempo de resposta resultante da estratégia de classificação sistema proposto a outros sinais (associados a outros tipos
proposta neste trabalho. Isto porque o sinal só será efeti- de movimento) e a comparação da eficiência de outras redes
vamente classificado após análise de um conjunto de seg- neurais na classificação dos sinais analisados.
mentos. Este aspecto negativo não apresentou impacto con-
siderável neste trabalho pois os resultados da segmentação Referências
e da extração de características dos sinais (vetores de ca-
racterísticas) foram armazenados em uma base de dados, [1] C. Commons. Creative commons atribuição 3.0). Disponível
dispensando-se a necessidade de re-processamento dos si- em: <http://creativecommons.org/licenses/by/3.0/us/deed.pt
nais previamente processados. _BR>, 2010. Acesso em: 21 ago. 2010.
234
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
235
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
236
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
237
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
238
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
239
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
240
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
SESSÃO TÉCNICA 12
DESENVOLVIMENTO
241
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
!"#$%$&'()*+,-*"./01$&'+,'23$&'#'+,',*3*.*40"+,1*'$+,*.,'23$&'()*+,#*,56
242
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
citar o trabalho de [8] onde, em um dos experimentos Técnicas de Inpaint são bastante conhecidas, e tem
do framework desenvolvido, é criada uma aplicação como objetivo recuperar pequenas partes danificadas
que detecta o plano dominante da cena através de uma em imagens [10]. Abordagens como a de [10] e [11]
técnica denominada PTAM, e sobrepõe o mesmo com têm implementações disponíveis na biblioteca de visão
um plano virtual, com a aplicação de uma textura computacional OpenCV ( Open Computer Vision
obtida da cena real, de maneira similar à realizada Library) [12], mas são lentas do ponto de vista
neste trabalho. Um vídeo da aplicação descrita pode ser computacional, impedindo o uso destas
visto em [9]. implementações pelo presente projeto. Devido a isto,
O restante do trabalho é organizado da seguinte uma técnica de Inpaint simples foi implementada,
forma: na seção 2, é introduzida a técnica como descrita em [7], para melhorar o tempo de
desenvolvida, apresentando o funcionamento da execução do sistema.
mesma de uma forma geral. Na seção 3 a técnica Após a realização destas etapas, pode-se projetar o
implementada é apresentada em detalhes, discorrendo modelo modificado do objeto, com a textura dinâmica
mais aprofundadamente sobre cada uma de suas etapas. apropriadamente aplicada sobre o mesmo, no local
Na seção 4 são apresentados e discutidos os resultados onde o objeto foi inicialmente rastreado.
obtidos. Finalmente, a seção 5 apresenta as conclusões A Figura 1 mostra o processo desenvolvido neste
e sugestões de trabalhos futuros. trabalho como um todo. A próxima seção detalha estas
etapas.
2. T écnica Desenvolvida
Como descrito anteriormente, a técnica
desenvolvida consiste em simular a modificação de
objetos reais em aplicações de RA, por meio da
sobreposição do mesmo com uma réplica 3D
propositalmente alterada, com um nível de realismo
aceitável, para que o usuário realmente acredite que um
objeto real foi modificado.
Para tal realismo ser alcançado, escolhemos usar
uma abordagem simples, que consiste em mapear sobre
a réplica 3D do objeto uma textura que é obtida da
própria imagem do objeto em tempo real. Esta
abordagem foi escolhida principalmente pela
simplicidade, e porque dependendo da modificação
realizada no modelo a ser projetado, o realismo na
iluminação do objeto projetado é aceitável.
A aplicação guarda em memória um modelo 3D
no formato exato do objeto rastreado para poder Figura 1. Etapas da técnica desenvolvida.
calcular as coordenadas de textura que serão utilizados,
e guarda também um modelo com a geometria 3. O sistema
modificada, que é o modelo a ser projetado na imagem
final. É importante ressaltar que o modelo modificado Descreve-se a seguir as etapas do sistema proposto
consiste no mesmo modelo do objeto, apenas com em detalhes.
posições de vértices alteradas.
Note que a modificação realizada no objeto pode
3.1. Rastreamento
fazer com que porções do objeto projetado cubram
áreas que antes eram background, e similarmente pode
Uma etapa crucial no sistema é o rastreamento.
fazer com que áreas do objeto original fiquem visíveis.
Nesta etapa, o objetivo principal é obter a posição da
Partes do objeto original, quando visíveis, podem
câmera no mundo, para a inserção correta dos objetos
comprometer a coerência da cena, e por isso é utilizada
virtuais na cena.
uma técnica de Inpaint, como em [7], para preencher
Para o rastreamento do objeto a ser modificado,
estas porções que possivelmente ficariam a mostra. Na
qualquer técnica de rastreamento que pudesse discernir
aplicação é demarcada a área na imagem onde o objeto
entre objetos diferentes poderia ser utilizada, tanto
está, e o Inpaint é aplicado na área inteira, removendo,
técnicas com marcador, como sem marcador (tais
desta forma, o objeto da cena.
como as baseadas em modelo, ou em textura).
243
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
3.3. Inpaint
Figura 2. Objeto utilizado para testes do Como dito anteriormente, uma técnica de Inpaint
sistema. se vê necessária para tratar os casos onde o objeto real
não é encoberto completamente pelo objeto virtual.
O modelo 3D que será utilizado para sobrepor o A aplicação de uma técnica de Inpaint na imagem
objeto em questão é de extrema importância para esta de entrada pode ser dividida em duas etapas básicas:
alteração, pois visto que as alterações são apenas primeiro, cria-se uma máscara, do mesmo tamanho da
translações individuais nos vértices do objeto, para imagem original, monocromática, com pixels com
termos deformações complexas, é necessária uma valor diferente de zero onde a técnica de Inpaint deve
malha de pontos relativamente densa. No exemplo, ser aplicada, e valor zero caso contrário; em uma
cada face do objeto é representada como uma malha segunda etapa aplica-se o Inpaint na imagem, tendo
com 16 quadrados. como referência a máscara criada na etapa anterior.
244
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
245
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
246
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
247
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
248
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
um nó com cada sequência de instruções [1]. A fim de apoiar o teste de aplicações de RV, este artigo
Os critérios de teste estrutural baseiam-se em diferentes define critérios de teste baseados em GC. Como os nós do
tipos de conceitos e elementos de programas para determi- GC possuem descrições das caracterı́sticas que o Ambiente
nar os requisitos de teste [2]. Critérios baseados em fluxo de Virtual (AV) possui, é pertinente pensar em critérios de teste
controle utilizam caracterı́sticas de controle da execução do para estabelecer requisitos a serem satisfeitos por um con-
programa para derivar requisitos de teste, como por exem- junto de dados de teste.
plo, comandos ou desvios [2]. Segundo Myers [16] e Pres-
sman [22], os critérios mais conhecidos dessa técnica são:
3. Critérios de teste baseados em GC
• Todos-Nós: estabelece que cada bloco de comando s
do programa seja exercitado ao menos uma vez; Bem como no teste estrutural, o conceito de grafos tem
• Todas-Arestas: requer que cada desvio do fluxo de sido utilizados em outras abordagens de teste como cober-
controle do programa seja exercitado ao menos uma tura de grafo para elementos de projeto, cobertura de grafo
vez; e para especificação e cobertura de grafo para caso de uso,
definidos por Ammann e Offutt [1].
• Todos-Caminhos: exige que todos os possı́veis ca- Na composição de um AV, diversos aspectos como
minhos do programa sejam exercitados. posição do objeto, forma, textura, iluminação, compor-
tamento e visão do mundo virtual devem ser descritos
Outros critérios do teste estrutural são os baseados em
[11]. Esses aspectos podem ser adicionados a um GC
fluxo de dados. Esses critérios empregam análise de
por meio de vértices e arestas direcionadas que formam
fluxo de dados para derivar os requisitos de teste, assim,
um grafo direcionado acı́clico. No GC, pode-se encontrar
para derivação de casos de teste tais critérios baseiam-se
nós intermediários e nós folhas. Os nós folhas contêm a
nas associações existentes entre uma definição de variável
descrição geométrica de um objeto e os nós intermediários
e seus possı́veis usos subsequentes. Dois exemplos de
representam transformações tridimensionais como rotação,
critérios de teste baseados em fluxo de dados são: a
translação e escala. O nó raiz, que é conectado a todos os
famı́lia de critérios proposta por Rapps e Weyuker [24] e
demais, direta ou indiretamente, representa o AV como um
a Potenciais-Usos, proposta por Maldonado [15].
todo [7].
Grafos dirigidos, que indicam a ordem das arestas, são
O conceito de GC não é novo, como pode ser visto
utilizados para abstrair também outros artefatos utiliza-
no artigo de Strauss e Carey [26]. Diversas bibliotecas
dos no desenvolvimento de software e por isso servem de
de implementação de ambientes 3D utilizam esse conceito
fundamentação para a definição de diversos critérios de
como forma de modelagem. É o caso, por exemplo, das
teste. Um exemplo de artefatos utilizados no desenvolvi-
bibliotecas OpenSceneGraph1 , OpenSG2 , OpenInventor3 e
mento de software é a chamada Máquinas de Estados Fi-
Java3D4 .
nitas (MEFs) [1]. MEFs representam o comportamento
geral de um modelo de software, os nós representam os es- No contexto desse artigo, analisando o GC de um AV
tados e as arestas representam as transições. Outro exemplo podem-se derivar requisitos de teste baseados nas carac-
é o mapeamento do código fonte para o grafo de fluxo de terı́sticas de que o ambiente foi construı́do. Um possı́vel
controle, já mencionado. Segundo Ammann e Offutt [1], é requisito de teste, ou seja, o que será testado no GC, pode
importante entender que grafo não é o mesmo que artefato. ser uma rotação definida em um nó intermediário. Essa
A mesma abstração que produz o grafo a partir do artefato transformação geométrica fará que seus nós filhos também
também mapeia os casos de teste para o caminho no grafo. sofram tal transformação. Portanto um caso de teste pode
Um critério de cobertura baseado em grafo avalia um con- ser definido, tendo como entrada a rotação a ser realizada no
junto de teste de um artefato em termos de como os cami- objeto correspondente e como saı́da esperada a confirmação
nhos correspondentes aos casos de teste “cobrem” o grafo se ocorreu de fato tal transformação.
de tal artefato. Para que seja possı́vel verificar a cobertura de um caso
O crescente poder computacional faz com que cenas de de teste, ou seja, quais foram os nós do GC exercitados
RV cada vez mais complexas e mais realistas possam ser por alguma ação no AV, é necessário instrumentar o GC
geradas e visualizadas em tempo real. Essa complexidade de tal modo que se possa relatar quais foram os nós exer-
também se aplica ao desenvolvedor da cena, que precisa citados na atividade de teste. Segundo Ammann e Offutt
especificar e modelar várias caracterı́sticas, implicando na [1], instrumentação pode ser entendida como um código de
exigência de um modelo ou uma estrutura de dados capaz 1 Veja: http://www.openscenegraph.org/projects/osg
de organizar os elementos na cena e disponibilizá-los ao 2 Veja: http://opensg.vrsource.org/trac
usuário de forma rápida e eficiente, para isso existem os 3 Veja: http://oss.sgi.com/ projects/inventor/
249
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
• Todos–Nós–Folhas: exige que todos os nós folhas do Figura 2. Identificação dos nós exercitados.
GC que contemplem modificações de aparência (cores,
sombreamento, iluminação, entre outras) sejam exerci-
tados ao menos uma vez. a cobertura destes critérios pode-se assegurar que as
transformações definidas pelos nós do grafo foram testadas
Como exemplo, podemos observar o GC da Figura 1 pelo menos uma vez e, individualmente, funcionam como
como sendo um GC de um programa qualquer que possui esperado. Existem, porém, falhas que se manifestam ape-
transformações definidas para os seus nós. No nó inter- nas quando sequências especı́ficas de operações são execu-
mediário T1 G está definida uma transformação geométrica tadas. Para esses casos, é necessário que sejam identifica-
de escala e no nó S3 é definida uma modificação de cor. A dos caminhos no grafo que possam representar sequencias
execução de um caso de teste que transforme a escala do ob- especı́ficas de operações. Por exemplo, todos os caminhos
jeto relacionado com o T1 G e que modifique a cor do objeto da raiz da árvore até os seus nós folhas, são bons candidatos
relacionado a S3 faz com que sejam cobertos os nós cor- a requisitos de teste.
respondentes, conforme mostra a Figura 2. Com este tipo A automatização dos critérios já definidos é feita de
de critério de teste os nós que não possuem algum tipo de forma relativamente simples, não exigindo que seja alte-
transformação ou modificação definida, não serão cobertos. rada a estrutura do GC. No entanto, para critérios que iden-
A cobertura dos nós intermediários denota que ao menos tifiquem a execução de caminhos no grafo, a automatização
uma transformação definida no nó foi executada e, portanto, torna-se sensivelmente mais complicada. Na próxima seção
foi testada. Da mesma forma, a cobertura dos nós folhas, esses aspectos são discutidos.
que contemplem modificações de aparência, significa que
foi realizada uma modificação ao menos uma vez e também
4. Automatização
foi testada.
Como apoio aos critérios de teste que estão sendo defi-
nidos, uma ferramenta está sendo implementada. É impor-
tante ressaltar que a atual versão da ferramenta considera
que os GCs não têm as suas estruturas alteradas durante a
execução. Na Figura 3 pode ser observado um diagrama
que descreve a execução da ferramenta, que trata aplicações
desenvolvidas utilizando a API Java3D. Inicialmente é feito
o carregamento da classe (o universo virtual) a ser testada
por meio de um ClassLoader especı́fico. Após carregada
a classe, salvam-se todos os requisitos que serão utilizados
no teste e a visualização do GC atual é apresentada em uma
interface gráfica.
Então, a ferramenta possibilita adicionar casos de teste
interagindo com o AV que está sendo testado. Ao carregar a
Figura 1. Representação de um AV. classe, a ferramenta faz com que a interface do AV se abra.
O testador adiciona casos de teste como mostra a Figura 4.
Além dos critérios definidos acima, outros ainda de- Por exemplo, ao rotacionar o objeto 3D no AV é adicionado
vem ser propostos no escopo do presente trabalho. Com o caso de teste e são verificados quais nós do GC foram co-
250
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
bertos. Para visualizar a cobertura no grafo, o nó coberto pois da execução de um caso de teste pode mostrar quais
é exibido na interface gráfica com uma cor diferente. Os nós foram exercitados mas não mostra em qual ordem isso
casos de teste adicionados são inseridos em uma tabela a aconteceu.
fim de que se possa visualizar seu GC correspondente, jun- A ferramenta está sendo desenvolvida utilizando a lin-
tamente com seus nós cobertos. Para verificar quais nós guagem de programação Java, juntamente com sua API
foram exercitados, não foi preciso instrumentar o GC, ape- Java3D. A implementação da ferramenta de apoio está
nas comparou-se o GC inicial com o GC após a execução sendo desenvolvida adotando-se o processo de desenvolvi-
dos casos de teste. mento baseado em protótipos, a fim de que seja possı́vel
avaliar o custo e efetividade das técnicas definidas e ve-
rificar se o GC construı́do pela aplicação em teste corres-
ponde aos requisitos do AV, em outras palavras, a ferra-
menta poderá relatar se os elementos do GC foram testados
ou não. Em adição, a ferramenta proporciona a visualização
do GC para que se consiga identificar a cobertura dos nós,
gerando-se uma plataforma de código aberto, que poderá
ser explorada para ensino e pesquisa.
Parte desse projeto refere-se ao desenvolvimento de sis-
temas de RV com aplicação à área de saúde, entretanto
a ferramenta permite apoiar o teste para todo tipo de sis-
temas de RV que utilizem GC. Nesse projeto será avali-
ada a utilização dos critérios definidos e da ferramenta de
Figura 3. Diagrama de execução da ferra- apoio, tomando como estudo de caso as funcionalidades
menta. do Virtual Medical Training (ViMeT) [8]. Desenvolvido
com o apoio do projeto do Instituto Nacional de Ciência
e Tecnologia – Medicina Assistida por Computação Ci-
entı́fica (INCT–MACC), o ViMeT é um Framework de RV
orientado a objetos. Foi implementado em linguagem de
programação Java e C++, utilizando as tecnologias da API
Java3D e a interface de programação nativa Java Native In-
terface (JNI). Direcionado à geração de aplicações para trei-
namento médico, o ViMeT disponibiliza determinadas fun-
cionalidades como interface gráfica, detecção de colisão,
deformação, interação com equipamentos convencionais e
não convencionais, estereoscopia, importação e modelagem
de objetos 3D e geração de AVs [8].
5. Conclusões
251
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
zar a aplicação desses critérios por meio de uma ferramenta [13] O. A. L. Lemos, A. R. Vincenzi, J. C. Maldonado, and P. C.
de teste. Masiero. Control and data how structural testing criteria for
aspect-oriented programs. The Journal of Systems and Soft-
ware, 80(6):862–882, 2007.
6 Agradecimentos [14] M. Li. Applications of virtual reality technology in cons-
truction industry. volume 4, pages V4–223 –V4–227, apr.
À FAPESP (Fundação de Amparo à Pesquisa do Es- 2010.
tado de São Paulo), processo (2009/03803-1), e ao Insti- [15] J. C. Maldonado. Critérios Potencias Usos: Uma
Contribuição ao Teste Estrutural de Software. Tese de dou-
tuto Nacional de Ciência e Tecnologia – Medicina Assis-
toramento, DCA/FEE/UNICAMP, Campinas, SP, 1991.
tida por Computação Cientı́fica (INCT–MACC), processo [16] G. J. Myers. The art of software testing. John Wiley & Sons,
(573710/2008-2 Edital MCT/CNPq No 015/2008 – Institu- 2 edition, 2004.
tos Nacionais de Ciência e Tecnologia), pelo apoio finan- [17] S. Naik and P. Tripathy. Software Testing and Quality As-
ceiro. surance : Theory and Practice. John Wiley and Sons, 6
edition, 2008.
[18] F. L. S. Nunes, C. G. Corrêa, F. L. Picchi, C. R. M. e Melo,
Referências R. Tori, R. Nakamura, and J. H. A. Barbosa. A importância
da avaliação na engenharia de requisitos em sistemas de re-
[1] P. Ammann and J. Offutt. Introduction to Software Testing. alidade virtual e aumentada: um estudo de caso. In S. S. B.
Cambridge University Press, 1 edition, January 2008. de Computação, editor, XII SVR: Proceedings of the Sympo-
[2] E. F. Barbosa, M. L. Chaim, A. M. R. Vicenzi, M. E. De- sium on Virtual and Augmented Reality, 2010.
lamaro, M. Jino, and J. C. Maldonado. Teste estrutural. In [19] H. Ossher, W. Harrison, and P. Tarr. Software engineering
Introdução ao Teste de Software, chapter 4, pages 47–76. tools and environments: a roadmap. In ICSE ’00: Procee-
Campus, Rio de Janeiro, Brasil, 2007. dings of the Conference on The Future of Software Engine-
[3] B. Beizer. Software Testing Techniques. Van Nostrand Rei- ering, pages 261–277, New York, NY, USA, 2000. ACM.
nhold Company, New York, 2nd edition, 1990. [20] W. Perry. Efective methods for software testing. John Wiley
[4] M. Bellamine, N. Abe, K. Tanaka, P. Chen, and H. Taki. and Sons, 3th edition, May 2006.
A virtual reality based system for remote maintenance of [21] R. S. Pressman. Software Engineering - A Practitioner’s
rotating machinery. In L. T. Yang, M. Guo, G. R. Gao, and Approach. McGraw-Hill, 4 edition, 1997.
N. K. Jha, editors, Embedded and Ubiquitous Computing, [22] R. S. Pressman. Engenharia de software. Makron Books, 6
volume 3207 of Lecture Notes in Computer Science, pages edition, 2006.
223–232. Springer Berlin / Heidelberg, 2004. [23] C. qing Yu, H. hua Ju, and Y. Gao. 3d virtual reality simu-
[5] A. Bertolino. Software testing research: Achievements, lator for planetary rover operation and testing. pages 101
challenges, dreams. In FOSE ’07: 2007 Future of Software –106, may. 2009.
[24] S. Rapps and E. J. Weyuker. Selecting software test data
Engineering, pages 85–103, Washington, DC, USA, 2007.
using data flow information. In EEE Transactions on Soft-
IEEE Computer Society.
[6] M. Blackburn, R. Busser, A. Nauman, and B. Stensvad. De- ware Engineering, volume 11, pages 367–375, 1985.
[25] E. S. Spoto, M. Jino, , and J. C. Maldonado. Structural soft-
fect identification with model-based test automation. Society
ware testing: An approach to relational database applicati-
of Automotive Engineers Inc (SAE), 2003.
ons. In In XIV Brazilian Symposium on Software Enginee-
[7] R. J. M. da Silva, A. B. Raposo, and M. Gattas. Grafo
ring, João Pessoa, PA, Brazil. (In Portuguese), 2000.
de cena e realidade virtual. Monografia em Ciência da
[26] P. S. Strauss and R. Carey. An object-oriented 3d graphics
Computação - Rio de Janeiro - RJ: PUC-Rio, 11 2004.
toolkit. Computer Graphics, 26(2), 1992.
[8] A. C. M. T. G. de Oliveira and F. L. S. Nunes. Building a [27] W. F. Tichy, P. Lukowicz, L. Prechelt, and E. A. Heinz. Ex-
open source framework for virtual medical training. Journal perimental evaluation in computer science: a quantitative
of Digital Imaging, September 2009. study. J. Syst. Softw., 28(1):9–18, 1995.
[9] M. E. Delamaro, J. C. Maldonado, and M. Jino. Introdução [28] E. van Wyk and R. de Villiers. Virtual reality training appli-
ao Teste de Software. Editora Campus, 2007. cations for the mining industry. In AFRIGRAPH ’09: Pro-
[10] M. E. Delamaro, P. Nardi, O. A. L. Lemos, P. C. Masiero, ceedings of the 6th International Conference on Computer
E. S. Spoto, J. C. Maldonado, and A. M. R. Vincenzi. Sta- Graphics, Virtual Reality, Visualisation and Interaction in
tic analysis of java bytecode for domain-specific software Africa, pages 53–63, New York, NY, USA, 2009. ACM.
testing. In: XXI Simpósio Brasileiro de Engenharia de Soft- [29] J. Wainer, C. G. Novoa Barsottini, D. Lacerda, and L. R.
ware, João Pessoa, PB, pages 325–341, 2007. Magalh aes de Marco. Empirical evaluation in computer
[11] A. G. Ferreira. Uma arquitetura para a visualização dis- science research published by acm. Inf. Softw. Technol.,
tribuı́da de ambientes virtuais. Dissertação de mestrado, 51(6):1081–1085, 2009.
PUC/RJ, 1999. [30] M. Woo, J. Neider, T. Davis, and D. Shreiner. OpenGL,
[12] Y. Jung, R. Recker, M. Olbrich, and U. Bockholt. Using x3d Programming Guide. 3th edition, 1999.
for medical training simulations. In Web3D ’08: Procee- [31] M. V. Zelkowitz and D. R. Wallace. Experimental models
dings of the 13th international symposium on 3D web tech- for validating technology. Computer, 31(5):23–31, 1998.
nology, pages 43–51, New York, NY, USA, 2008. ACM.
252
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
253
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
mance das modificações propostas; na seção 6 são descritas pondo algoritmos de reconstrução com base em triangula-
as conclusões e os trabalhos futuros e finalmente na seção 7 ções de Delaunay geradas a partir dos pontos da amostra-
são colocados os agradecimentos. gem. A lógica por trás de tais algoritmos é esculpir a su-
perfície a partir da triangulação. Boissonnat [10] propõe o
2 Objetivos primeiro algoritmo de reconstrução baseado em Delaunay,
que opera através da remoção de tetraedros e triângulos que
Em uma recente publicação [8], Bíscaro propõe um algo- violam certas condições geométricas. Infelizmente, isso só
ritmo bastante eficiente chamado de LDT (Local Delaunay se aplica às superfícies de genus zero. O algoritmo α-shape
Triangulation), embora ainda sem garantias teóricas, para o [17] começa com a triangulação de Delaunay nos pontos
problema de reconstrução de superfícies a partir de nuvem da amostragem e remove os simplexos que não estão em
de pontos. Esta abordagem é do tipo “avanço de fronteira”e uma esfera de raio α1 . O α-shape é simples de implemen-
faz uso de operações geométricas simples como projeções, tar, mas funciona corretamente apenas em amostragens uni-
movimentos rígidos no espaço euclidiano R3 e uma trian- formes, pois um único α se aplica ao conjunto de pontos
gulação de Delaunay bidimensional [18] para selecionar o inteiro. Teichmann e Capps [26] introduziram uma escala
próximo triangulo a ser anexado na malha já existente. de densidade ao α-shape para resolver esse problema. No
O objetivo deste projeto é estudar a possibilidade de apri- entanto, essa abordagem exige vetores normais nos pontos
moramento do algoritmo citado acima. Para isso, pretende- da amostragem. O algoritmo Crust de Amenta e Bern [3], é
se trocar a operação de triangulação de Delaunay bidimen- o primeiro algoritmo tridimensional com garantias teóricas
sional por um sistema de pontuação que deverá selecionar de reconstrução. Para que um dado conjunto de amostras
o melhor candidato a triângulo a ser adicionado na malha. ele calcula uma aproximação linear por partes geometrica-
Acredita-se que esse sistema de pontuação, que deverá levar mente próximo da superfície original. O Crust reconhece
em conta diversas informações geométricas, deve ser mais amostragens não uniformes e exige pouca intervenção do
simples e portanto, mais barato computacionalmente do que usuário durante a reconstrução. A desvantagem é que os
a atual triangulação que está sendo utilizada no algoritmo. cálculos geométricos necessários para estimar os vértices de
Voronoi introduzem instabilidades numéricas. Além disso,
o algoritmo tem um alto custo computacional porque faz
3 Revisão Bibliográfica duas triangulações de Delaunay, uma para computar os vér-
tices de Voronoi e outra para gerar a superfície. O algo-
A reconstrução de superfícies a partir de pontos não or- ritmo Cocone, por Amenta et al. [4] é uma simplificação
ganizados tem merecido considerável atenção dos pesqui- elegante e rápida do Crust que preserva as garantias teó-
sadores, tanto de Computação Gráfica quanto de Geometria ricas. No entanto, em aplicações práticas gera lacunas in-
Computacional. O problema se tornou popular depois do ar- desejáveis na superfície. Uma evolução desse algoritmo, o
tigo de Hoppe et al [19], que apresentou um algoritmo para Tight Cocone, não captura os componentes internos. Além
reconstrução de superfícies como um conjunto de zeros de disso, é necessário utilizar estimativas de polos de rotulação
uma função de distância. No entanto, essa abordagem não dos mesmos e, em alguns casos, estimativas de tamanho
é capaz de capturar detalhes finos da superfície. Um algo- do triângulo. O Power Crust [5] também é um aprimora-
ritmo relacionado desenvolvido por Curless e Levoy [12] é mento do Crust. Ele calcula uma aproximação linear por
mais eficaz na percepção de detalhes da superfície, no en- partes de uma superfície suave, utilizando um diagrama de
tanto, ele depende de informações adicionais sobre os pon- Voronoi ponderado chamado Power Diagrama. O Power
tos. Abordagens alternativas para a reconstrução de super- Crust também tem garantias teóricas para reconstrução sob
fícies como conjunto de zeros de uma função de distância condições adequadas, e seu desempenho computacional é
têm sido propostos. Carr et al. [11], por exemplo, utili- melhor que o seu antecessor. Mas ainda enfrenta problemas
zam funções de base radial para aproximações de distância. de instabilidade numérica devido aos cálculos geométricos
Seu algoritmo, embora computacionalmente caro, é capaz necessários para construir o Power Diagrama. Kolluri et al.
de lidar com lacunas e detalhes finos no modelo. Ohtake et [20] apresentam o algoritmo Eight Crust para a reconstru-
al. [22] e Alexa et al. [1] empregam partição da unidade ção de uma superfície a partir de dados bastante irregulares.
e aproximação de mínimos quadrados para estimar uma su- A partir da triangulação de inicial, utiliza uma variação do
perfície aproximada da original. A capacidade de lidar com particionamento de grafos espectrais para decidir se cada
um grande volume de dados é um problema implícito no tetraedro está dentro ou fora do objeto original. A superfí-
uso dessa abordagen. Além disso, as superfícies produzidas cie reconstruída consiste do conjunto de faces triangulares
não interpolam as amostras dadas, o que pode ser indesejá- compartilhadas por tetraedros internos e externos. O parti-
vel em algumas aplicações. cionador espectral toma decisões locais com base em uma
Alguns pesquisadores em Geometria Computacional op- visão global do modelo e, portanto, o algoritmo pode igno-
taram por uma abordagem diferente para o problema, pro-
254
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Na busca de alternativas ao algoritmo proposto por Bís- Propomos duas variações na função F indN ewF ace que
caro, Algoritmo 1, que calcula uma malha inicial e arma- utilizem soluções mais simples que o LDT. A primeira de-
zena as arestas de bordo em uma lista de arestas “ativas”; las (A), dentre os vértices candidatos, seleciona aquele que
em seguida, para cada uma delas seleciona um conjunto de “enxerga”a aresta e com o maior ângulo. A segunda (B),
pontos candidatos a formarem um novo triângulo. Quando assim como o algoritmo de Bíscaro, projeta todos os candi-
o este é adicionado, a lista de arestas de bordo é atualizada. datos no plano tangente a superfície na aresta e, para que o
O algoritmo só termina a execução quando esta lista estiver cálculo fique exclusivamente bidimensional , e então verifi-
255
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5 Resultados Comparativos
256
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
a) b)
257
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
avanço de fronteira (A), se mostrou o mais rápido entre os 3 [10] J. D. Boissonnat. Shape reconstruction from planar cross-
utilizados, apresentando um tempo em média 0.579s menor sections. Computational Vision Image, 44:1–29, 1988.
(para cada 1000 pontos) do que o algoritmo (B), que uti- [11] J. C. Carr, R. K. Beatson, J. B. Cherrie, T. J. Mitchell,
liza a projeção, mas apresentou uma distancia de Hausdorff W. R. Fright, B. C. McCallum, and T. R. Evans. Recons-
maior do que (B), que parece apresentar uma reconstrução truction and representation of 3d objects with radial basis
functions. In SIGGRAPH ’01: Proceedings of the 28th an-
mais próxima daquela apresentada pelo algoritmo LDT.
nual conference on Computer graphics and interactive tech-
Pretende-se, como próximos passos, estudar com mais niques, pages 67–76. ACM Press, 2001.
critério qual a influência da operação de projeção no resul- [12] B. Curless and L. M. A volumetric method for building com-
tado das malhas e ainda comparar as variações propostas plex models from range images. In Siggraph, pages 303–
aqui com algoritmos clássicos da literatura, não somente em 312, 1996.
termos de tempo de execução e qualidade dos modelos, mas [13] G. A. K. Daniel P. Huttenlocher and W. J. Ruckligde. Com-
também em termos de consumo de memória, que é um dos paring images using the hausdorff distance. The Eurogra-
fatores limitantes, quando a quantidade de pontos aumenta phics Association, 15(9):850–1863, 1993.
muito. [14] T. K. Dey and P. Kumar. A simple provable algorithm for
curve reconstruction. Proc. 10th. ACM-SIAM Symposium
on Discrete Algorithms (SODA ’99), pages 893–894, 1999.
7 Agradecimentos [15] H. Edelsbrunner. Surface recosntruction by wrapping finite
point set in space. Discrete and Computational Geometry.
Ao Conselho Nacional de Desenvolvimento Científico The Goodman-Pollack Festschrift, pages 379–404, 2003.
e Tecnológico (CNPq), pelo apoio financeiro na bolsa ao [16] H. Edelsbrunner and E. P. Mücke. Three-dimensional alpha
shapes. ACM Transactions on Graphics, 13(1):43–72, 1994.
aluno Caio Santiago, dentro do Programa Institucional de
[17] H. Edelsbrunner and E. P. Mücke. Three-dimensional al-
Bolsas de Iniciação Científica- PIBIC. pha shapes. ACM Transactions on Graphics, 13(1):43 – 72,
1994.
Referências [18] Fortune. Voronoi diagrams and delaunay triangulations. In
Computing in Euclidean Geometry, Edited by Ding-Zhu Du
[1] M. Alexa, J. Behr, D. Cohen-Or, S. Fleishman, D. Le- and Frank Hwang, World Scientific, Lecture Notes Series on
vin, and C. Silva. Computing and rendering point set sur- Computing – Vol. 1. 1992.
faces. IEEE Transactions on Visualization and Computer [19] H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, and
Graphics, 9(1):3–15, 2003. W. Stuetzle. Surface reconstruction from unorganized
[2] N. Amenta, M. Bern, and D. Eppstein. The crust and the points. Computer Graphics, 26(2):71–78, 1992.
β−skeleton : Combinatorial curve reconstruction. Graphi- [20] R. Kolluri, J. R. Shewchuk, and J. F. O’Brien. Spectral sur-
cal Models and Image Processing, 60(2):125–135, 1998. face reconstruction from noisy point clouds. In Sigraph,
[3] N. Amenta and M. W. Bern. Surface reconstruction by vo- pages 11–22, 2004.
ronoi filtering. In Symposium on Computational Geometry, [21] M. Levoy, K. Pulli, B. Curless, S. Rusinkiewicz, D. Koller,
pages 39–48, 1998. L. Pereira, M. Ginzton, S. Anderson, J. Davis, J. Ginsberg,
[4] N. Amenta, S. Choi, T. K. Dey, and N. Leekha. A simple J. Shade, and D. Fulk. The digital michelangelo project:
algorithm for homeomorphic surface reconstruction. Inter- 3D scanning of large statues. In K. Akeley, editor, Sig-
national Journal of Computational Geometry and Applica- graph 2000, Computer Graphics Proceedings, pages 131–
tions, 12(1-2):125–141, 2002. 144. ACM Press / ACM SIGGRAPH / Addison Wesley
[5] N. Amenta, S. Choi, and R. K. Kolluri. The power crust, Longman, 2000.
unions of balls, and the medial axis transform. Computatio- [22] Y. Ohtake, A. Belyaev, M. Alexa, G. Turk, and H.-P. Seidel.
nal Geometry, 19(2-3):127–153, 2001. Multi-level partition of unity implicits. ACM Trans. Graph.,
[6] C. L. Bajaj, F. Bernardini, and G. Xu. Automatic reconstruc- 22(3):463–470, 2003.
tion of surfaces and scalar fields from 3d scans. Computer [23] C. R. P. Cignoniy and R. Scopignox. Metro: measuring error
Graphics, 29(Annual Conference Series):109–118, 1995. on simpli ed surfaces.
[7] F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva, and [24] J. Schreiner, C. E. Scheidegger, S. Fleishman, and C. T.
G. Taubin. The ball-pivoting algorithm for surface recons- Silva. Direct (re)meshing for efficient surface processing.
truction. IEEE Transactions on Visualization and Computer Computer Graphics Forum, 25(3):527–536, 2006.
Graphics, 5(4):349–359, 1999. [25] A. Sharf, T. Lewiner, A. Shamir, L. Kobbelt, and D. Cohen-
[8] H. H. Bíscaro. Efficient reconstruction from sacttered Or. Competing fronts for coarse–to–fine surface reconstruc-
points. In Proceedings of 18th WSCG -International Confe- tion. In Eurographics, pages 389–398, Vienna, september
rence on Computer Graphics, Visualization and Computer 2006.
Vision, pages 153–160, 2010. [26] M. Teichmann and M. Capps. Surface reconstruction with
[9] H. H. Bíscaro, A. C. Filho, L. G. Nonato, and M. C. Fer- anisotropic density-scaled alpha shapes. In D. Ebert, H. Ha-
reira de Oliveira. A topological approach for surface recons- gen, and H. Rushmeier, editors, IEEE Visualization ’98,
truction from sample points. Vis. Comput., 23(9):793–801, pages 67–72, 1998.
2007.
258
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
259
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
3.1 Devices
• Calibration Object. We built a cubic calibration object • Computer. We connect the projector to the extra video
of dimensions 30cm x 30cm x 30cm and we marked 17 output that has the computer where we run applica-
points on its edges and faces, points that the calibration tions.
application will use as input information. (figure 2)
3.2 Applications
With this object placed at position (30, 0, 0) on the
projection space, we measure the 3D positions of the
With this geometry information, a calibration application
marked points, and generate a file with these points
is able to calculate projective transformation, which will be
positions in the real 3D world.
used later to project the geometries transformed for the pro-
• Projector. The projector is placed hanging from the jection platform for this projector.
ceiling with the brackets included in the lab, and ori- Rendering applications, will draw some textures on the
ented in such a way that is able to illuminate both the cubic object, and will allows us to establish if the results of
260
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
4 Calibration Application
Figure 4: Architecture of the calibration program. • Rotation. Matrix representing the rotation between the
base space and projector.
261
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
262
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
263
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
PÔSTERES
264
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Wilson M. Silva
Universidade Federal de Pernambuco
[email protected]
1
265
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ambiente. As sensações de: (1) tocar acidental ou O uso efetivo de AAA requer um grau elevado de
deliberadamente objetos; (2) segurar ou pressionar autenticidade, conforme se procurou mostrar neste texto.
objetos de diversos formatos, pesos e texturas; e (3) Os requisitos elicitados são um fragmento de um grande
manipular e identificar objetos que não se pode conjunto, ainda não completamente identificado. O
momentaneamente ver; são alguns dos requisitos que os objetivo deste trabalho foi mostrar que o uso efetivo de
AVT devem atender para serem considerados AAA. AAA requer o desenvolvimento de dispositivos hápticos
Alguns cenários de treinamento no mundo real podem específicos.
requerer a necessidade de tocar objetos com a palma ou No entanto, a breve compilação de dispositivos
dorso da mão do aprendiz. Em outros cenários, o toque hápticos apresentada mostra um cenário alentador para o
pode ser acidental, e isto poderia representar um risco à usuário / pesquisador de tais ambientes. Parece evidente
integridade física do aprendiz, se ocorresse num ambiente que, outros trabalhos nesta vertente precisam ser
de treinamento com algum grau de periculosidade. apresentados. Na busca de ampliar o conjunto mínimo de
Dois dispositivos apresentados recentemente poderiam requisitos de interação, de modo a estimular a indústria a
ser utilizados para satisfazer os requisitos (1) e (3): satisfazer tais demandas.
ServoSqueeze e ServoTap [7]. O ServoSqueeze tem a 6. Referências
função de simular uma pressão ao punho do usuário. O
ServoTap tem a função de simular um toque com a ponta [1] T. Herrington and J. Herrington, “Authentic Learning
do dedo no punho do usuário. Environments in Higher Education”, Turkish Online Journal of
O ServoTap poderia simular um toque no dorso da Distance Education, 2006, pp. 175-180.
mão, quando o aprendiz inadvertidamente “tocasse” um [2] H. T. Berge, S. Ramaekers A. Pilot, "The Design of
objeto virtual (requisito <1>), que no mundo real poderia Authentic Tasks that Promote Higher Order Learning", EARLI-
lhe causar dano: uma superfície pontiaguda ou cortante. SIG Higher Education / KIT- Conference, Number 3, 2004, pp.
Uma adaptação do ServoSqueeze poderia simular uma 01-23.
vibração no punho do usuário, para os casos em que o [3] B. Schwald, J. Figue, E. Chauvineau, F. Vu-Hong, A.
mesmo “colocasse” a palma da mão numa superfície Robert, M. Arbolino, M. Schnaider, B. De Laval, F. Dumas de
virtual vibratória (próxima a um motor virtual – requisito Rauly, F.Anez, O.Baldo and J.M.Santos, "STARMATE: Using
<3>). Poder-se-ia adaptar sensores aos equipamentos Augmented Reality technology of complex mechanical
elements", E-Work and E-Commerce, Vol. 1, 2001, pp. 196-
apresentados, para se obter a localização e orientação dos
202.
mesmos no ambiente virtual.
[4] B. Schwald and B. De Laval, "An Augmented Reality
System for Training and Assistance to Maintenance in the
Ao simular a manipulação de objetos virtuais Industrial Context", Journal of WSCG, Vol. 11, No 1, 2003.
“pesados” (requisito <2>) tende-se a esbarrar no limiar de [5] D. Jia, A. Bhatti and S. Nahavandi, "Design and Evalution of
força, que os dispositivos hápticos apresentam. No a Haptically Enable Virtual Environment for Object Assembly
entanto, projetos como o MasterFinger-2 [8] são Training", Haptic Audio Visual Environments and Games, 2009.
promissores no que tange a vencer tais barreiras. O [6] G. Robles-De-la-Torre, "Principles of Haptic Perception In
MasterFinger-2 é composto de uma estrutura metálica, na Virtual Environment", In M. Grunwald (Ed), “Human Haptic
qual o usuário pode introduzir os dedos polegar e Perception”, pp.363-379, Birkhauser Verlag (2008).
indicador de ambas as mãos. O objetivo é erguer objetos [7] M. A. Baumann, K. E. Maclaren, T. W. Hazelton and A.
virtuais com a simulação de peso. McKay, "Emulating Human Attention-Getting Practices wit
Uma estratégia interessante seria combinar o Wearable Haptics", Haptics Symposium, 2010, pp. 149-156.
MasterFinger-2 com o dispositivo desenvolvido por [9]. [8] C. Giachritsis, J. Barrio, M. Ferre, A. Wing and J. Ortego,
Este dispositivo foi projetado para avaliar a percepção de "Evalution o Weight Perception During Unimanual and
direção, com os dedos das mãos, o que tenderia a Bimanual Manipulation of Virtual Objects", Third Joint
ampliaria a sensação de autenticidade. A maior Eurohaptics Conference and Symposium on Haptic Interfaces
for Virtual Environment and Teleoperator System, 2009, pp.
sensibilidade na ponta dos dedos poderia permitir que este
629-634.
novo dispositivo agregasse à capacidade de simular a
[9] B. T. Gleeson, S. K. Horschel and W. R. Provancher,
percepção do peso dos objetos virtuais, à sensibilidade a
"Perception of Direction for Applied Tangential Skin
texturas. Displacement: Effects of Speed, Displacement and Repetition",
Já o dispositivo proposto por [10] visa fornecer a IEEE Transactions on Haptics, 2010.
sensação de diferentes graus de rugosidade sem mudança [10] R. Samra, D. Wang and M. H. Zadeh, "Design and
do estímulo mecânico (requisito <2>). O estímulo deve Evaluation of a Haptic Tactile Actuator to Simulate Rough
ser criado diretamente no dedo indicador. Textures", IEEE Virtual Reality, 2010.
5. Discussão
2
266
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
267
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Figura 2 – Interface 3D
7. CONCLUSÃO
268
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
1. INTRODUÇÃO
Apesar de toda a tecnologia de ponta presente nos
sistemas e dispositivos eletrônicos das aeronaves, como os Figura 1 - Cabine
sistemas anti-colisão, muitos acidentes têm ocorrido nos últimos • Cenário: o cenário tem por finalidade simular, a partir
tempos. Acidentes esses que acarretam na perda de preciosas de um ambiente virtual tridimensional, o mundo real a
vidas humanas e que arranham a imagem das grandes companhias qual o piloto de helicóptero interage-se no seu dia-a-dia.
aéreas, minando seus lucros. Muitos destes acidentes podem ser Na figura 2 tem-se um exemplo de uma imagem de um
evitados caso os pilotos sejam treinados em situações de risco, ambiente 3D, utilizado como cenário para este sistema.
onde o tempo para a tomada de decisão é muito pequeno.
Atualmente o treinamento dos pilotos é feito em classe,
onde um piloto mais experiente familiariza os alunos-pilotos com
os controles de vôo e lhes repassa os procedimentos operacionais
de rotina e de emergência a partir de pôsteres e apostilas com
fotos. O STH foi dividido em quatro módulos principais, cujo
desenvolvimento se dá de maneira paralela:
• Tutoriais: os tutoriais disponibilizam conteúdo e
animações a respeito do funcionamento e operação dos
principais subsistemas do helicóptero.
• Cabine: a cabine é composta pelo painel de
instrumentação, os controles e o projetor multimídia,
conforme mostrado na figura 1. Tem como objetivo Figura 2 - Exemplo de cenário
simular a cabine de pilotagem do helicóptero da maneira 2. O MÓDULO DE CENÁRIO
mais fiel possível; Este módulo tem por objetivo simular a visualização do
• Sistema GPS: o sistema GPS (Global Position System ambiente ao qual o piloto de helicóptero está inserido, dando a ele
ou Sistema de Posicionamento Global) visa simular o o controle de suas ações no comando do simulador do helicóptero.
aparelho de geomapeamento global de navegação, de Para desenvolver esse módulo, faz-se necessário o
modo a auxiliar o piloto na localização geodésica do estudo de algoritmos de computação gráfica, incluindo
renderização de objetos 3D, otimização da renderização de
269
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
terrenos tridimensionais, algoritmos de colisão, culling de objetos da taxa de FPS (Frames Per Second – Quadros por segundo).
3D, etc. [04-07]. Desse modo, fica possível realizar o rastreamento de erros em
Pela complexidade destes algoritmos e do simulador, o tempo real, mostrando informações internas do simulador na tela
desenvolvimento dos módulos por equipes de desenvolvedores do cenário. Sem falar que também é possível medir o desempenho
acaba virando uma necessidade. Desse modo, aborda-se a seguir a do simulador através do acompanhamento da taxa de FPS, uma
metodologia e as ferramentas utilizadas no desenvolvimento do vez que quanto maior a taxa de FPS, maior a velocidade de
módulo de cenários do sistema de treinamento de helicópteros. execução do algoritmo. Por isso pode-se escolher e aperfeiçoar os
2.1. BIBLIOTECA GRÁFICA E LINGUAGEM algoritmos utilizados no desenvolvimento do módulo do cenário.
DE PROGRAMAÇÃO 2.4. JUNÇÃO DE CÓDIGOS-FONTES
A linguagem de programação deve ser orientada a Todos que trabalharam ou trabalham com
objetos, visto que esta privilegia a manutenção do sistema e desenvolvimento de softwares em grupo sabem as dificuldades
facilita o trabalho em equipe [02]. Quanto mais robusta e simples, que existem quando há a necessidade de se juntar funcionalidades
melhor. Principalmente quando a equipe de desenvolvimento não criadas por diferentes desenvolvedores em um mesmo arquivo.
tem muita experiência. Nesses momentos, linguagens que dão Por esse motivo deve-se pesquisar uma ferramenta que automatize
suporte nativo ao gerenciamento de memória e montagem de esse processo, de modo que na junção dos arquivos nenhuma
interfaces são as mais apropriadas, pois tornam o trabalho mais funcionalidade seja perdida. Para este projeto foi utilizado o
produtivo, mantendo a motivação da equipe de desenvolvimento software WinMerge [08], que atende a essas necessidades.
em alta, ao contrário de projetos que possuem baixa produtividade 3. CONCLUSÕES
[02] [03]. No projeto desenvolvido, a escolha de uma linguagem
Já com relação à biblioteca gráfica, a escolha da API orientada a objeto se mostrou acertada, visto que ela realmente é
deve ser baseada no suporte nativo via hardware, já que desse mais eficiente na organização e manutenção do código-fonte. No
modo a velocidade de execução da aplicação será muito maior em entanto, a escolha da linguagem C# (C - Sharp) não se mostrou
relação às bibliotecas executadas por software, que são mais tão eficiente quanto à produtividade que se esperava. Não que as
lentas [05]. No projeto utilizado de suporte para este artigo, outras linguagens sejam mais completas. Pelo contrário, a
utiliza-se a linguagem C# (C - Sharp) e a API gráfica DirectX linguagem C# é bem completa. O seu inconveniente é que, por
para o desenvolvimento. ainda não ser muito difundida, encontrar documentação,
2.2. INFRA-ESTRUTURA DE APOIO bibliotecas e ferramentas que dêem suporte ao desenvolvimento
Uma vez definidas a linguagem de programação e a de ambientes virtuais tridimensionais se torna uma tarefa
biblioteca gráfica a ser utilizada, é necessário criar a infra- complicada.
estrutura de apoio, a fim de facilitar o desenvolvimento em grupo. As ferramentas e bibliotecas existentes estão
Para tal, deve-se propor a padronização da estrutura de diretórios. disponíveis, em sua maioria, na linguagem C++. Dessa maneira,
Com uma estrutura de diretórios padronizada, o trabalho também apesar de não ter gerenciamento de memória automático e outras
fica facilitado, ajudando no treinamento de novos facilidades inclusas na linguagem C#, a linguagem C++ oferece
desenvolvedores, que se familiarizam mais rapidamente a mais recursos (bibliotecas e ferramentas) no desenvolvimento do
estrutura do projeto. simulador de treinamento de helicóptero.
Também facilita na análise de códigos-fontes pelos 4. BIBLIOGRAFIA
desenvolvedores, já que toda vez que uma classe for examinada, [01] LOPES, Anderson de F; RAMOS, Alexandre C. B.. Sistema
todos os caminhos de acesso a arquivos externos são feitos de Treinamento de Pilotos de Helicóptero. Anais do XII Brazilian
baseando-se nessa estrutura padrão, diminuindo assim o “fator de Symposium on Multimedia and the Web.
rejeição” do desenvolvedor ao código cuja decodificação não é de [02] ROLLINGS, Andrew; MORRIS, Dave. Game Architecture
sua autoria. and Design: Learn the Best Practices for Game Design and
Os desenvolvedores também devem criar uma Programming. 1ª edição. Coriolis Group Books, Novembro de
padronização da nomenclatura das variáveis. Deste modo a 1999. 742 páginas.
legibilidade do código ficou bastante favorecida, facilitando a [03] FOWLER, Martin. A Nova Metodologia. Capturado no dia
manutenção do código-fonte pelos desenvolvedores que não 17/04/2007, On-line, Disponível na Internet no site
participarem originalmente na concepção das classes envolvidas http://simplus.com.br/artigos/a-nova-metodologia/ .
no projeto. [04] RENDERING, Wikipedia. Capturado no dia 17/04/2007, On-
2.3. FERRAMENTAS PARA RASTREAR line, Disponível na Internet no site
ERROS E MEDIÇÃO DE DESEMPENHO http://en.wikipedia.org/wiki/Rendering_(computer_graphics) .
Para facilitar no rastreio de erros deve-se criar estruturas [05] LUNA, Frank D. Introduction to 3D Game Programming
de Log (gravar em arquivo texto informações importantes, como a With DirectX 9.0. 1ª edição. Wordware Publishing Inc, junho de
finalização da execução de um algoritmo ou valores de variáveis 2003. 388 páginas.
para verificar o funcionamento correto de determinado algoritmo) [06] PROJECT, Virtual Terrain. Capturado no dia 17/04/2007,
e Log de Erro (gravar em um outro arquivo informações sobre On-line, Disponível na Internet no site http://www.vterrain.org/ .
erros, as classes envolvidas e valores de variáveis importantes). [07] POLACK, Trent. Focus on 3D Terrain Programming. 1ª
Essa funcionalidade é de extrema valia, principalmente nas edição. Premier Press. 218 páginas.
ocasiões onde o erro ocorre dentro de um laço de repetição, o que [08] WinMerge. Capturado no dia 17/04/2007, On-line,
ocasiona uma série de MessageBoxs repetidos, caso essa Disponível na Internet no site
funcionalidade não seja implementada. http://winmerge.org/ .
Além do dispositivo de log, cria-se estruturas para
mostrar textos em tempo real a partir de fontes 2D e para cálculo
270
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
271
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
seja capacitado a criar uma rede adicional para a uma rede adicional com a visualização das portas do
máquina. A produção está sendo feita na sala de aula- switch através da RA.
estúdio do CESUP/UFRGS, com captação e edição em
tempo real através da ilha de edição. Inicialmente, se Uma variação dessa experiência foi feita através da mesa
produziu um teste de uso da tecnologia, com a utilização de apresentação de documentos. Nessa mesa foi
e demonstração da RA e dos outros recursos já utilizados colocado o marcador e, conforme a Figura 1 B, a
regularmente. imagem captada/gravada mostra o próprio equipamento
Na primeira parte da videoaula demonstrativa, o em questão, como se estivesse sendo manipulado e
equipamento em questão foi mostrado através de sua apresentado pelas mãos do professor.
imagem inserida em tela cheia no vídeo; e de sua Este vídeo foi captado e editado nas instalações do
imagem misturada eletronicamente com a do professor, CESUP/UFRGS, utilizando o equipamento já citado, e
de forma que este pudesse apontar fisicamente partes e finalizado no software Adobe Premiere CS4. Está
componentes . disponível para visualização no canal do YouTube do
Num segundo momento, experimentou-se a RA, CESUP, onde também estão publicadas outras produções
executada através do sistema Sacra versão 2010, realizadas pelo Centro [7]. Pretende-se dar continuidade
disponível em [6]. Foram previamente impressos os a este trabalho estudando a inserção de objetos 3D e
marcadores, usando os arquivos .pdf disponibilizados e técnicas de comando de voz.
inserido um novo objeto 3D - uma chapa plana modelada
com a linguagem VRML através de um arquivo texto Agradecimentos
com extensão .wrl. Sobre ela, foi aplicada como textura
uma foto do switch em formato .jpg. Para elaboração
dessa chapa, primeiramente definiu-se um objeto Ao CNPQ, aos colegas do CESUP, em especial ao
tridimensional (em VRML 2 chamado de Shapes) que técnico Lindolfo Meira e a diretora Denise Grüne Ewald,
em geral contém dois atributos, a Aparência e a e ao professor Renato Ventura Bayan Henriques e
Geometria. Na Aparência definiu-se a textura, no caso a demais colegas do Departamento de Engenharia Elétrica
imagem a ser exibida. Já na Geometria definiu-se um da UFRGS.
objeto em forma de cubo, com as dimensões do painel
(largura 10, altura 0.01 e profundidade 7.5). Referências
Para essa parte do experimento, um computador ASUS,
dotado de webcam D-MAX 1.3M, e executando a RA, [1] AZUMA, R.; BAILLOT, Y.; BEHRINGER, R.; FEINER,
foi conectado à ilha de captação e edição de vídeo, para S.; JULIER, S.; MACINTYRE, B. Recent Advances in
receber o sinal que normalmente é gravado e/ou Augmented Reality. IEEE Computer Graphics & Applications,
transmitido. Na imagem captada/gravada, aparece o v. 21, n. 6, p. 34-47, novembro/dezembro, 2001.
professor segurando a fotografia do equipamento em [2] ARTOOLKIT:
questão, como se ele estivesse manipulando o próprio http://www.hitl.washington.edu/rese~/shared_space. Visitado
pela ultima vez em 18/10/2005.
equipamento e seus componentes (Figura 1 A).
[3] TIMM, M. I.; ROLIM, Odilon; LONGHI, Magali;
FERNANDES, Luis Fernando; EWALD, Denise Grüne;
CABRAL JR., Paulo Augusto; FERREIRA FILHO, Raymundo
C.M. Gestão de EAD: projeto de infra-estrutura e atividades
de planejamento. In: V ESUD Congresso Brasileiro de Ensino
Superior à Distância, 2008.
[4] PROVIDELO, C.; DEBONZI, D.H.; GAZZIRO, M.A.;
QUEIROZ, I.C.A.S.; KIRNER C.; SAITO, J.H. Ambiente
Dedicado para Aplicações Educacionais Interativas com
Realidade Misturada. In: I Workshop sobre Realidade
Aumentada, Piracicaba, Brasil, Maio, 2004.
[5] BOUD, A. C.; HANIFF, D. J.; BABER, C.; STEINER, S. J..
Virtual Reality and Augmented Reality as a Training Tool
for Assembly Tasks. International Conference on Information
and Visualization, vol. 4, pp.32-36, 1999.
[6] http://www.ckirner.com/sacra/SACRA-2010.zip
Visitado pela ultima vez em 07/08/2010.
[7] http://www.youtube.com/user/cesupUFRGS Visitado
Figura 1 – Em A o professor segurando o marcador para pela ultima vez em 27/08/2010.
a captura por câmeras com controle remoto e a imagem
do switch no monitor e em B um suporte a criação de
272
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
273
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
274
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
This paper presents a prototype of an online system that Em Bottino [1], foi realizado um tratamento utilizando
uses the technology of Augmented Reality (AR) to assist in medicamento e treinamento cognitivo com um grupo de pa-
the treatment of patients with Alzheimer’s disease (AD). By cientes com doença de Alzheimer (DA), fase leve. Os resul-
markers placed in boxes of medicine, the system recognizes tados informaram que as estratégias de aprendizagem de-
the marker via a Webcam. The markers show information vem ser aplicadas a alguma necessidade do paciente em seu
of the drug, how many hours left they need to take the me- cotidiano.
dication and which period of day the patient should take it. Em Grandmaison [4], os autores analisaram os diversos
Also, the patient can play a game of questions and answers programas de estimulação da memória para pacientes com
related to his medication, using markers of AR. Finally, the Mal de Alzheimer e concluíram que o treinamento de me-
system provides graphics performance of the patient that mória ideal é aquele que apresenta informações úteis para a
may be important for the doctor and psychologist to assess vida diária do paciente.
the disease evolution. Em Engelhardt [2], participantes da IV Reunião de Pes-
quisadores em Doença de Alzheimer e Desordens relacio-
nadas, elaboraram recomendações e sugestões para o trata-
1. Introdução mento da DA. Dentre as recomendações, sugeriram que o
paciente utilize medicamentos e realize treinamentos cog-
nitivos.
Segundo Kirner [5], a Realidade Aumentada (RA) é
o enriquecimento do ambiente real com objetos virtuais,
usando algum dispositivo tecnológico, funcionando em 3. Apresentação do protótipo
tempo real.
A Realidade Aumentada é uma poderosa tecnologia que Basicamente, o paciente pode realizar três atividades
tem contribuído em diversas áreas como na educação, in- neste sistema: estudar os medicamentos, jogar o jogo de
dústria, publicidade e na área médica. Neste trabalho, a tec- perguntas e respostas e visualizar dados de desempenho do
nologia de RA é empregada para contribuir no tratamento paciente.
de pacientes com a Doença de Alzheimer (DA). Ao acessar o sitio pela primeira vez, é preciso cadas-
A DA é a principal causa de declínio cognitivo em adul- trar os dados pessoais e informações de cada marcador que
tos, sobretudo idosos, representando mais da metade dos ca- deve ficar “colado” na caixa de remédio. Feito o cadastro,
sos de demência. A idade é o principal fator de risco. Isso o usuário irá para o ambiente de treinamento. Neste ambi-
revela a magnitude do problema no Brasil, onde já vivem ente, por padrão, o usuário pode estudar os medicamentos
cerca de 15 milhões de indivíduos com mais de 60 anos [3]. apontando-os para o webcam como é visto na Figura 1.
Sendo assim, decidiu-se desenvolver um sistema de RA Na Figura 1, é apresentada informações de um remédio
baseado em pesquisas realizadas na área da saúde e em en- que deve ser tomado durante a tarde. O símbolo de um sol
trevista realizada com um psicólogo da área da Psicologia informa o período do dia. Além disso, o sistema informa
Cognitiva Experimental. quantas horas faltam para tomar o remédio. Do lado direito
275
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
da janela é exibido no painel outras informações do medi- profissional responsável pelo paciente pode ter um controle
camento. maior sobre como o tratamento está evoluindo. Além disso,
o psicólogo verificou que o sistema apresenta técnicas de
aprendizagem e atividades que são úteis para a vida diária
do paciente. Ele verificou também a facilidade de se utilizar
o sistema utilizando os marcadores de RA e a mobilidade de
se utilizar o sistema em qualquer computador conectado à
internet.
Referências
4. Resultados obtidos
276
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
277
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
5. Conclusões
A decisão de qual das estruturas de dados a
ser utilizada ainda não é clara, pois será
A estrutura de dados Opposite Face (OF) faz necessário realizar testes diferentes dos
uso de um vetor que contém as coordenadas realizados até então, analisando além do tempo
espaciais dos vértices e também de um vetor de necessário para carregamento das estruturas a
células (triângulos) que armazena os três índices busca por elementos da malha e a alteração de
dos vértices que compõem uma célula e os suas posições.
índices de suas células vizinhas. A Figura 2 Vem a ser importante a realização de
representa uma triangulação formada por seis comparações com a atual implementação do
células. A célula 0 é formada pelos vértices 0, 1
ViMeT, pois esta não apresenta as relações de
e 2 e possui como células vizinhas as vizinhança de forma explícita, diferentemente
identificadas por 1 e 5. do que esse trabalho propõe.
A continuidade deste trabalho prevê buscar
a estrutura de dados topológica que mais se
adequa ao tipo de problema abordado, integrar
esta estrutura no framework ViMeT e analisar o
quanto os resultados obtidos proporcionam de
ganho no desempenho das aplicações.
6. Bibliografia
4. Resultados Obtidos
Foram carregados diversos objetos [1]OLIVEIRA, A. C. M. T. G. de; NUNES, F. L. S.
utilizando as estruturas de dados CHE e OF, Building a Virtual Medical Training (ViMeT) open
apenas variando o tamanho de suas malhas. Os source framework. Journal of Digital Imaging, 2009.
resultados são mostrados na Figura 4.
[2]NUNES, F. L. S.;OLIVEIRA, A. C. M. T.
G.;ROSSATO, D. J.;MACHADO,
M. I. C. ViMeTWizard: Uma ferramenta para
instanciação de um
framework de Realidade Virtual para treinamento
médico In: CONF. LATINOAMERICANA DE
INFORMÁTICA, 33. 2007. p. 1–8.
278
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
mas limitações como: exibição de um único tipo de infor- distinguir diferentes classes de informação
279
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
que o possibilita inserir o cônjuge ou os filhos desta pessoa sos secundários utilizados na apresentação (recursos de “de-
conforme a Figura 1. coração”) para favorecer a abstração das informações rele-
vantes pelo usuário.
280
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
This paper proposes a low cost augmented re- Many projects use a safety helmet to assembly
ality system to be used on developments where the the equipment. On this work was used two head
applications are intended to be in first person view. lupes, one to fix the cameras and other to fix the
Is shown the hardware combination and an evalu- Wiimote.
ation on Linux and Windows environments. A vest was adapted to hold the netbook and to
fix the cabling. On Figure 1a is a picture of the
full mounted equipments, and on the Figure 1b is
1 Introduction shown a picture of how the equipment is mounted
on an user head.
AR (Augmented Reality) is the registration of
a virtual content with the user’s physical world.
Most works in the AR field are relied on systems
using third person vision provided generally by
webcams, so users are not stimulated to walk or
move otherwise than manipulate the desired AR
application[6] [1] [5].
This paper presents a design that was developed
to be a wearable AR setup.
Figure 1. (a) Full mounted equip-
2 Hardware Setup ments. (b) The equipment mounted on
user’s head
This prototype has a Standard USB2.0 Webcam,
a 3D webcam from Minoru1 , a Nintendo Wiimote,
a Vuzix Wrap 310XL2 as a HMD(Head Mounted
Display) and a Processing Unit: Asus EeePC 1201n 3 Analysis
3
.
1 http://www.minoru3d.com/ On Windows was tested the usability of the
2 http://www.vuzix.com/home/index.html Wiimote as whiteboard and head tracker[4],
3 http://usa.asus.com/product.aspx?P ID=sZ0sI6WqjnCHGFta PTAMM(Parallel Tracking and Multiple
281
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
282
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
283
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
prévio apresentado por alunos do 1º período de uma motos que servem de obstáculo, o sistema moto-piloto
turma de Engenharia Elétrica do Instituto Federal de percorre uma trajetória parabólica até atingir uma outra
Goiás – Campus Jataí. rampa posicionada logo após a última moto da fila.
• Lançamento de Avião: um avião voando bem
3 – Discussões dos Resultados próximo de uma superfície oceânica transporta uma
Esses resultados da pesquisa realizada foram bomba atômica. Alguns segundos depois o avião solta
essenciais para direcionar o foco das implementações e a bomba e ela cai em queda livre até atingir a água.
simulações desenvolvidas. Foi essa experiência que nos • Plataformas Rotacionais: Esta simulação é a
possibilitou vislumbrar melhor o produto final que que melhor explora as vantagens de RV, pois além de
poderia ser alcançado com a Realidade Virtual. explorar a força peso, explora também: força normal e
Apesar de as concepções alternativas em Dinâmica força de atrito. Durante a simulação, as plataformas
ser um fato consciente desde que nos propomos a giram e as caixas permanecem fixas sobre as mesmas,
desenvolver o software Força & Movimento, a sem realizar qualquer movimento em relação a um
pesquisa de campo nos possibilitou uma maior referencial inerte sobre as plataformas em que se
proximidade dessas concepções. Foi possível entender encontram.
e estudar as concepções alternativas com exemplos
mais concretos. 5 - Conclusão
A pesquisa sobre concepções alternativas em
4 - O Software Força & Movimento Dinâmica não nos deixou dúvida quanto à importância
O software intitulado Força & Movimento é de se estudar os movimentos segundo as forças que os
certamente uma novidade na área de simulações em provocam.
Física, uma vez oferece um ambiente tridimensional às O software Força & Movimento adiciona vantagens
suas simulações. Força & Movimento trata-se de um tridimensionais das simulações e a possibilidade de o
simulador de movimentos criado fundamentalmente usuário poder navegar pelo cenário e acompanhar de
para fornecer ao estudante e professor a possibilidade muito perto, numa Realidade Virtual, os movimentos
de simular determinados movimentos segundo as forças em estudo.
que se acredita serem responsáveis pelos mesmos. Acreditamos que uma vez exposto as conseqüências
Força & Movimento, que é capaz de simular de suas idéias, ou seja, após acompanhar virtualmente
movimentos importantes e mostrar ao usuário como se como se comportariam corpos em movimento sob a
comportaria determinado corpo em movimento se a atuação das forças escolhidas, o estudante, ou
natureza operasse segundo as forças admitidas pelo professor, terá oportunidade de repensar suas idéias. O
usuário para determinadas situações. usuário será levado a um confronto direto entre suas
A versão 1.0 do software possibilita ao usuário o concepções de mundo, e de funcionamento da natureza,
estudo de quatro simulações, intituladas: Tiro de e aquelas cientificamente aceitas. Essas concepções,
Canhão; Salto de Moto; Lançamento de Avião; e alternativas ao conhecimento científico, terão boas
Plataformas Rotacionais. As três primeiras abordam chances de serem superadas e substituídas pelo
movimentos parabólicos de corpos, ou seja, movimento conhecimento científico.
composto por dois movimentos retilíneos simultâneos
em direções perpendiculares. A outra simulação Referências
apresenta o Movimento Circular Uniforme de corpos.
Corroborando com os resultados apontados pela [1] KIRNER, C.; TORI, R.; SISCOUTTO, R.
pesquisa de campo. Fundamentos e Tecnologia de Realidade Virtual e
A partir da tela inicial do softeware, o usuário pode Aumentada. Belém-PA, Livro do Pré-Simpósio, VIII
ter acesso às simulações e ainda ter informações sobre Symposium on Virtual Reality. Editora SBC –
o desenvolvimento do software, seu funcionamento, Sociedade Brasileira de Computação. 2006. 277p.
suas funções principais e utilidades.
• Tiro de Canhão: um canhão alinhado a 45º em [2] NARDI, R.; GATTI, S. Uma revisão sobre as
relação ao solo dispara uma bala que, se movimenta investigações construtivistas nas últimas décadas:
numa trajetória parabólica até atingir o outro lado de concepções alternativas, mudança conceitual e ensino
um rio que separa dois lastros de terra firme. de ciências. Ensaio: Pesquisa em Educação em
Ciências, Belo Horizonte, v. 6, n. 2, 2008.
• Salto de Moto: uma moto acelera numa pista
inclinada até atingir uma rampa. Saltando sobre as
284
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Fábio Akira Nazima, Marcelo de Souza Augusto Zanetti, Antônio Carlos Sementille, Humberto
Ferasolli Filho, João Fernando Marar
Universidade Estadual Paulista – UNESP – Faculdade de Ciências - Bauru
E-mail:[email protected]
285
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
6. Resultados
Para construir o Módulo de Morfologia, foi
necessário o desenvolvimento de um grafo que representa
a cena aumentada.
Neste módulo são utilizados três marcadores: o
marcador de peças, o marcador pá e o marcador de
montagem. O Módulo de Morfologia tem seu
funcionamento baseado na aproximação de marcadores,
ou seja, para obter uma peça do marcador de peças, basta
aproximar o marcador de pá ao marcador de objeto Figura 2 - Ambiente aumentado utilizado no Módulo
(Figura 1 (a)), e automaticamente ele será ocultado do de Programação
marcador de peças e aparecerá no marcador de 7. Conclusões e Trabalhos Futuros
transporte (Figura 1 (b)). O processo de construção do Com a implementação do projeto, pode-se concluir
robô no marcador de montagem funciona de maneira que ferramentas que utilizam realidade aumentada
equivalente, ou seja, basta aproximar o marcador da pá possuem grande potencial para atuar na área educativa
corretamente ao marcador de montagem para o objeto com o intuito de tornar as aulas mais atrativas aos
aparecer no marcador de montagem e desaparecer do alunos. Outra importante conclusão é que a realidade
marcador de transporte, como ilustrado na Figura 1 (c). aumentada pode substituir em parte os kits de robótica,
principalmente no quesito de ensino de lógica
algorítmica.
Como trabalho futuro pretende-se aperfeiçoar o
sistema-protótipo desenvolvido por meio da introdução
de novas morfologias robóticas (criação de um banco de
dados de robôs virtuais); da melhoria da linguagem de
programação visual (introdução de uma gramática mais
(a) sofisticada); e da adição de um ambiente experimental
mais dinâmico (criação de diversos níveis de
dificuldade).
10. Referências
[1] Azuma, R. (1997). A Survey of Augmented Reality,
PRESENCE: Teleoperators and Virtual Environments.
V.6, n.4, August, p. 355-385.
[2] TORI, R., KIRNER, C. Fundamentos e Tecnologia de
Realidade Virtual e Aumentada. In: Livro do Pré-
(b) (c) Simpósio, VIII Symposium on Virtual Reality. Porto
Figura 1 (a) Representa o processo de captura do Alegre: SBC – Sociedade Brasileira de Computação,
objeto; (b) Representa o transporte da peça até o Cap. 2, p. 25-26, 2006.
marcador de montagem; (c) Mostra a peça já no [3] KIRNER, C., SISCOUTTO, R. A. (2008).
marcador de montagem. Fundamentos de Realidade Virtual e Realidade
O segundo módulo do projeto, o Módulo de Aumentada. In: Realidade Virtual e Aumentada: Uma
Programação, cujo ambiente aumentado é mostrado na Abordagem Tecnológica. Sociedade Brasileira de
Figura 2, tem por objetivo ser um primeiro contato dos Computação – SBC. João Pessoa – PB. Parte 1, p. 1-18,
alunos do ensino médio e fundamental com a lógica 2008.
286
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Alexandre Carvalho Silva, Ligia Christine Oliveira Sousa, Marcos Wagner de Sousa Ribeiro1
Alexandre Cardoso2, Edgard Lamounier2
287
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
288
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Rainier A. F. Sales
Pontifícia Universidade Católica de Minas Gerais
[email protected]
Resumo
No meio acadêmico, a videoconferência
Atualmente, as redes estão suportando cada virtual pode ser usada como uma ferramenta alternativa
vez mais e melhor o tráfego de áudio e vídeo em tempo para o ensino e aprendizagem, sendo utilizada por meio
real com alta qualidade e definição, o que viabiliza o de programas para o ensino a distância, por exemplo.
desenvolvimento de aplicações avançadas (que por sua Desta forma, as escolas, universidades e bibliotecas
vez exigem maiores capacidades), tais como podem compartilhar dados e principalmente interagir
videoconferência virtual, vídeo interatividade, por meio do intercâmbio de informações e ações de
bibliotecas digitais e laboratórios virtuais. O seus personagens, como na realização remota de aulas
desenvolvimento destas aplicações favorece tanto a e palestras virtuais. Essa troca de experiência entre
comunidade acadêmica e instituições de pesquisa professores e alunos a grandes distâncias pode ser
quanto o setor comercial, pois abre um novo mercado realizada como se estes estivessem presentes em um
para profissionais, pesquisadores e estudantes. mesmo local possibilitando até mesmo mecanismos de
diversão antes, durante e após a imersão.
Uma videoconferência virtual pode ser
entendida como uma junção entre conferência na forma
mais básica “a transmissão de imagem e voz entre dois
ou mais locais separados fisicamente, utilizando
câmeras de vídeo, microfones, monitores de vídeo e
caixas de som²” e a inserção de seus participantes em
um mundo virtual. Baseando-se neste conceito simples,
algumas aplicações podem modificar ou aumentar sua
complexidade. Um exemplo é a tele medicina, que
possibilita diagnosticar doenças e monitorar pacientes
remotamente, representando não apenas uma
alternativa de comunicação entre as partes envolvidas,
mas também um meio de participação de profissionais
da área, sem que estejam no mesmo local, podendo um Imagem II – Vídeo conferência Virtual (Fonte: Autoria própria)
paciente ter a sua doença diagnosticada e explicada
rapidamente e desta maneira tratada precocemente. O artigo, a que este resumo se destina, tem
como objetivo apresentar alguns conceitos
relacionados à videoconferência tradicional inseridos
em uma videoconferência virtual e, a partir destes,
avaliar cenários e ambientes dos participantes
envolvidos. Neste projeto foi realizada uma
padronização do ambiente para videoconferência
baseando-se em parâmetros que foram estabelecidos de
acordo com a recomendação ITU-T F.730. Como
resultado, foi possível estabelecer e fixar um conjunto
mínimo destes parâmetros que poderão ajudar o
usuário a prover ou fornecer videoconferências virtuais
que atendam à suas necessidades.
Imagem I – Tele medicina (Fonte: Autoria própria)
289
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Referências
[1] BATES, R.J. and GREGORY, D. Voice and Data
Communications Handbook, McGraw-Hill Series on
Computer Communications, 1997;
290
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Alexandre Cardoso, Bruno Souto Borges, Edgard Lamounier, Hulgo Leonardo Jacinto Andrade,
Marcos Wagner Souza Ribeiro, Pedro Moises, Roger Luz
Instituto Luterano de Ensino Superior de Itumbiara
Av. Beira Rio, 1001 – Bairro Nova Aurora
CEP 75523-230, Itumbiara-GO
Brasil
1. INTRODUÇÃO
291
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
transformações, diferentes modos de visualização e a dos; OLIVEIRA, Mario Jorge F. de; CUNHA,
mudança dos atributos de interação do ambiente: Gerson Gomes; LANDAU, Luiz. Utilização de
Técnicas de Realidade Virtual na Visualização de
1 – Botão de configuração para navegação usando o Simulação de Atendimento em Hospital.
mouse. Documento disponível no endereço eletrônico
2 – Botões de navegação de translação nos eixos X e Y. http://scholar.google.com.br/url?sa=U&q=http://w
3 – Botões de navegação de rotação nos eixos X, Y e Z. ww.lamce.ufrj.br/grva/wrv2002/index.php%3Fgo
4 – Botões de navegação de translação no eixo Z. %3Dartigos/wrv2002_A212.pdf, julho 2009.
5 – Botão para reiniciar o ambiente.
6 – Botões para manipulação dos objetos no ambiente. [4] SANTOS, Cássia Trojahn dos. Um Ambiente
7 – Campos para escolha de modelos pré definidos. Virtual Inteligente e Adaptativo Baseado em
8 – Lista de objetos inseridos no ambiente. Modelos de Usuário e Conteúdo. Documento
9 – Cadastro das preferências geradas pelo aplicativo. disponível no endereço eletrônico
http://scholar.google.com.br/url?sa=U&q=http://inf
.unisinos.br/~cassiats/dissertacao/artigos/final_cass
3. CONCLUSÕES ia.pdf , julho 2009.
Constatou-se por meio dos testes realizados, que a [5] GUIA, Aléxis; ANTUNES, Ricardo José.
criação do Ambiente Virtual trouxe facilidades nas Animação 3D. Documento disponível no endereço
tarefas executadas no dia-a-dia na construtora, isto eletrônico
levando em conta os resultados obtidos por meio destes http://student.dei.uc.pt/~aguia/pagina/artigo.html,
testes, onde pode se observar que o protótipo teve uma julho 2009.
facilidade de interação por parte dos usuários atingindo
um dos principais objetivos deste artigo. [6] MINCHOLA, José Antonio Luján; WETZEL, Luiz
Foi observado também que a utilização deste Fernando Stein. Aspectos Implementacionais de
protótipo também diminuiu os retrabalhos dos Interfaces Gráficas. Documento disponível no
engenheiros nas alterações dos projetos de seus clientes, endereço eletrônico
alem de tornar o ambiente da construtora mais http://www.dca.fee.unicamp.br/~ting/Courses/ia36
convidativo, atingindo assim outro objetivo do artigo 9/projs/monografia/minchola_wetzel/monogra.htm,
julho 2009.
4. REFERÊNCIAS BIBLIOGRÁFICAS
[7] OSORIO, Fernando S.; MUSSE, Soraia R.;
[1] SANTOS, Eduardo Toledo; ZUFFO, Marcelo SANTOS, Cássia T. dos; HEINEN, Farlei;
Knörich; NETTO, Marcio Lobo; LOPES, Roseli de BRAUN, Adriana ; SILVA, André T. da.
Deus.Computação Gráfica : Estado da arte e a Ambientes Virtuais Interativos e Inteligentes:
pesquisa na USP. Documento disponível no Fundamentos, Implementação e Aplicações
endereço eletrônico Práticas. Documento disponível no endereço
http://66.94.231.168/search/cache?rts=0&p=artigo+ eletrônico http://
computacao+grafica&ei=UTF- www.inf.unisinos.br/~osorio/palestras/jai04-
8&btweb=Buscar&meta=vl%3Dlang_pt&fl=1&vl= avii03-2pp.pdf, julho 2009.
lang_pt&u=www.lsi.usp.br/%7Elobonett/publicatio
ns/2001.11_GRAPHICA_ComputacaoGraficaUSP- [8] RIBEIRO, Marcos Wagner de Souza. Arquitetura
PFV.pdf&w=artigo+computacao+grafica&d=eQcK para distribuição de ambientes virtuais
BEa qMwJy&icp=1&.intl=cd, julho 2009. multidisciplinares. Tese de doutorado.
Universidade Federal de Uberlândia – Faculdade
[2] NETTO, Antonio Valério; GOUVEIA , Juliana de Engenharia Elétrica. julho 2009.
Denipote; CATERIANO, Patrícia S. Herrera.
Interface 3D para manipulação de dados em redes [9] ALVES, Daniele Guimarães; CABRAL, Tathyane
de distribuição de energia elétrica. Documento Dutra; COSTA, Rosa Maria Esteves M. da.
disponível no endereço eletrônico Ambientes Virtuais para Educação a Distância:
http://scholar.google.com.br/url?sa=U&q=http://w uma estrutura de classificação e análise de casos.
ww.dcc.ufla.br/infocomp/artigos/v4.4/art09.pdf, Documento disponível no endereço eletrônico
julho 2009. http://scholar.google.com.br/url?sa=U&q=http://ma
gnum.ime.uerj.br/cadernos/cadinf/vol14/4-
[3] GABCAN, Ludmila; SANTOS, Carlos Luiz N. rcosta.pdf , julho 2009.
292
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Resumo – O presente artigo traz, inicialmente, construída com o uso do software 3D Studio MAX foi
abordagens concernentes ao uso do computador no transformado para um arquivo com extensão .OBJ.
cotidiano das escolas de ensino fundamental, baseando-
se em autores que revelam a subutilização desse recurso 3. FUNCIONAMENTO DO SISTEMA
pelos docentes. Este trabalho apresenta argumentações O usuário vai interagir com o software utilizando o
teóricas sobre os benefícios que a utilização da teclado, onde poderá movimentar os objetos e conhecer
realidade virtual pode proporcionar para uma o ambiente virtual. Existem as opções de movimentação
aprendizagem significativa, além de apresentar uma e os pontos de visão que o usuário poderá escolher.
proposta metodológica de utilização desse recurso nas A escolha desses botões se deu através de
aulas de Geografia no ensino fundamental. observações cotidianas em crianças acostumadas com
. jogos, pois estas mesmas teclas são teclas de
Palavras-Chave – Computação Gráfica, Geografia, movimentação na maioria dos jogos mais populares
OpenGL, Realidade Virtual. atualmente.
A figura 1 mostra os botões onde o usuário
1. INTRODUÇÃO selecionará as peças virtuais. A tecla pra cima fará com
O desenvolvimento das novas tecnologias da que a próxima peça seja a peça que estará ativa e o
informação e comunicação nas últimas décadas vem botão pra baixo fará com que a anterior se ative.
afetando todos os setores da sociedade, diminuindo as
distâncias, minimizando esforços e tempo nas
atividades diárias e, sobretudo, ampliando as
possibilidades de acesso à informação. No âmbito
educacional, a disseminação do uso dessas novas
tecnologias tem permitido agilizar os serviços
administrativos e elaborar materiais didáticos. Diante
dos fatores de necessidades e potencialidades das áreas
de Computação Gráfica e Geografia, surgiu como tema
desse artigo, uso da realidade virtual como ferramenta
complementar de ensino da geografia.
2. IMPLEMENTAÇÃO DO SISTEMA
Figura1: Teclas de seleção
A implementação do sistema iniciou com a Para evitar que durante o processo de montagem o
modelagem dos objetos. A modelagem foi feita usuário perca as peças da tela foi montado um sistema
utilizando-se a ferramenta 3D Studio Max 2009. Os de zoom do ambiente que será explicado a seguir.
objetos foram modelados separadamente para que Z: A visão das peças se afasta deixando-as mais
depois possam ser agrupados para formarem o contexto longe.
do ambiente virtual. SHIFT+Z: A visão se aproxima deixando-as mais
A modelagem de objetos tridimensionais é feita, perto.
basicamente, utilizando formas geométricas básicas A figura 2 mostra a interface do mapa do Brasil
(cubo, esfera, cilindro) e aplicando a estas formas as com a qual os alunos começarão a trabalhar.
transformações geométricas que dão as formas do
objeto. Esses objetos são selecionáveis mediante
funções do OpenGL. O resultado dessa modelagem
293
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
30
25
20
15
Alunos
10
5
0
Ótimo Regular
294
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Maria Amelia Eliseo, Ismar Frango Silveira, Fabio Silva Lopes, Beatriz A. Pacheco Fronterotta
Faculdade de Computação e Informática – Universidade Presbiteriana Mackenzie
{mamelia,ismar,flopes,bia.pacheco}@mackenzie.br
1. Introdução
Os meios digitais têm se apresentado como
ferramenta potencial na reconstrução digital de
monumentos históricos. Passeios virtuais imersivos ou
Figura 1. Edifício Mackenzie nas esquinas das
não imersivos em edifícios que possuam um
ruas Itambé e Maria Antônia
significado histórico tem se apresentado como uma
nova forma de documentação e retratação do passado,
Construído em alvenaria estrutural, o edifício possui
conforme relatam os trabalhos de [1],[3],[4] e [5].
uma planta quadrada e três pavimentos.
Tais reconstruções digitais contribuem na
catalogação de edifícios representativos para o
patrimônio arquitetônico. Permitem ao usuário interagir 2. A Reconstrução Digital
com o modelo tridimensional ao explorar visualmente
seus espaços internos e externos. Através dessa Para a reconstrução digital do Edifício Mackenzie
experiência virtual o usuário é colocado em contato foi utilizado o software 3DS Max pela facilidade na
com o passado, revivendo-o, contribuindo com a criação de objetos tridimensionais ao manter a
preservação e a memória do patrimônio cultural. fidelidade dos detalhes inerentes à construção e a
Tendo em vista este contexto, esta pesquisa precisão nas dimensões dos elementos construtivos.
pretende mostrar a elaboração de um ambiente virtual Após a construção no 3DS Max o modelo virtual foi
em VRML que permita ao usuário interagir, através da convertido para VRML.
Web, vivenciando e explorando o Edifício Mackenzie, Houve a necessidade de construir objetos de apoio
tombado pelo CONDEPHAAT (Conselho de Defesa no formato e medidas das portas e janelas com a
do Patrimônio Histórico, Artístico, Arqueológico e ferramenta de composição disponível no 3DS Max,
Turístico do Estado de São Paulo) em 1993, por seu unindo dois objetos sólidos: cubo e cilindro, devido à
valor histórico e arquitetônico. forma arredondada destes elementos.
O objetivo foi modelar o Edifício Mackenzie, Estes objetos de apoio foram utilizados para fazer as
procurando manter a fidelidade de seus detalhes aberturas das portas e janelas nas paredes, através da
construtivos, bem como suas dimensões e proporções. operação de subtração.
295
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A construção da escada interna foi a parte mais plug-in. Durante o “passeio” ao se deparar com uma
delicada da reconstrução. Na primeira tentativa, o lupa, conforme Figura 4, e clicar em uma delas, o
desenho foi elaborado com as ferramentas de criação usuário irá visualizar uma janela com informações
automática presentes no 3DS Max e o tamanho do textuais sobre o edifício.
arquivo da escada ficou inviável para uma publicação
na Web. 5. Considerações Finais e resultados
Isto ocorreu devido à enorme quantidade de obtidos
detalhes, conforme figura 2,
O patrimônio arquitetônico reflete questões, sociais,
culturais, políticas e econômicas da sociedade em
épocas passadas. Sua preservação, física ou digital,
implica no reconhecimento de seus valores e sua
importância.
(a) (b) Como trabalhos futuros propõem-se a extensão do
Figura 2. Detalhe da escada interna. Modelo feito modelo virtual do Edifício Mackenzie para um sistema
no 3DS Max (a). Fotografia do ambiente real (b). imersivo, através de uma CAVE (Cave Automatic
Virtual Environment) que permita um “passeio” não
Para viabilizar a implementação da escada foram apenas através do espaço, mas através do tempo, além
utilizadas técnicas de otimização de desempenho de explorar o acréscimo de informações adicionais
gráfico desenvolvidas como a técnica de propriedade referentes ao modelo, armazenadas em um banco de
de estado [6], que se utiliza de grafos de cena e dados espaço-temporal.
possibilita o reuso e compartilhamento de objetos com O acréscimo de informações extras, como detalhes
características e propriedades idênticas. construtivos, curiosidades da época e a estruturação
Para a aplicação das texturas, foram tiradas fotos semântica dos dados irão enriquecer a aplicação,
diretamente do edifício, de vários detalhes, como a motivando os usuários a explorarem um pouco mais da
parede da figura 3, que foi utilizada no revestimento história e da cultura.
das paredes externas do modelo.
6. Referências
[1] CABRAL, M. ZUFFO, M. GHIROTTI, S. BELLOC, O.
NOMURA, L. NAGAMURA, M. ANDRADE, F. FARIA, R.
FERRAZ, L. An Experience using X3D for Virtual Cultural
Heritage. IN Web3D 2007, Perugia, Italy, 2007.
[2] ELISEO, M. A. ; PACHECO, B. A. ; LOPES, F. S. ;
SILVEIRA, I. F. . Visualização imersiva do patrimônio
Figura 3. Foto da parede externa do Edifício histórico: Um modelo espaço-temporal para o campus
Mackenzie, utilizada como textura em VRML Mackenzie-Itambé. In: XIII Congresso da Sociedade Ibero
O mundo virtual criado (Figura 4) permite que o Americana de Gráfica Digital - SIGraDi2009, 2009, São
usuário interaja com o modelo, e além de explorar seus Paulo. Anais do SIGraDi 2009, 2009. v. 1. p. 170-173.
[3] FRISCHER, B. (2008). Rome Reborn. Disponível em:
ambientes internos pode consultar outras informações
http://www.romereborn.virginia.edu/. Acesso em:
como características dos detalhes construtivos e a 12/11/2008.
própria história que envolve o Edifício. [4] GONÇALVES, Alexandrino. MENDES, António José.
(2003). Realidade Virtual na Reconstrução de Ambientes
Históricos: O Fórum Flaviano de Conimbriga. Disponível
em: http://www.nonio.uminho.pt/documentos/actas/
actchal2003/05comunicacoes/Tema10/03AlexandrinoGoncal
ves.pdf. Acesso em 25/09/2010.
[5] ROUSSOU, Maria. (2000). Immersive Interactive Virtual
Reality in the Museum. Athens: Foundation of the Hellenic
World. Disponível em: http://ui4all.ics.forth.gr/
i3SD2000/Roussou.PDF. Acesso em: 26/05/2007.
Figura 4. Entrada do Edifício Mackenzie virtual. [6] TORI, Romero, KIRNER, Claudio e SISCOUTO,
Para a interação com o modelo virtual do Edifício Robson. Fundamentos e Tecnologia de Realidade Virtual e
Mackenzie, o usuário tem a liberdade de seguir seu Aumentada. Belém: pré-simpósio – VIII symposium on
próprio “passeio” e explorar os ambientes internos do Virtual Reality, 2006.
edifício utilizando os recursos disponibilizados no
296
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
2. Motivação
Figura 1 - Arquitetura do sistema
Durante os processos construtivos convencionais é
comum utilizar-se projetos impressos em papel A0 Ainda é possível através de mapeamento da planta
onde os Mestres de Obras e Engenheiros seguem passo baixa gerar a extrusão das paredes de casas e edifícios,
a passo os detalhes construtivos de sua obra, sujeitos á para tal tarefa basta scanner uma planta em papel ou
erros interpretativos assim como dificuldade ao acesso salvar a mesma em formato imagem (BMP) em seguida
ás informações gráficas nos canteiros de obra. Quando o usuário marca quais paredes quer que sofram o
muito usam notebooks para acessar os projetos em extrude (erguidas do 2D para o 3D) este processo
formato CAD em 2D ou 3D, sujeitos á intempéries ainda está sendo trabalhado.
diversos que dificultam o acesso e a interpretação da Todos os dados são carregados no ambiente RA e
informação. exibidos através de óculos imersivos, ainda sendo
A contribuição deste trabalho é a utilização de possíveis algumas interações com o modelo gerado
Realidade Aumentada (RA) para proporcionar ao através de luvas especiais.
usuário a imersão e compreensão do fluxo de O sistema possui uma gama de objetos pré-
informação que normalmente é exibido em um sistema cadastrados existentes no software 3DStudio Max, mas
297
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
novos objetos podem ser inseridos no sistema bastando [1] Realidade Aumentada.
modelar e cadastrar o mesmo. http://realidadeaumentada.com.br/home/index.php
Uma vez inserido o modelo no ambiente RA, é ?option=com_content&task=view&id=6&Itemid=
possível explorar a obra usando os recursos do sistema. 28 27/08/2010 20:30hs/21:30hs.
Na Figura 2 abaixo é mostrado o usuário em campo,
com os acessórios de imersão e controle. [2] Caramelo, Frank, Imergindo na Arquitetura
com a Realidade Aumentada.
http://www.portaldoarquiteto.com/blog/frank-
caramelo/4326-imergindo-na-arquitetura-com-
a-realidade-aumentada 26/07/2010 12:00/13:21
298
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Luciana de Oliveira Berretta1, 2, Fabrizzio Alphonsus Alves de Melo Nunes Soares1, Deborah Silva Alves Fernandes1, Edgard
Lamounier2, Alexandre Cardoso2 e Marcos Wagner de Souza Ribeiro1
1 - Departamento de Ciência da Computação - Universidade Federal de Goiás – Campus Jataí
2- Laboratório de Computação Gráfica – Universidade Federal de Uberlândia
[email protected] , [email protected], [email protected], [email protected], [email protected] e
[email protected]
299
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
300
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
301
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Circular, parte da Mecânica que relaciona definições de 90% dos professores e 85% dos alunos opinaram
fundamentais como aceleração e velocidade. favoravelmente à aplicabilidade do sistema.
Na construção do protótipo foi utilizado
FLARToolKit, primeira biblioteca de software para 7. Conclusões e Trabalhos Futuros
desenvolvimento de aplicações de Realidade
Aumentada baseada em Flash e derivada do popular Após a análise dos resultados oriundos do processo
ARToolKit [4]. avaliativo, pôde-se concluir que o objetivo exposto foi
alcançado.
5. Implementação e Funcionamento do O enfoque na imersão e na interatividade da
Sistema Realidade Aumentada proporciona o aperfeiçoamento
do ensino e, consequentemente, o enriquecimento do
A coexistência entre o real e o virtual foi possível aprendizado, adquirido de forma plena a partir de
com a utilização de um globo terrestre real estímulos visuais e táteis. A possibilidade de presenciar
representando o planeta. Um satélite artificial a ocorrência virtual de fenômenos físicos, impossíveis
orbitando-o foi a contribuição virtual. Apesar do de serem vistos ou demonstrados no mundo real,
movimento dos satélites artificiais ser elíptico, este desperta o interesse do aluno para o estudo e
contexto é valido por permitir a visualização do compreensão do ocorrido, aproximando-o da
movimento uniforme em um contexto real e existente. formalidade científica da Física de maneira natural.
A sensação criada no movimento do satélite de que Para trabalhos futuros, sugere-se a expansão do
o mesmo está realmente orbitando o planeta foi obtida estudo de caso para outros tópicos da Física igualmente
ocultando-o no momento em que realizada a passagem considerados de difícil assimilação, como Movimento
por trás do planeta. de Projéteis, Conservação da Energia, Mecânica dos
Para a implementação das interações possíveis no Fluidos e Campo Elétrico.
sistema tornou-se necessário a criação e uso de
marcadores para cada finalidade: a) variação de Referências
velocidade; b) variação de aceleração; c) variação do
raio. Aumentar ou diminuir estes valores depende do [1] ARAÚJO, Dionata M. de, et al. Uso de Realidade
posicionamento dos respectivos marcadores sobre Aumentada como Ferramenta Complementar ao Ensino das
opções suspensas na cena gráfica do sistema. Estas Principais Ligações entre Átomos. In: 6° Workshop de
Realidade Virtual e Aumentada – WRVA, Santos, 2009.
opções são os sinais de adição (+) e subtração (–), que
ficam no canto superior direito do sistema e aparecem [2] BONADIMAN, Helio; NONENMACHER, Sandra E.B..
sempre que um dos marcadores de interação é O gostar e o aprender no ensino de Física: uma proposta
identificado. A Figura 1 ilustra os objetos virtuais e metodológica. Cad. Bras. Ens. Fís., v.24, n.2: p.194-223, ago.
seus respectivos menus. 2007.
302
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Uso da Realidade Virtual Como Ferramenta Auxiliar no Ensino das Três Leis de
Newton da Física
Thamer Horbylon Nascimento, Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino
Xavier de Camargo, Wanderley de Souza Alencar e Marcos Wagner de Souza Ribeiro
Departamento de Ciência da Computação – Universidade Federal de Goiás – Campus Jataí, GO
[email protected], , [email protected], [email protected], [email protected],
[email protected], [email protected] e [email protected],
Resumo – O objetivo deste trabalho é demonstrar a causando falhas no processo, que não poderão ser corrigidas
possibilidade do estudo de um conteúdo com a ajuda do em curto prazo [4].
computador usando a Realidade Virtual como instrumento Um forte apoio para minimizar essas dificuldades ou até
para criação de ambientes virtuais que simulem aspectos da mesmo resolvê-las dependendo da situação aplicada é a
área da Física. O projeto culminou no desenvolvimento de Informática. Ao utilizar o computador, são criadas condições
um software educacional baseado em Realidade Virtual, para que o aluno construa seu conhecimento por meio da
desenvolvido em JAVA 3D a fim de auxiliar o ensino interação, visualização e simulação de situações que podem
didático, exemplificando um conteúdo específico de uma até ser impossibilitadas por meios tradicionais. Neste
disciplina, em que estudantes possuem dificuldade no contexto computacional a Realidade Virtual, um dos
aprendizado, facilitando a visualização dos fenômenos melhores instrumentos para criação de cenários imaginados,
associados a este conteúdo. pode resolver o grande problema de abstração de alguns
conteúdos, como por exemplo, a Física, área extremamente
Palavras-Chave – Física, Interação, Realidade Virtual, carentes de procedimentos de simulação [2].
JAVA 3D.
2. METODOLOGIA UTILIZADA
Abstract – The objective of this work is to demonstrate to the
possibility of the study of content with the aid of the Entrevistas foram feitas com professores da rede pública e
computer using the Virtual Reality as instrument for virtual particular com relação aos principais problemas encontrados
environment creation that simulates aspects of the area of pelos alunos durante as aulas da disciplina de Física. As três
the Physics. The project culminated in the development of a leis de Newton foram identificadas como sendo áreas
based educational software in Virtual Reality, developed in carentes em sistemas que simulem e demonstrem seu
JAVA 3D in order to assist didactic education, giving the funcionamento.
example a specific content of one disciplines, where students
2.1. Tecnologias de Apoio
possess difficulty in the learning, using the potentiality of the
Virtual Reality as a tool of support to education being able to
No desenvolvimento desse projeto foram utilizadas
facilitate the learning of this content of a faster and
algumas dessas tecnologias para a construção do protótipo:
interactive form.
a) Java (Java 3D) (manipulação dos objetos virtuais).
1
b) 3D Studio Max (modelagem geométrica dos objetos).
Keywords - Physics, Interaction, Virtual Reality, JAVA 3D.
2.2. Diagrama da Arquitetura do Sistema
1. INTRODUÇÃO A Figura 1 representa arquitetura do software,
O conhecimento pode ser adquirido de diversas formas, demonstrando a visão geral das partes que compõe o sistema
pois há diferentes maneiras de aprender, mas a troca da e da comunicação envolvida nessas partes.
abstração pelo real, certamente traz bons resultados [1].
Porém, em muitos casos, não é possível simular ou
demonstrar realidade sem o uso de mecanismos que
aumentam ou transformam a capacidade dos sentidos
humanos [3]. Há alguns fatos que não possuem
possibilidade de demonstração, às vezes pelo seu custo,
outras vezes pelo risco e até mesmo por seu acontecimento
ser raro. Para alguém que desconhece algum desses assuntos,
o entendimento dos mesmos na maioria das vezes acontece
por meio de desenhos, funções e até por definições escritas
ou faladas, acarretando enormes dificuldades de aprendizado
inerentes ao método de ensino usado. Tradicionalmente os
métodos baseados na aplicação do giz e quadro negro, das
aulas dialogadas, tornam-se cansativos e desmotivantes
303
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A arquitetura proposta é formada pelas seguintes partes: demonstrada a mesma matéria, porém com a utilização do
- Ambiente Virtual (Leis de Newton). ambiente virtual, mostrando aplicações das três leis de
- Modelos Geométricos. Newton em uma outra visão, onde os alunos tiveram uma
- Motor JAVA 3D. participação mais interativa com o ambiente de física. Em
seguida foi aplicado um questionário para que os usuários do
2.2.1 Ambiente Virtual processo pudessem demonstrar suas opiniões mais pessoais
O ambiente virtual é constituído de interfaces que com sugestões em relação ao uso de Realidade virtual no
permitem ao usuário escolher simulações com as três Leis de ensino das três leis de Newton.
Newton. Os resultados finais foram satisfatórios, pois 93% dos
usuários do processo opinaram que o aprendizado foi bem
2.2.2 Interface Gráfica do Usuário – GUI estimulado com o uso do ambiente virtual de Física, e
A interface inicial indica ao usuário a possibilidade de três somente 7 % acharam que poderia-se ter outras formas de
opções (Inércia, Força e Ação/Reação). Para cada opção demonstrar as três leis de Newton na Física utilizando
existe outra interface que permite ao usuário interagir com o ambientes virtuais.
sistema.
6.2. Conclusões
2.2.3 Modelos Geométricos
A camada Modelos Geométricos armazenam no formato Após a exposição do sistema aos usuários, foi notável que
de arquivo 3DS os objetos modelados geometricamente com ao utilizar Realidade Virtual no ambiente de aprendizagem,
uso da ferramenta 3D Studio Max. houve um aumento na motivação tanto dos alunos como nos
professores no processo de ensino e aprendizagem do
2.2.4 Motor Java (Java 3D) conteúdo.
Responsável pela leitura dos arquivos dos Modelos Conclui-se também que o método e a tecnologia usada
Geométricos, propiciando navegação e interação direta com para a construção desta aplicação em específico são bem
os objetos virtuais. Todas as transformações geométricas simples, mas, no entanto propiciam excelentes resultados,
necessárias são realizadas nesta camada. principalmente por não necessitar de equipamentos de grande
porte.
4. IMPLEMENTAÇÃO 6.3. Trabalhos Futuros
Como trabalho futuro a este considera importante a
Inicialmente os objetos geométricos necessários no
utilização da Realidade Aumentada.
ambiente virtual foram modelados no software 3D Studio
Max e exportados para o formato .3DS. O protótipo realiza a REFERÊNCIAS BIBLIOGRÁFICAS
leitura do arquivo e disponibiliza uma matriz de índices de
vértices, vértices, normais, materiais e texturas dos objetos. [1] BYRNE, C. M. The Use of Virtual Reality as
Educational Tool. Washington University, 1995.
4.1 Movimentação dos objetos virtuais Documento disponível no endereço eletrônico
Todas as interações existentes no modelo foram http://www.hitl.washington.edu/publications/r-93-6,
implementadas diretamente em Java 3D. As interações e novembro 2005.
consequentes simulações tratam das três leis de Newton.
[2] FILHO, Kepler de Souza Oliveira, SARAIVA, Maria de
Fátima Oliveira Saraiva. Isaac Newton. 2010.
6. AVALIAÇÃO, RESULTADOS E CONCLUSÕES Documento disponível no endereço eletrônico
http://astro.if.ufrgs.br/newton/index.htm, agosto 2010.
6.1. Avaliação e Resultados [3] KIRNER, Cláudio. Sistemas de Realidade Virtual.
Grupo de Pesquisa em Realidade Virtual, Departamento
O ambiente foi apresentado a alunos e professores de uma de Computação – UFSCar. 1997. Documento disponível
escola pública e outra privada. O ambiente foi testado por no endereço eletrônico http://www.dc.ufscar.br/~grv/,
cerca de 30 alunos dessas escolas que apresentaram setembro 2005.
dificuldades no conteúdo das três leis na disciplina de Física
e respectivamente para 2 (dois) professores da disciplina. [4] RIBEIRO, Marcos Wagner de Souza. Uma arquitetura
Inicialmente houve uma apresentação formal do ambiente para ambientes virtuais distribuídos. 2005. 105f. Tese
tanto para alunos quanto para professores e a real finalidade (Doutorado em Ciências) Faculdade de Engenharia
desta demonstração. Primeiramente foi ministrada uma aula Elétrica, Universidade Federal de Uberlândia, 2005.
nos moldes normais para alunos, usando apenas quadro e giz
para a explicação das leis. Em um outro momento foi
304
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Bruno Moraes Rocha, Emilia Alves Nogueira, Rafael Tomaz Parreira, Vanessa Avelino Xavier
de Camargo, Thamer Horbylon Nascimento, Fabrizzio Alphonsus Soares de Melo Nunes e
Marcos Wagner de Souza Ribeiro.
Departamento de Ciências da Computação – Universidade Federal de Goiás, Campus - Jataí
[email protected], [email protected], [email protected], [email protected],
[email protected], [email protected], [email protected]
305
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Assim pode-se entender que RV permite ao usuário geométricos e sua específica manipulação dentro
interação, navegação e imersão em um ambiente ambiente. Também foram criadas condições de
tridimensional sintético, gerado pelo computador por navegação no sistema por meio de transformações
meio de canais multisensoriais dos cinco sentidos geométricas no ambiente e especialmente em cada um
(visão, audição, tato, olfato e paladar). dos objetos.
Os objetos existentes no ambiente virtual foram:
2. Realidade Virtual no tratamento de estação de metrô, visão interna da mesma, visão
fobias externa a partir de dentro do comboio e uma visão
externa (vídeo) dos trilhos por meio de uma janela
Os ambientes virtuais construídos utilizando a RV comboio.
como ferramenta de desenvolvimento, utiliza como
abordagem e ocorre por meio da exposição do 4. Funcionamento do sistema
paciente a situações criadas com a tecnologia da RV.
Tais ambientes simulam situações reais temidas pelo O sistema foi desenvolvido para que profissionais
paciente. Sua eficácia é descrita em diversos trabalhos da área de Psicologia analisar todos os níveis de fobia
realizados na Europa e nos Estados Unidos [3]. existentes em seus pacientes. Existem três níveis para
Outro fator relevante no uso destes ambientes é a estudar e avaliar o paciente:
possibilidade de graduação dos estímulos que é - Nível 1: observando suas reações na estação e
relacionada a uma hierarquização dos ambientes de diante do comboio. De acordo com a avaliação do
acordo com obstáculos, que aumentam a ansiedade do profissional de Psicologia, o paciente passe ou não
paciente. para o próximo nível.
- Nível 2: observando suas reações dentro do
3. Metodologia e arquitetura do sistema comboio. Onde o paciente sempre terá na sua visão
frontal um corredor caminhando para sua devida
poltrona.
3.1. Metodologia do sistema
- Nível 3: observando suas reações diante ao trem.
Neste nível o paciente já fica sentado ao lado da
No desenvolvimento desse trabalho, foram feitos
janela. Onde se passa um vídeo com imagens extraídas
levantamento bibliográfico do assunto de
de viagens reais, incluindo sincronismo com alguns
Siderodromofobia e da área (RV) usada para construir
eventos.
o sistema. Logo após analisar esses dados, foi possível
Em termos de tratamento, se o paciente tiver um
dar inicio ao desenvolvimento, modelagem do
bom resultado ele poderá entrar e acessar todo o
ambiente proposto.
ambiente interno do metrô.
O contexto inicial do trabalho foi uma simulação
de uma viagem de trem por um roteiro fictício. Em
seguida este ambiente foi modelado geometricamente
5. Referências bibliográficas
usando o software 3D Studio Max. Os arquivos
[1]. Freitas e Paulo, “Transtornos mentais relacionados a
contendo a modelagem dos objetos foram lidos por medos e fobias.” Disponível em:
pelo software loader. Toda a interatividade do sistema <http://www.psicologiananet.com.br/transtornos-
foi construída com uso da biblioteca de acesso á mentais-relacionados-a-medos-e-fobias/358/> Acesso:
hardware gráfico OpenGL. 10 de agosto de 2010, 21h40min.
306
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Abstract
The work objective of this is to develop a 2. Motivação
distributed Virtual Reality and Augmented Reality Uma das motivações para o desenvolvimento de
system, where the environment virtual objects will be ambientes virtuais de RV e RA distribuídos na Web
more flexible, allowing to open the virtual model, está na possibilidade de transformar o mesmo em um
distribute and also convert it into Augmented Reality. lugar social onde uma comunidade de usuários que
Will be possible to modify a higher parameters amount compartilham e interage essa informação (KIRNER et
of the object and the virtual environment. Will be al, 2000) .Sendo que a educação deve ser um processo
developed a VRML editor to edit and create virtual de construção de conhecimento ao qual ocorrem em
objects. Thus, this research has the target to present condição de complementaridade, por um lado, os
an architecture to support the Virtual Reality alunos e professores e, por outro, os problemas sociais
Environment and Distributed Augmented Reality. The atuais e o conhecimento já construído (BECKER,
main objective is to investigate how to allow such 1992).
distribution, especially augmented environments, in O objetivo desse projeto é desenvolver um sistema
Distance Learning projects para distribuição de RV e RA, onde os objetos virtuais
do ambiente terão maior flexibilidade, podendo-se
1. Introdução abrir um modelo virtual qualquer, distribuí-lo e
A maioria destes sistemas apresenta algumas convertê-lo em RA. E ainda poder-se-á alterar uma
limitações: quantidade maior de parâmetros da cena ou do
• Distribuição somente em rede locais: ambientes ambiente virtual.
virtuais distribuídos em rede local implica na
utilização somente em um local físico (laboratório), 3. Arquitetura Proposta
por exemplo, sendo assim não permite a utilização A arquitetura proposta permite a conexão de vários
adequada em ambientes em Educação à Distância (n) usuários conectados a um Ambiente de
(SILVA, 2008). Distribuição de Realidade Virtual e Aumentada,
• Distribuição ora de RV ora de RA: não contemplando utilizando de uma interface que permita a manipulação
as duas tecnologias simultaneamente (SILVA, 2008). de objetos virtuais. A Figura1 apresenta esta
A vantagem de utilizar as duas tecnologias é o Arquitetura.
melhor aproveitamento ou entendimento de um
modelo virtual e um ambientes mais rico de
aprendizado, como por exemplo em modelos
atômicos deixam de ser apenas descritos ou
ilustrados pelo professor através da lousa. A
interatividade efetiva das técnicas de RV e RA
propiciam ao estudante acesso, facilitando a
compreensão em nível teórico.
Este trabalho propõe uma arquitetura flexível tanto
para o uso de ambientes RV e RA distribuídos e
promover a distribuição não só em Redes Locais
(LAN) como também na Internet, assim possibilitando Figura 1 – Arquitetura do Protótipo
a aplicação em ambientes de Educação à Distância.
307
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
A arquitetura proposta é composta pelos seguintes A distribuição de objetos com um cliente especifico,
módulos: isso facilita a comunicação do servidor com um
Interface Gráfica com o usuário (GUI): possui o único cliente. No protótipo desenvolvido a
módulo de conexão do sistema, e a interface de distribuição ocorre para todos os clientes (broadcast).
visualização RV e RA. O uso de Java ao invés de C++, para ter acesso a
Servidor: Servidor da aplicação recebe dos clientes recursos de manipulação do ambiente que em C++
e distribuí na rede de computadores as informações são pagos.
acerca dos objetos que devem ser editados e A utilização da biblioteca FlarToolKit para permitir o
distribuídos. A interface do servidor é subdividida em uso da Realidade Aumentada pela Internet através
três partes, a primeira é responsável por (iniciar ou de um browser independente do Sistema
finalizar o Servidor), a segunda controla a quantidade Operacional utilizado. O protótipo trabalha somente
de clientes conectados e a terceira tem a função de em ambiente Windows devido à linguagem escolhida
receber as mensagens e propagar para todos os clientes para seu desenvolvimento ser em C++ que é bastante
conectados ao servidor. A Figura 2 mostra cada parte. robusto na comunicação via sockets e também faz
ótima integração com o ARToolKit.
Este trabalho objetivava apresentar um protótipo
para distribuição de RV e RA, neste sentido pode-se
dizer que foram cumpridas as metas.
O artigo apresenta uma arquitetura que suporta o
funcionamento de um Ambiente de Realidade Virtual e
Aumentada Distribuída. Ainda permite a visualização
de modelos virtuais RV e RA e a inserção de novos
modelos virtuais na biblioteca comum e alteração
parâmetros dos objetos virtuais.
Além da teoria apresentada, este trabalho contribuiu
Figura 2 – Interface Servidor com um desenvolvimento de um protótipo que pode
Cliente: este módulo possui a parte de conexão do ser considerado um embrião para auxiliar no
cliente através do endereço IP do servidor (1), uma aba aprendizado tanto presencial e para a Educação à
de visualização da interface RV e RA (2) e ainda um Distância.
chat que permite a comunicação via texto (3), como
pode ser visualizado na Figura 3. 5. Referências Bibliográficas
(CARDOSO et al, 2007) CARDOSO, A.; KELNER,
J.; KIRNER, C.; LAMOUNIER, E. Tecnologias
para o desenvolvimento de sistemas de realidade
virtual e aumentada.; Editora Universidade da
UFPE. Recife – PE. p.4. 2007.
(KIRNER et al, 2000) KIRNER, C., IPÓLITO, J.
"Projeto de Ambientes Virtuais Multi-Usuários
Usando Java e VRML". Proceedings Workshop
Figura 3 – Interface Cliente on Virtual Reality (2000), Gramado, p.169-179.
(RIBEIRO, 2005) RIBEIRO, Marcos Wagner de
4. Conclusões e Trabalhos Futuros Souza. Arquitetura para Distribuição de
Com os resultados obtidos através dos testes Ambientes Virtuais Multidisciplinares,
realizados com usuários, foi possível verificar que o Uberlândia, Faculdade de Engenharia Elétrica -
protótipo atingiu os pontos propostos, como: uma UFU, 2005, 176p
arquitetura que suporte simultaneamente a distribuição (SILVA, 2008) Wender A. Uma Arquitetura para
de RV e RA. A inserção de novos modelos virtuais na Distribuição e Colaboração em Ambientes
biblioteca com e ainda a alteração de uma quantidade Virtuais de Realidade Aumentada, Uberlândia,
maior de parâmetros do modelo virtual. Faculdade de Engenharia Elétrica - UFU, 2008,
Apesar de ter atingido os objetivos propostos a esta 215p.
pesquisa, diversas melhorias podem ser contempladas,
como por exemplo.
308
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
1. INTRODUÇÃO
3. FUNCIONAMENTO DO SISTEMA
Fig. 3. Problema escrito.
Na figura 1, mostra a tela inicial do sistema, em
seguida aborda o funcionamento de cada botão e como A figura 4 representa o local onde o usuário irá
utilizá-los. escolher o numero do código cadastro pelo professor, assim
após a digitação do numero do problema, será
disponibilizado para o usuário responder.
309
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Fig. 5: Barra de menu. Fig. 7. Satisfação dos alunos com relação ao método.
310
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
Antônio S. Veloso1, Carlos Alberto C. Ramos1, Elizângela S. Moreno1, Jullyandry Coutinho1, Pedro
Ivo L. Souza1, Jacquelaine A. Machado1, Wender A. Silva2
1
Faculdade Atual da Amazônia – (FAA)
2
Universidade Federal de Roraima - (UFRR)
{veloso.rr, ellydvn, wender-silva, jacquelaine_itumbiara}@hotmail.com, [email protected],
[email protected], [email protected]
311
VII Workshop de Realidade Virtual e Aumentada (WRVA'2010), São Paulo(SP), 08 a 11 de Novembro de 2010
ocorre por meio de aplicações que usam o FLARToolkit, Tabela 1. Dados do questionário da pesquisa
onde o cliente apenas necessita instalar no navegador
(Internet Explorer, Firefox, etc), o plugin do Flash Player
versão 10 ou superior e depois permitir o acesso do
plugin à webcam possibilitando a visualização da
aplicação em Realidade Aumentada. [4].
3. Funcionamento do Sistema
O sistema apresenta um modelo de ambiente
virtualizado na web para teste
(www.vcempresa.com/icomprar_v2), onde o usuário ao
acessar a página, fará o download do marcador e
posteriormente poderá imprimir e assim posicionar o
marcador em frente a webcam para o objeto aparecer,
conforme demonstrado na Figura 1. Para manipulação do
objeto é necessário visualizar os comandos que estão 5. Considerações Finais
juntamente com o marcador.
Notou-se que apesar de algumas limitações de
usabilidade levantadas pelo estudo de caso, o sistema
mostrou-se adequado e atendeu os objetivos propostos,
onde apenas uma pessoa da amostra aparece insatisfeita
nos itens de três a cinco da Tabela 1. Foi constatado que
a idéia da junção da tecnologia e de processos
mercadológicos mesclou em atender as novas
Figura 1. Objeto (celular) atrelado ao marcador oportunidades de vendas nos negócios atuais e nas
necessidades desta classe de clientes que usam a internet
4. Resultados da Avaliação do Sistema como canal de comercialização, em detrimento ao grau
de satisfação, aceitação e opinião mencionadas na escala
Para a representação da quantificação dos dados, de Likert, onde a aceitação dos usuários com relação à
usou-se um questionário em forma de checklist, usabilidade do protótipo foi favorável, permitindo a
embasado na ISONORM 9241-10, que é um conjunto de interação e manipulação dos objetos por meio do teclado,
normas que permite avaliar a capacidade de um sistema validando a proposta de unir a área tecnológica de RA
interativo, oferecendo ao usuário a possibilidade de que está em ascensão, junto à técnica de Merchandising
realizar tarefas de maneira eficaz e agradável, onde fora para a exposição de produtos eletrônicos.
aplicado para avaliar e validar a usabilidade do sistema
quanto à aplicabilidade tecnológica e mercadológica [5]. 6. Referências
O questionário foi dividido em nove questões que
abrangem aspectos tecnológicos, mercadológicos, de [1] Adobe. Adobe Systems Incorporated,
http://www.adobe.com/br/flashplatform, Janeiro.
usabilidade e de conteúdo específico proposto no estudo
de caso deste trabalho que é mensurado pela escala de [2] Brandalise, Loreni Teresinha. “Modelo de medição de
Regis Likert. percepção e comportamento: uma revisão”. [S.l.: s.n.], 2005,
De acordo com [2], esta escala foi criada em 1932, http://www.lgti.ufsc.br/brandalise.pdf, Março.
sendo utilizada para medir os graus de aceitação [3] Brito, A. “Blender 3D guia do usuário”. Novatec, 2008.
relacionados aos produtos e serviços, funciona como um
[4] Cabana, Pablo. “Aprenda com Pablo Cabana, sócio-
indicador de diferentes graus de concordância ou
proprietário da Cabana Criação (cabanacriacao.com), como
discordância, como: grau de ocorrência, de aceitação, de criar uma animação 3D que “salta do papel” e que irá
opinião, de apreciação geral, de satisfação e grau de surpreender seus usuários”. Em pauta: Revista W, São Paulo, n.
atribuição de importância. 108, p. 64-66, 2009.
O universo alvo do estudo foram alunos e professores
da Faculdade Atual da Amazônia, porém nesta [5] ISONORM-9241-11:1998. “Ergonomic requirements for
office work with visual display terminals (VDTs) - Part 11:
amostragem foram estratificados dentre um universo de Guidance on usability”,
oitenta pessoas que acessaram o site e responderam ao http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_de
questionário após o uso do sistema na web, conforme a tail.htm?csnumber=16883, Maio.
mensuração dos resultados demonstrados na Tabela 1.
312