Videogame pode fazer cego ‘enxergar’ através de sons

A partir de parceria entre Unicamp e Microsoft, sistema desenvolvido com tecnologia de videogame pode transformar imagens em sons para simplificar o cotidiano de deficientes visuais

A criatividade humana não tem limites.  E uma das formas mais comuns é o resgate de conquistas anteriores, protagonizadas por outros cientistas e inventores, e, assim, adaptadas para novas realidades e desafios.

Se um antropólogo do futuro, daqui milênios, for descrever os objetos e criações humanas, um dos capítulos tratará das adaptações.

Pois bem: a Unicamp tem uma contribuição para o mundo que começa a partir de um videogame.  É através do sensor Xbox Kinect, lançado pela Microsoft para jogos de videogame, que pesquisadores desenvolveram um conversor de vídeos em informações sonoras.

A ideia é auxiliar deficientes visuais, possibilitando interações e ações ainda mais complexas. Conforme a criação da Microsoft, que teve dedo de um brasileiro na experiência batizada de “Projeto Natal”,  duas câmeras realizam  emissão de imagens e também captura a partir de luz infravermelha.

O mais interessante desta tecnologia utilizada em videogames, e muitas vez sequer percebida por quem usa, é a utilização de um algoritmo que produz valores de profundidade para cada ponto da imagem.

O que o projeto experimental da Unicamp tem feito: usar a parafernália para identificar objetos e usuários no ambiente. A ideia da Unicamp não foi apropriada sem consentimento da Microsoft.

Ao contrário, o pesquisador Dinei Florêncio, da Microsoft, participa ativamente dos estudos. O passo inicial é a utilização de protótipo. Mais uma vez, outra adaptação: o suporte é simplesmente o capacete de skatistas.

Em cima do objeto foi colocado um sensor Kinect. As duas câmeras foram conectadas a um laptop que apresenta capacidade acima da média de processamento de dados.  Os pesquisadores incluíram ainda um giroscópio, um acelerômetro e uma bússola. Pronto,  os dispositivos que registram as mudanças de direção da cabeça aliados da câmera poderiam ‘enxergar’ o ambiente a traduzir ao usuário. As funções desnecessárias, como no caso do Kinect, foram desativadas.

Nos experimentos iniciais, o laptop deve ser carregado pelo usuário dentro de uma mochila. Siome Klein Goldenstein, professor do Instituto de Computação da Unicamp e coordenador do projeto, explica que as informações ambientais chegam de imediato: “Os dados do ambiente captados pela câmera são processados pelo computador, que retorna a informação para o usuário em áudio”.

Financiado pela Fapesp e Microsoft, através do Programa Pesquisa em Parceria para Inovação Tecnológica (Pite), a ideia tem sido considerada alvissareira, pois envolve uma espécie de conhecimento fino agregado ao interesse público.

Conforme explicam os pesquisadores, o usuário poderá ter em seu poder fones de ouvido com outra espécie de tecnologia muito comum, a bone conduction.

Nela,  o áudio é transmitido chega aos ouvidos por meio da condução do som pelos ossos do crânio. Assim, os ouvidos ficam livres para escutar outras fontes sonoras do ambiente. Os feedbacks de áudio  são importantes, mas o deficiente visual não pode perder também seu próprio acompanhamento da realidade.

Siome Klein Goldenstein, pesquisador do projeto, explica que durante o projeto foram estudados vários cenários de uso para a tecnologia. Uma das aplicações que já estão prontas é um módulo de detecção e reconhecimento de pessoas em um ambiente fechado. Para que o sistema faça o reconhecimento, é preciso primeiro criar um cadastro de pessoas.

“Utilizamos uma técnica de localização de face e empregamos um algoritmo para classificação de cada uma das pessoas do cadastro”, explica Laurindo de Sousa Britto Neto, doutorando no Instituto de Computação da Unicamp e participante do projeto. Quando o usuário entra em um recinto com pessoas previamente cadastradas, o módulo de detecção e reconhecimento de face passa a informação para o módulo de áudio 3D, configurado para reproduzir um som na localização espacial de cada um dos presentes na sala. “Ao escutar o nome de cada uma das pessoas, o usuário saberá a posição exata em que ela se encontra”, explica Siome. “É como se o som saísse da cabeça da pessoa identificada pelo módulo de detecção.” O objetivo é fazer com que o deficiente possa virar o rosto na direção certa e se comunicar da forma mais natural possível.

A técnica de áudio 3D foi um capítulo à parte no desenvolvimento do projeto porque cada ouvido reage de forma diferente aos estímulos do mundo externo, segundo Siome. A pesquisa com áudio 3D foi conduzida por Felipe Grijalva Arévalo, equatoriano que chegou ao Brasil em 2012 para fazer o mestrado sob orientação do professor Luiz César Martini, da Faculdade de Engenharia Elétrica e de Computação da Unicamp, deficiente visual que trabalha com pesquisas direcionadas para esse público. Como cada cabeça tem uma anatomia diferente, é preciso recorrer a um processo chamado de personalização para gerar áudio 3D. “A abordagem mais simples consiste em usar medidas já conhecidas de anatomia da orelha e, a partir daí, traçar um modelo de personalização”, relata Felipe. Ele pesquisou o tema na sua dissertação de mestrado, coorientado por Siome, e atualmente continua a trabalhar com áudio 3D em sua tese de doutorado. Os testes foram feitos inicialmente com pessoas vendadas; na próxima etapa, após aprovação pelo comitê de ética da Unicamp, serão conduzidos com deficientes visuais. Após a realização de todos os experimentos necessários para a validação do novo sistema, ele poderá ser compartilhado com toda a comunidade. (Com Agência Unicamp)

Tecnologia terá múltiplas utilizações

l Outra aplicação que está em fase de finalização é um sistema de auxílio à navegação capaz de informar ao usuário onde há obstáculos à sua frente.

l O Kinect posicionado na cabeça do deficiente irá captar os quadros do vídeo que serão segmentados  em diversos planos, como chão, porta, escada. As informações serão então repassadas em áudio para o usuário.

l A ideia de transformar imagens em som para deficientes visuais não é nova, mas as tecnologias utilizadas pelo grupo de pesquisa da Unicamp resultaram em uma abordagem de reconhecimento mais simples para o usuário, com reprodução do ambiente natural.

l O dispositivo mais conhecido no mercado com esse conceito é o The vOICe, criado por Peter Meijer, do Laboratório de Pesquisas Philips, na Holanda. O sistema consiste de uma câmera comum acoplada a óculos – também pode ser utilizada a do smartphone –, que captam as imagens do ambiente, convertidas em imagens por um computador e transmitidas por meio de fones de ouvido.

l Nessa tecnologia atual, a câmera capta as cenas da esquerda para a direita e essas informações são recebidas pelo usuário no ouvido esquerdo e direito, alternadamente.

Um sensor Kinect, vendido nas lojas de videogame, pode ser solução para parte das dificuldades enfrentadas pelos deficientes visuais: tecnologia é investigada na Unicamp

Através de capacete de skatistas, com equipamento de videogame acoplado, cego poderá perceber informações do ambiente convertidas para sistema de aúdio