06 setembro 2022

Ouvir imagens visuais


Imagem obtida pelo novíssimo telescópio espacial Webb de um detalhe da nebulosa Carina, visível no hemisfério sul e situada a cerca de 8500 anos-luz de distância da Terra. Na parte de cima da imagem, vê-se o espaço sideral pontuado de muitas estrelas. Em baixo, um tumultuoso "mar" de poeiras cósmicas com estrelas pelo meio. O que se passa na fotografia é que várias estrelas situadas no cimo da imagem emitem tanta radiação, tanta radiação, que esta varre (para baixo na imagem) uma "nuvem" de poeiras, que se comprimem e que se agregam até que elas mesmas também acabam por dar origem a novas estrelas. Será possível mostrar esta imagem a uma pessoa que não vê? Como? (Foto: NASA, ESA, CSA, STScI)

A sinestesia é uma condição neurológica que algumas pessoas possuem, que as leva a associar um estímulo sensorial de um determinado tipo (por exemplo, um estímulo visual) a outro estímulo sensorial de tipo diferente (por exemplo, um estímulo auditivo). Uma luz suave poderá provocar-lhes a sensação de ouvirem um som mavioso, uma dada cor poderá produzir-lhes um determinado sabor ou a escuta de uma obra musical poderá dar-lhes a impressão de verem um caleidoscópio de cores e de formas evoluindo em simultâneo com os sons musicais. A sinestesia não é uma doença, é apenas um cruzamento de sensações que ocorrem no cérebro.

Certamente que algumas pessoas a quem falta um dos sentidos também poderão ser dotadas de sinestesia. Uma pessoa cega que tenha esta condição poderá sentir o cheiro de um som, por exemplo, embora não consiga obter qualquer sensação visual correspondente. Por outro lado, diante de uma imagem, essa pessoa não poderá ter qualquer sensação auditiva, táctil ou outra, por muito sinesteta que seja, porque simplesmente não vê.

Agora coloca-se a questão: será possível traduzir uma imagem em som, de tal modo que uma pessoa cega possa "ver" essa imagem com os seus ouvidos, mesmo que não seja sinesteta?

Uma equipa de investigação constituida por cientistas, músicos e um invisual decidiu tentar converter em sons musicais as primeiras imagens obtidas pelo novo telescópio espacial de infravermelhos James Webb. Porquê sons musicais e não outros sons? Porque «a música toca nos centros da emoção», respondeu um dos membros da equipa, Matt Russo, que é músico e professor de Física da Universidade de Toronto, no Canadá. A intenção da equipa era fazer "ver", através da emoção, uma imagem a uma pessoa que não vê. Deste modo, a equipa tentou levá-la a sentir diante de uma imagem o mesmo que sente uma pessoa que vê.

Através de um varrimento vertical de uma imagem, feito linha a linha e da esquerda para a direita, vão sendo produzidos sons musicais que variam em função das formas, dos brilhos, das cores, dos pontos luminosos, etc., que o varrimento vai encontrando no seu percurso ao longo da imagem. Não são sons reais propagados através do espaço, são música composta por Matt Russo e Andrew Santaguida, a que foi posto o nome de "sonificação". Os três curtos vídeos que se seguem mostram o que a equipa conseguiu. Christine Malec, que pertence à comunidade cega e amblíope e apoia o projeto, comentou: «Na primeira vez em que ouvi uma "sonificação", esta agiu sobre mim de uma forma visceral e emocional tal, que imagino ser a mesma que as pessoas que veem sentem quando olham para o céu noturno».

"Sonificação" da imagem obtida no espetro infravermelho curto de um detalhe da nebulosa Carina, pelo telescópio espacial Webb. À medida que vai sendo feito o varrimento da imagem da esquerda para a direita, a intensidade da luz é traduzida por uma intensidade do som, isto é, quanto mais brilhante for um objeto, mais forte é o som que lhe corresponde. A localização de um objeto mais acima ou mais abaixo na imagem é traduzida por uma nota mais aguda ou mais grave, respetivamente

"Sonificação" de duas imagens de uma mesma nebulosa, a nebulosa do Anel Austral, obtidas pelo telescópio espacial Webb. A imagem da esquerda foi obtida no espetro infravermelho curto e a da direita no espetro infravermelho médio. Nesta "sonificação" fez-se uma correspondência entre a frequência da luz, isto é, a sua cor, e a frequência do som correspondente, ou seja, a sua nota musical. Esta nota será tanto mais aguda quanto a cor estiver mais próxima do violeta e tanto mais grave quanto a cor estiver mais próxima do vermelho

"Sonificação" do espetro eletromagnético obtido pelo telescópio espacial Webb de um planeta gigante, identificado como WASP-96 b, que orbita em torno de uma outra estrela que não o Sol. Este espetro ajuda a determinar a composição química da atmosfera desse planeta, tendo-se verificado que ela contém vapor de água. A "assinatura" espetral da água vem representada pelo som de uma gota a cair

Comentários: 4

Blogger Maria João Brito de Sousa escreveu...

Como calculará, foi para mim uma surpresa e um enorme prazer, ler, ver e ouvir esta sua publicação.

No meu caso, a sinestesia limita-se a fazer-me "ver" cores associadas a letras e dígitos... Depois, conforme as palavras ou as sequências de dígitos vão surgindo, as cores combinam-se formando padrões coloridos.

Embora "oiça" a musicalidade das palavras, não estou muito segura de ser sinesteta também quanto a isso. Creio que quase todos os poetas que trabalham a poesia metrificada, "ouvem" a sonoridade dos seus versos. Somos os chamados "poetas de ouvido" e embora não conheça pessoalmente nenhum sinesteta da palavra colorida, conheço vários sonetistas "de ouvido".

Obrigada por esta bela surpresa matinal, Fernando.

Abraço!

06 setembro, 2022 10:35  
Blogger Rogério G.V. Pereira escreveu...

Não sei que te diga

A sinestesia não é uma doença, é apenas um cruzamento de sensações que ocorrem no cérebro.

Passei por essa sensação ontem, rodeado de crianças numa situação bem fora do contexto do teu texto..

07 setembro, 2022 00:05  
Blogger Fernando Ribeiro escreveu...

Estava eu uma vez no estrangeiro quando de repente ouvi falar português. Para minha surpresa, simultaneamente "vi" a cor branca, tão branca como a cal da parede, sem realmente a ver. Mais tarde disse a uma pessoa amiga: «Eu já vi a cor da língua portuguesa. É branca». Respondeu-me: «Que disparate! Onde é que já se viu uma língua ter cor? Não te trates, não...»

09 setembro, 2022 01:19  
Blogger Maria João Brito de Sousa escreveu...

Podem ter-se pequenas/grandes experiências sinestéticas pontuais sem se ser um sinesteta. O verdadeiro sinesteta é-o desde que nasce e nem por um segundo deixa de o ser. Em suma, o sinesteta verá sempre e sem excepção a letra A de uma determinada cor que nunca muda, o que não quer dizer que todos os sinestetas vejam essa letra da mesma cor. Para mim o A é branco desde o primeiro dia em que vi um A, mas para outro sinesteta signo/cor pode ter qualquer outra cor que será sempre a mesma, do início ao fim da sua vida. É algo semelhante a sermos altos ou baixos, termos cabelos negros ou loiros, olhos claros ou escuros...

Abç!

09 setembro, 2022 11:57  

Enviar um comentário