My UM
My UM
Zoeken

Het dagelijks horen begrijpen | Elia Formisano | ERC Synergy Grant

Stel je een radio voor. Het eerste geluid dat je hoort is het zachte kabbelen van de oceaangolven, gevolgd door het geratel van zonaanbidders in de verte en het plotselinge geroep van zeemeeuwen. Deze mix van geluiden, bekend als een soundscape, roept onmiddellijk het beeld op van een strand, misschien zelfs herinneringen aan een zomervakantie. Dit voorbeeld laat zien hoe geluiden een belangrijke rol spelen bij het vormen van onze mentale beelden van de wereld om ons heen. Geluid versterkt meestal wat we zien en helpt ons objecten en gebeurtenissen te herkennen. Maar het wordt vooral belangrijk wanneer visuele informatie ontbreekt of wanneer we ons een scène voorstellen.

Elia Formisano, professor Neural Signal Analysis, heeft samen met zijn collega Bruno Giordano van het CNRS in Frankrijk de felbegeerde Synergy Grant ontvangen van de European Research Council. Het project is getiteld Natural Auditory SCEnes in Humans and Machines (NASCE): Establishing the Neural Computations of Everyday Hearing en ze zullen onderzoeken hoe onze hersenen geluidslandschappen verwerken, hoe de verschillende geluiden worden gescheiden en gekoppeld aan objecten en gebeurtenissen. Ze zullen gedrags- en hersenreacties bij menselijke luisteraars onderzoeken en AI-modellen creëren die de waargenomen mechanismen kunnen repliceren. 

Formisano en Giordano zijn al een tijdje bezig met het ontrafelen van de mysteries van het menselijk gehoor. Vorig jaar spraken we met Formisano over een voorloper van dit project, waarbij ze ontdekten hoe de hersenen geluiden aan voorwerpen koppelen. Als je een tsjilp hoort, denk je: vogel. Ze ontwikkelden ook AI-modellen die op dezelfde manier werken.

Elia Formisano ERC grant

Semantic segmentation

Dat project keek naar geluiden die uit een geïsoleerde bron kwamen. “In het echte leven hoor je bijna nooit maar één geluid. Dus met dit project ontwikkelen we deze theorie en dit model verder om te kijken hoe de hersenen zo goed zijn in het van elkaar scheiden van verschillende geluiden en ze te koppelen aan de juiste objecten”. Deze kwaliteit is een van de eerste dingen die we als mensen verliezen als we ouder worden, het scheiden van geluiden wordt steeds moeilijker. “We stellen een nieuwe theorie voor over hoe de hersenen dit doen, genaamd: Semantic Segmentation”. Met deze subsidie kunnen ze de theorie ontwikkelen en bewijzen.

“We combineren actief drie belangrijke disciplines: Cognitieve psychologie, neurowetenschappen en kunstmatige intelligentie. We kijken naar menselijk gedrag, het brein en AI-modellen. In onze experimenten zullen we zien hoe de werkelijke meting van gedrag en het brein zich verhouden tot de neurale netwerken”.

Het verband tussen betekenis en verwerking

“Wij stellen voor dat onze auditieve cortex op objectniveau werkt. In het voorbeeld van het strand, op het moment dat onze hersenen de oceaan identificeren, kunnen en zullen de auditieve middelen gewijd aan de oceaan worden omgeleid naar de andere geluiden die typisch worden geassocieerd met de oceaan (zoals zeemeeuwen, geklets, misschien een vliegtuig). Op die manier verdelen de hersenen de complexe geluidsgolven in gemakkelijk herkenbare objecten en vormen ze een beeld van het geluidslandschap”. 

In deze nieuwe theorie hebben Formisano en Giordano het over het sterke verband tussen de betekenis van een geluid (semantiek) en de verwerking van het geluid (akoestiek). “Als je bijvoorbeeld het getrappel van hoeven hoort, denk je automatisch aan hinniken, ook al zijn deze geluiden akoestisch heel verschillend. Onze hersenen leggen de link tussen de twee geluiden door middel van betekenis. Wij geloven dat deze associatie ons helpt om de geluiden die we om ons heen horen te analyseren”. Dit is een van de aspecten van ons gehoor die ze willen overbrengen naar het computermodel. 

De komende zes jaar zal Formisano de subsidie gebruiken om de theorie verder te ontwikkelen en bewijzen en om de beste mensen hiervoor te verzamelen. “Ik wil ook even de tijd nemen om ons team achter de schermen te bedanken, in het bijzonder Marcel Giezen en Liane Ligtenberg, die het moeilijke proces van subsidieaanvragen mogelijk maken. En de studenten en postdocs in Maastricht (Michele, Maria, Gijs, Tim) en Marseille (Christian, Marie, Giorgio) die elke dag met ons samenwerken en ons hebben geholpen bij het ontwikkelen van dit onderzoeksthema”.

Elia Formisano

Lees ook