Tsjilp = Vogel | Elia Formisano

Elia Formisano, hoogleraar Neural Signal Analysis aan de faculteit Psychologie en Neurowetenschappen, heeft onlangs een artikel gepubliceerd in Nature Neuroscience, in samenwerking met Bruno Giordano van de Université Aix-Marseille, Frankrijk, en Michele Esposito, Giancarlo Valente. De titel van het artikel is Intermediate acoustic-to-semantic representations link behavioural and neural responses to natural sounds.

En als je een beetje op mij lijkt, klinkt die titel nogal intimiderend. Dus sprak ik met professor Formisano over zijn bevindingen.

Geluidsverwerking

"In Maastricht doen we al jaren onderzoek naar hoe de hersenen geluiden begrijpen. Dat kan elk geluid zijn, een vogel, een wasmachine, een hamer. We gebruiken verschillende brain imaging-methoden (bijvoorbeeld fMRI, EEG) om uit te lezen hoe de hersenen reageren op geluiden. Maar om de vraag "hoe" te beantwoorden, is het niet genoeg om te weten welke hersengebieden actief zijn en op welk moment, je hebt rekenkundige modellen nodig". Rekenkundige modellen zijn modellen die gebouwd zijn om na te bootsen wat de hersenen doen. "Tegenwoordig zijn er computermodellen, zogenaamde Deep Neural Networks, die getraind zijn om geluiden te herkennen door ze bloot te stellen aan miljoenen en miljoenen verschillende geluiden". Onder de modellen die Formisano in zijn artikel gebruikte, bevonden zich diepe netwerken die door Google zijn gecreëerd en getraind met de geluiden van miljoenen bestaande YouTube-video's en hun tags om zichzelf te leren hoe bijvoorbeeld een vogel klinkt.

Geluid transformeren naar iets met betekenis

Er bestaan al enige tijd modellen die kunnen simuleren hoe het menselijk brein eenvoudige geluiden verwerkt. Maar geen enkel model heeft kunnen aantonen hoe wij een geluid omzetten in iets dat betekenis heeft. We horen een tsjilp, en we weten onmiddellijk dat het een vogel is. Hoe werkt deze vertaling? Wanneer wordt een geluid een vogel? "Deze netwerken simuleren dit proces, niet precies zoals de hersenen dat doen, maar goed genoeg om ons een goed idee te geven van hoe de hersenen deze taken zouden kunnen uitvoeren."

Bevestiging

Hoe bevestig je vervolgens de bevindingen? "We namen hersenreacties van een experiment waarbij deelnemers in de fMRI-scanner naar een groot aantal verschillende geluiden luisterden. We speelden dezelfde geluiden af voor veel van deze rekenkundige modellen en vergeleken vervolgens de resultaten". In Marseille deed Giordano hetzelfde experiment maar dan in een gedragscontext, met de vraag: hoe vergelijkbaar zijn deze geluiden? "Door de hersen- en gedragsgegevens te vergelijken, konden we zien welke van de AI-modellen het dichtst bij het werkelijke brein komt. En we konden zien hoe nauwkeurig de resultaten waren: met onze fMRI-resultaten konden we daadwerkelijk de gedragsreacties van deelnemers in Marseille voorspellen."

Oplossing

"Ons brein is in staat om gebeurtenissen uit geluiden te herkennen, zelfs als je dat specifieke geluid nog niet hebt gehoord. Net als bij taal nemen onze hersenen kleine stukjes van geluiden, zoals lettergrepen in een woord, en plakken die aan elkaar om te bepalen dat dit bijvoorbeeld brekend glas zal zijn. We hebben het raadsel nog niet helemaal opgelost, onze hersenen werken niet precies zoals deze modellen. We hoeven niet eerst een miljoen vogels te horen om tot de conclusie tsjilp = vogel te komen". Na de publicatie van deze bevindingen, richt Formisano's werk zich nu op het beantwoorden van de vragen over geluidsverwerking die de modellen (nog) niet kunnen verklaren.

Software voor geluidsherkenning

"Met de resultaten van dit onderzoek zijn we begonnen met het bouwen van een eigen neuraal netwerk dat nog dichter bij de werking van het menselijk brein komt. Met dit onderzoek en deze technologie kunnen we bijdragen aan de ontwikkeling van betere geluidsherkenningssoftware." Bijvoorbeeld: alarmsystemen, horende robots of systemen voor ouderen om hen te helpen in en om het huis. Wanneer zij de deur uitgaan, zou het systeem hen eraan kunnen herinneren dat de fluitketel kookt, omdat het systeem het geluid kan herkennen".

Lees de publicatie hier.

Lees ook

  • Professor Fred Zijlstra is set to retire in May. How does he look back on his career? What is his take on current developments in the field of work and organisational psychology? And how can we, as a society, best organise work—now and in the future?

  • Dr. Brenda Erens behaalde recent haar PhD aan de Faculty of Psychology and Neuroscience. Wij spraken over haar werk en aankomende uitdagingen.

  • Anna Schueth (Department of Cognitive Neuroscience, Faculty of Psychology and Neuroscience) is een postdoctoraal onderzoeker bij FPN. Recent heeft zij een NWO VENI beurs in ontvangst mogen nemen om haar baanbrekende light-sheet microscope prototype, verder te ontwikkelen en te implementeren. Samen...