Promotie Gijsbert Willem Adriaan Wijngaard

Trefwoorden: Auditieve taalmodellen, Machinaal luisteren, Datacuratie, Semantische redenatie

"Data and Semantic Reasoning in Audio-language Learning"

Dit proefschrift onderzoekt hoe computers alledaagse geluiden kunnen leren begrijpen en beschrijven in gewone taal. Zulke systemen leren van grote verzamelingen geluidsopnames met bijbehorende tekstbeschrijvingen. Het onderzoek brengt eerst 69 van deze verzamelingen in kaart en laat zien dat zij vaak dezelfde opnames bevatten, wat een vertekend beeld geeft van hoe goed de systemen werken. Het opschonen van de voorbeelden en het aanbieden van makkelijke voorbeelden vóór moeilijke maakt systemen beter in het beantwoorden van vragen over geluid. Geïnspireerd door hoe mensen beschrijven wat zij horen, presenteert het proefschrift vervolgens een systeem dat eerst redeneert over wie of wat een geluid maakt, hoe het ontstaat en waar en wanneer het klinkt, voordat het antwoordt. Daarnaast introduceert het een methode die computergegenereerde geluidsbeschrijvingen beoordeelt op betekenis in plaats van exacte woorden, zoals mensen dat doen. Tot slot laat het zien dat een coördinerend programma dat meerdere gespecialiseerde luisterprogramma's raadpleegt, als een team van experts, de beste resultaten behaalt zonder extra training.

Klik hier voor de livestream.