6 oktober 2021

ROBU(U)ST en betrouwbaar: UM deel van 10-jarig kunstmatige intelligentie programma

Hoogleraar ‘Explainable Artificial Intelligence’ Nava Tintarev wordt mede-onderzoeker en voorzitter voor de integratie van geesteswetenschappen en sociale wetenschappen in ROBUST, een consortium dat een NWO-subsidie aanvraagt met een totaalbudget van 95 miljoen (25 miljoen van NWO) voor het uitvoeren van lange termijn onderzoek in betrouwbare kunstmatige intelligentie (AI).

Kunstmatige intelligentie: oplossingen, talent en impact

Het plan is om het onderzoek te laten plaatsvinden in 17 nieuwe ICAI (Innovation Center for Artificial Intelligence) labs waarbij allemaal verschillende universiteiten en bedrijven betrokken zijn, meestal met ongeveer vijf promovendi en wat meer senior ontwikkelaars. “Dit om ervoor te zorgen dat het niet stopt bij de onderzoeksfase, maar later een soort product of bruikbaar concept wordt. Deze opzet is één van de beste voorbeelden van publiekelijke-private samenwerkingen die ik ken.”

“Omdat ROBUST tien jaar zal draaien, zal het talent aantrekken en ontwikkelen: jonge mensen die het verschil gaan maken als het gaat om betrouwbare AI.” Het gaat echter verder dan algemene technische oplossingen;  van duurzame technologie en hernieuwbare energie tot gepersonaliseerde gezondheidszorg en evenwichtige nieuwsvoorziening: “Dit is niet alleen technologie omwille van de technologie – we betrekken wetenschappers uit de sociale- en geesteswetenschappen om ons een beetje scherp te houden en om ons aan het denken te zetten over de bredere maatschappelijke impact.”

Prof. Nava Tintarev

Nava Tintarev is in oktober 2020 benoemd tot Hoogleraar ‘Explainable Artificial Intelligence’ aan de Faculty of Science and Engineering (FSE) binnen het Department of Data Science and Knowledge Engineering (DKE). Daarnaast is zij gasthoogleraar bij de ‘Software technology department’ van TU Delft.

Popmuziek uit de jaren 90 en andere maatschappelijke uitdagingen

Tintarev studeerde ‘computer science’, maar ook psychologie tijdens haar bachelor. "Ik dacht altijd na over hoe ik technologie kon maken die echt nuttig is voor mensen." Haar promotieonderzoek ging over aanbevelingsalgoritmen voor bijvoorbeeld Netflix of Spotify. “Ze bepalen je smaak op basis van je consumptie in het verleden; ze zijn redelijk geavanceerd en kunnen je helpen nieuwe inhoud te ontdekken. Maar ze kunnen je ook in een bubbel plaatsen. Dus als je gek bent op 90’s popmuziek, zal het je meer popmuziek uit de jaren 90 bieden, en dat kan invloed hebben op je muzikale voorkeur.”

Het voorbeeld van 90’s popmuziek is natuurlijk vrij onschuldig, maar de analoge dynamiek in op nieuws gebaseerde besluitvorming in een democratie is zorgwekkend. "Toen drong het tot me door: hoezeer ik ook van coole technologie houd, ik moest helpen het probleem op te lossen dat ik zelf veroorzaakt." Rekenkundige oplossingen voor eerlijke en evenwichtige nieuwsvoorziening even buiten beschouwing gelaten, onze aannames kunnen enorme maatschappelijke implicaties hebben. “Van welke democratische theorie ga je uit? Moeten alle stemmen gelijk worden gehoord of moet de mening van de meerderheid de meest prominente zijn? Dat zijn allemaal dingen waar je van tevoren over moet nadenken.”

Laat me zien hoe het werkt

Het onderzoek van Tintarev draait om het verklaren van de beslissingen van AI-systemen. "De data waarmee deze systemen zijn getraind, is mogelijk niet correct vastgelegd. Of het model is mogelijk getraind op gegevens die historisch correct waren maar nu verouderd zijn of per ongeluk vooroordelen bevatten. Het woord 'dokter' kan bijvoorbeeld, wanneer het van de ene taal naar de andere wordt vertaald, van geslacht veranderen - dat is niet noodzakelijk kwaadwillend; het is gewoon zo dat er historisch gezien meer mannelijke artsen waren.”

Ze noemt het wervingsalgoritme van Amazon als een ander voorbeeld. "Omdat het werd getraind met voornamelijk mannelijke kandidaten, identificeerde het vrouwen niet als geschikte kandidaten. Deze systemen zijn sensationeel goed in het oppikken van patronen, zoals het feit dat succesvolle kandidaten meestal een cluster van hobby's gemeen hebben. Maar ze kunnen niet hun gezond verstand gebruiken en 'realiseren' dat dat een correlatie is op basis van andere factoren.”

Geen magische zwarte doos

Tintarev probeert gebruikers enig inzicht te geven in wat er werkelijk gebeurt. “Mensen willen meer dan een magische zwarte doos die een resultaat uitspuugt: dit is de persoon die moet worden aangenomen, dit is het artikel om te lezen, enz. Waar is dit op gebaseerd? Kan ik het vertrouwen?” Met zogenaamde deep learning wordt het nog lastiger. "Als je gewoon alle gegevens die je hebt over werkzoekenden dumpt, zou het algoritme kunnen vaststellen dat er een ideale schoenmaat is voor een succesvolle kandidaat."

“We hebben meer transparantie nodig, gecombineerd met gebruikerscontrole. Als we begrijpen hoe beslissingen tot stand komen, kan AI een beslissingspartner worden. Als het zijn eigen relatieve beperkingen onthult, kunnen we het om de juiste redenen vertrouwen of wantrouwen.” ROBUST probeert de contracten die de nauwkeurigheid, betrouwbaarheid, herhaalbaarheid, veerkracht en veiligheid van AI-systemen garanderen te ontwikkelen. Dit kan een grote stap zijn in het benutten van de kracht en de uitdagingen die kunstmatige intelligentie met zich meebrengt.