Inaugurale rede prof. dr. Nava Tintarev

Moet je een machine vertrouwen - en waarom?

Kunstmatige intelligentie (AI): is het een fantastische technologie die we overal bij moeten inzetten, of een schrikbeeld dat het einde van de mensheid kan betekenen? Volgens Nava Tintarev ligt de waarheid in het midden. "Kunstmatige intelligentie is een krachtig instrument, dat we verantwoord kunnen gebruiken als we de tekortkomingen ervan kennen." Dat laatste is echter lastig. AI-modellen laten zich nog niet goed door mensen begrijpen. Als hoogleraar Explainable Artificial Intelligence zet Tintarev zich in om dat te veranderen.

Stel je voor dat je team een vacature probeert in te vullen. Je collega houdt vol dat jouw favoriete sollicitant een slechte keuze zou zijn, maar kan niet goed uitleggen waarom. Je kan de logica van je collega dus niet beoordelen. Daarmee komt de beslissing om diegene te geloven of negeren op één ding neer: vertrouwen.

Als je collega een mens was, zou je waarschijnlijk een combinatie van onderbuikgevoel en ervaring gebruiken om te bepalen wat je doet. Maar hoe kom je erachter of zo’n vaag advies aansluit bij wat jij zelf belangrijk vindt? Moet je zo’n slecht gemotiveerde suggestie überhaupt wel meenemen? En misschien wel het belangrijkste: wat als je 'collega' een kunstmatig intelligente machine is?

Een werkelijkheid vreemder dan fictie

Bovenstaande situatie klinkt misschien als science fiction. Toch ligt het dichter bij de werkelijkheid dan de meesten van ons zich realiseren. Hoewel computeralgoritmes ons iedere dag dingen aanraden, zoals zoekresultaten op Google of berichten op sociale media, zijn er maar weinig algoritmes die hun keuzes op een zinnige manier kunnen uitleggen. En dat is een probleem. Zulke systemen hebben verborgen beperkingen, aldus hoogleraar Nava Tintarev, en ze worden steeds vaker ingezet.

“Hoe meer ik om me heen kijk, hoe meer ik besluitvorming door kunstmatige intelligentie zie. Het zit in predictive policing (het voorspellen van criminaliteit, red.), in de journalistiek, bij personeelszaken – in allerlei dingen die een cruciale rol spelen in ons dagelijks leven”, zegt ze. “We moeten kunnen beoordelen wat er uit die systemen komt. Als een vriend je advies geeft, denk je na over zijn kennis en ervaring. Aan de hand daarvan weeg je wat diegene zegt. Het verantwoordelijk gebruiken van AI-systemen werkt hetzelfde: soms moet je negeren wat ze je vertellen, omdat je vermoedt dat het niet klopt.” Om dat te kunnen doen, moeten we echter wel begrijpen wat er in zo’n AI-systeem omgaat. Daarom werkt Tintarev aan manieren waarop kunstmatig intelligente adviessystemen zich kunnen verklaren tegenover hun menselijke gebruikers.

Dubbel de mist in tijdens de Toeslagenaffaire

De Toeslagenaffaire – waarbij een algoritme van de Belastingdienst onterecht duizenden burgers aanmerkte als fraudeur – is een extreem voorbeeld waarbij zo’n verklarende uitleg misschien had geholpen. “Niemand wist welke informatie bepaalde of iemand een fraudeur was of niet. Het computersysteem was niet transparent. Gebruikers hadden er bovendien ook geen controle over. Zo was het bijvoorbeeld niet mogelijk om aan te passen welke informatie het systeem gebruikte.”

In het lab bouwen Tintarev en haar collega’s voorspellende AI-modellen. Vervolgens bestuderen ze hoe verschillende soorten interfaces (het deel waarmee je informatie uitwisselt met een computersysteem, bijvoorbeeld door het invoeren van commando’s of het lezen van tekst op een scherm, red.), verklaringen en interacties kunnen bijdragen aan het menselijk begrip van wat er gebeurt. Tintarev benadrukt dat het niet voldoende is om zo’n AI-model uitleg te laten geven. Dat mag ook geen doel op zich zijn. “Ja, we moeten zorgen dat AI voor mensen te begrijpen is, maar dan begint het pas. Vervolgens moeten we bepalen waarvoor zo’n uitleg moet dienen. Is het om vertrouwen te wekken in de kunstmatige intelligentie? Sommige manieren van uitleggen zijn heel overtuigend, maar overtuigen ook wanneer het AI-model fout zit. Afhankelijk van het ‘waarom’ dat je in gedachten hebt, ga je compleet verschillende soorten verklaringen genereren. Het is cruciaal om een uitleg aan te passen aan de situatie en aan de persoon die zo’n uitleg krijgt.”

 

"Ik zie de maatschappelijke risico’s van AI-systemen die advies geven. Als iemand die aan dat soort aanbevelingssystemen werkt, zou ik kunnen bijdragen aan de oorzaken daarvan – maar ik werk liever aan het inperken van de risico’s."

Gemaakt in Europa

Incidenten als de Toeslagenaffaire hebben ervoor gezorgd dat human-centred AI – een ethisch, betrouwbaar soort kunstmatige intelligentie dat mensen ten goede komt – bovenaan de onderzoeksagenda staat. Europa streeft dat type kunstmatige intelligentie in het bijzonder na. Tintarev is blij om die verschuiving te zien, maar constateert ook dat de verandering nog niet overal is ingeburgerd.

“Als computerwetenschappers praten we vaak over technische prestaties en het verkleinen van foutmarges wanneer we het over ‘goede’ computermodellen hebben. Dat baart me zorgen, want dat betekent dat we minder nadenken over de context waarin een AI-systeem wordt gebruikt. Wat is bijvoorbeeld de impact van mensen aanmerken als ‘fraudeur’ of ‘geen fraudeur’, in plaats van een schaal gebruiken die loopt van ‘heel risicovol’ tot ‘minder risicovol’? We moeten beter nadenken over onze keuzes. Ik probeer dat ook in mijn onderwijs te verwerken. In mijn mastervak Explainable Artificial Intelligence daag ik studenten bijvoorbeeld uit om een aflevering van de populaire tv-serie Black Mirror te schrijven. Die oefening is ontwikkeld op het Mozillafestival en gratis te gebruiken voor onderwijzers. Studenten kiezen een AI-technologie en schrijven over de meest vreselijke manier waarop die technologie zich kan ontwikkelen. Vervolgens bespreken we hoe wij, als computerwetenschappers, kunnen voorkomen dat dat zwarte scenario uitkomt – en of we misschien een nog utopischere oplossing kunnen bedenken.”

Het realiseren van human-centred artificial intelligence vraagt om interdisciplinaire samenwerking, wat ook terug te zien is in de Nederlandse onderzoeksagenda. Het recent gefinancierde ROBUST, een tienjarig AI-onderzoeksprogramma met een budget van 87 miljoen euro, reserveert bijvoorbeeld 20% van de plekken voor onderzoekers uit de geestes- en sociale wetenschappen. Vanuit de UM werken de Faculty of Science and Engineering (FSE) en de Faculty of Arts and Social Sciences (FASoS) samen binnen ROBUST.

Ideale toekomst

Maar genoeg over de tekortkomingen van computers – mensen zijn zelf óók geen perfecte beslissers. “We hebben tot nu toe gepraat over de fouten die computers en systemen maken, maar wie hebben nog meer vooroordelen en blinde vlekken? Wij! Mijn huidige onderzoek werkt toe naar een toekomst waarin uitleg-gevende interfaces ons kunnen helpen om ook onze éigen denkfouten te herkennen. Die denkfouten horen bij ons mens-zijn; niemand is zonder.”

Een toekomst waarin we beslissingen van kunstmatige intelligentie beter kunnen beoordelen, maar ook onze eigen conclusies kritisch tegen het licht kunnen houden? In een wereld waar algoritmes steeds vaker beslissingen maken en misinformatie en manipulatie welig tieren, klinkt dat ideaal – en als verdomd veel werk. “Inderdaad,” lacht Tintarev, “Daar heb ik nog een behoorlijke kluif aan.”

Bekijk de live stream

Biografie

 

Prof. dr. Nava Tintarev leidt en werkt aan diverse nationale en internationale projecten op het gebied van de interactie tussen mens en computer en in het veld van kunstmatig intelligente adviessystemen. In het bijzonder ontwikkelt ze kunstmatig gegenereerde verklaringen en uitleg-interfaces. Naast projecten gefinancierd door onder andere IBM, Twitter en de Europese Commissie, is Tintarev co-investigator en voorzitter van het committee voor geesteswetenschappen en sociale wetenschappen binnen ROBUST. ROBUST is een tienjarig onderzoeksprogramma rondom kunstmatige intelligentie dat door de Nederlandse overheid wordt gefinancierd.

Tintarev geeft verder vorm aan internationale onderzoeksprogramma’s en organiseert workshops op het gebied van responsible data science. ACM, de internationale Association for Computing Machinery, benoemde haar in 2020 als senior lid.

Tintarev werd op 1 oktober 2020 aangesteld als hoogleraar Explainable Artificial Intelligence bij UM’s Faculty of Science and Engineering. Ze is ingebed binnen het Department of Advanced Computing Sciences. Daarnaast is ze visiting professor bij het Software Technology Department van de TU Delft.

 

Lees ook

  • Adriana Iamnitchi’s carrière was als een gespreid bedje. Ze werkte als full professor bij het Department of Computer Science and Engineering van de University of South Florida. Toch zocht ze een andere uitdaging en kwam naar Maastricht, om zich hier te storten op onderzoek naar sociale media.

  • Phishing mails of helpdeskmedewerkers die je vragen om geld over te maken? Digitale criminaliteit neemt toe en wordt steeds gewiekster. Artificial Intelligence speelt daarin een negatieve én positieve rol. Aan de ene kant ontstaan er door AI nieuwe vormen van cybercrime; aan de andere kant helpt AI...

  • Eigenlijk wilde Caroline Bouvier illustrator worden, maar ze werd uiteindelijk chemicus. Ze slaagde erin haar passies, kunst en scheikunde, te combineren in haar onderzoek - het creëren van moleculaire vingerafdrukken van 's werelds meest beroemde schilderijen, waaronder oude meesterwerken uit de...