Bovenstaande situatie klinkt misschien als science fiction. Toch ligt het dichter bij de werkelijkheid dan de meesten van ons zich realiseren. Hoewel computeralgoritmes ons iedere dag dingen aanraden, zoals zoekresultaten op Google of berichten op sociale media, zijn er maar weinig algoritmes die hun keuzes op een zinnige manier kunnen uitleggen. En dat is een probleem. Zulke systemen hebben verborgen beperkingen, aldus hoogleraar Nava Tintarev, en ze worden steeds vaker ingezet.

“Hoe meer ik om me heen kijk, hoe meer ik besluitvorming door kunstmatige intelligentie zie. Het zit in predictive policing (het voorspellen van criminaliteit, red.), in de journalistiek, bij personeelszaken – in allerlei dingen die een cruciale rol spelen in ons dagelijks leven”, zegt ze. “We moeten kunnen beoordelen wat er uit die systemen komt. Als een vriend je advies geeft, denk je na over zijn kennis en ervaring. Aan de hand daarvan weeg je wat diegene zegt. Het verantwoordelijk gebruiken van AI-systemen werkt hetzelfde: soms moet je negeren wat ze je vertellen, omdat je vermoedt dat het niet klopt.” Om dat te kunnen doen, moeten we echter wel begrijpen wat er in zo’n AI-systeem omgaat. Daarom werkt Tintarev aan manieren waarop kunstmatig intelligente adviessystemen zich kunnen verklaren tegenover hun menselijke gebruikers.

De Toeslagenaffaire – waarbij een algoritme van de Belastingdienst onterecht duizenden burgers aanmerkte als fraudeur – is een extreem voorbeeld waarbij zo’n verklarende uitleg misschien had geholpen. “Niemand wist welke informatie bepaalde of iemand een fraudeur was of niet. Het computersysteem was niet transparent. Gebruikers hadden er bovendien ook geen controle over. Zo was het bijvoorbeeld niet mogelijk om aan te passen welke informatie het systeem gebruikte.”

In het lab bouwen Tintarev en haar collega’s voorspellende AI-modellen. Vervolgens bestuderen ze hoe verschillende soorten interfaces (het deel waarmee je informatie uitwisselt met een computersysteem, bijvoorbeeld door het invoeren van commando’s of het lezen van tekst op een scherm, red.), verklaringen en interacties kunnen bijdragen aan het menselijk begrip van wat er gebeurt. Tintarev benadrukt dat het niet voldoende is om zo’n AI-model uitleg te laten geven. Dat mag ook geen doel op zich zijn. “Ja, we moeten zorgen dat AI voor mensen te begrijpen is, maar dan begint het pas. Vervolgens moeten we bepalen waarvoor zo’n uitleg moet dienen. Is het om vertrouwen te wekken in de kunstmatige intelligentie? Sommige manieren van uitleggen zijn heel overtuigend, maar overtuigen ook wanneer het AI-model fout zit. Afhankelijk van het ‘waarom’ dat je in gedachten hebt, ga je compleet verschillende soorten verklaringen genereren. Het is cruciaal om een uitleg aan te passen aan de situatie en aan de persoon die zo’n uitleg krijgt.”

Incidenten als de Toeslagenaffaire hebben ervoor gezorgd dat human-centred AI – een ethisch, betrouwbaar soort kunstmatige intelligentie dat mensen ten goede komt – bovenaan de onderzoeksagenda staat. Europa streeft dat type kunstmatige intelligentie in het bijzonder na. Tintarev is blij om die verschuiving te zien, maar constateert ook dat de verandering nog niet overal is ingeburgerd.

“Als computerwetenschappers praten we vaak over technische prestaties en het verkleinen van foutmarges wanneer we het over ‘goede’ computermodellen hebben. Dat baart me zorgen, want dat betekent dat we minder nadenken over de context waarin een AI-systeem wordt gebruikt. Wat is bijvoorbeeld de impact van mensen aanmerken als ‘fraudeur’ of ‘geen fraudeur’, in plaats van een schaal gebruiken die loopt van ‘heel risicovol’ tot ‘minder risicovol’? We moeten beter nadenken over onze keuzes. Ik probeer dat ook in mijn onderwijs te verwerken. In mijn mastervak Explainable Artificial Intelligence daag ik studenten bijvoorbeeld uit om een aflevering van de populaire tv-serie Black Mirror te schrijven. Die oefening is ontwikkeld op het Mozillafestival en gratis te gebruiken voor onderwijzers. Studenten kiezen een AI-technologie en schrijven over de meest vreselijke manier waarop die technologie zich kan ontwikkelen. Vervolgens bespreken we hoe wij, als computerwetenschappers, kunnen voorkomen dat dat zwarte scenario uitkomt – en of we misschien een nog utopischere oplossing kunnen bedenken.”

Prof. dr. Nava Tintarev leidt en werkt aan diverse nationale en internationale projecten op het gebied van de interactie tussen mens en computer en in het veld van kunstmatig intelligente adviessystemen. In het bijzonder ontwikkelt ze kunstmatig gegenereerde verklaringen en uitleg-interfaces. Naast projecten gefinancierd door onder andere IBM, Twitter en de Europese Commissie, is Tintarev co-investigator en voorzitter van het committee voor geesteswetenschappen en sociale wetenschappen binnen ROBUST. ROBUST is een tienjarig onderzoeksprogramma rondom kunstmatige intelligentie dat door de Nederlandse overheid wordt gefinancierd.

Tintarev geeft verder vorm aan internationale onderzoeksprogramma’s en organiseert workshops op het gebied van responsible data science. ACM, de internationale Association for Computing Machinery, benoemde haar in 2020 als senior lid.

Tintarev werd op 1 oktober 2020 aangesteld als hoogleraar Explainable Artificial Intelligence bij UM’s Faculty of Science and Engineering. Ze is ingebed binnen het Department of Advanced Computing Sciences. Daarnaast is ze visiting professor bij het Software Technology Department van de TU Delft.