Promotie Thomas (Tom) Hubertus Judith Pepels

Trefwoorden: Monte-Carlo Boomzoektechniek, Spel-AI, Spijtminimalisatie, Real-time Besluitvorming
 

"Monte-Carlo Tree Search is Work in Progress"

Computers die leren van spellen, maken betere keuzes. Computers moeten slimme keuzes maken en Tom Pepels zoekt uit hoe ze dat beter kunnen doen. Eén methode die hij onderzoekt is Monte Carlo Tree Search (MCTS). Die laat computers in spellen slimme zetten kiezen door willekeurige zetten uit te proberen en daarvan te leren. 

Tom wil MCTS bruikbaarder en flexibeler maken, zodat het goed werkt in allerlei soorten spellen, van langzame bordspellen tot snelle videogames. Hij komt met nieuwe ideeën om MCTS sterker te maken. Zo combineert hij MCTS met een andere methode, minimax, die handig is bij spellen voor twee spelers waarbij de één wint en de ander verliest. Ook verzint hij slimme manieren om beter te voorspellen wat er later in het spel kan gebeuren. Daarnaast verbetert hij het beloningssysteem, zodat de computer beter snapt welke zetten goed zijn, bijvoorbeeld door extra punten te geven voor slimme keuzes. Tom ontwikkelt ook een nieuwe versie van MCTS, genaamd Hybrid MCTS. Die zoekt een goede balans tussen nieuwe zetten proberen en vasthouden aan bewezen strategieën. Tot slot past hij MCTS aan voor real-time games zoals Ms. Pac-Man. Dat doet hij met diepgaande planning, slimmere tests van zetten, lange-termijndoelen en door eerder zoekwerk slim opnieuw te gebruiken. Uit tests blijkt dat al deze verbeteringen MCTS echt sterker maken in verschillende spellen. Zijn onderzoek laat zien hoe je MCTS kunt aanpassen aan allerlei soorten spellen en waarom dat belangrijk is. Hij zorgt ook voor meer inzicht in hoe MCTS werkt en hoe je het kunt gebruiken in allerlei situaties waarin slimme keuzes nodig zijn. 

Klik hier voor de livestream.