Algoritmes, machine learning, artificial intelligence… Fenomenen die organisaties veel kunnen opleveren, maar aan de andere kant ook veel (reputatie)schade kunnen veroorzaken. Het zijn lastig te begrijpen begrippen, ook voor commissarissen. Hoe houd je toezicht op softwareregels die een organisatie veel moois maar ook veel ellende kunnen opleveren? Een gesprek met Helen Stijnen, hoofd financieel risk management KPMG.

U gaf pas een presentatie aan CFO’s uit de verzekeringswereld over AI en algoritmes. En de risico’s ervan. En u spreekt met toezichthouders. Tot vijf jaar geleden was u zelf toezichthouder op verzekeraars vanuit DNB. Wat valt u dan op als het over deze onderwerpen gaat?

‘Dat iedereen het lastige begrippen vindt. Waar hebben we het nu precies over? Wat is machine learning? Wat zijn algoritmes nu precies? Eigenlijk zijn algoritmes helemaal niet nieuw. Al jaren werken verzekeraars bijvoorbeeld met data (algoritmes) voor het bepalen van premies. Dan gaat het over de kleur van de auto, merk, woonplaats, leeftijd. Op basis daarvan worden premies bepaald. Niks nieuws. Het wordt pas nieuw en spannend als computers zelf algoritmes gaan aanpassen; zelflerend worden en zelf keuzes maken. Met uitkomsten die je misschien helemaal niet wilt. Neem de zelfsturende auto. Die moet –in geval van nood- kiezen tussen een ouder iemand aanrijden of een kind dat speelt op de stoep. Of twee ouderen versus één kind… Wat is de ethische discussie die erachter schuilgaat? Welk leven is meer waard? Heb je daar als organisatie én als toezicht controle over? Dat soort vragen vinden mensen ingewikkeld.’

Zie ook: Dag van het Commissariaat 2020: eerste namen bekend

Want het kan goed, maar ook goed misgaan met algoritmes. Denk aan privacyregels die overschreden worden.

‘Niet eens gaat het altijd bewust mis. Er is altijd een mens die een regel in een softwareprogramma invoert; ook al is een systeem zelflerend. En je kunt uren kijken naar die softwareregel en denken dat er niets mis mee is. Ook als specialisten ernaar kijken. En toch kan de uitkomst uiteindelijk desastreus zijn. Denk aan de auto die een keuze moet maken. Ander voorbeeld: als een bank jaren lang problemen heeft gehad met een bepaalde bevolkingsgroep, kan dat door AI en algoritmes opgevat worden als een risicovolle bevolkingsgroep. Dan krijgen mensen geen krediet of worden bepaalde groepen mensen bijvoorbeeld genegeerd bij sollicitaties. Ook hier geldt: het gebeurt misschien niet bewust, maar de uitkomsten van een dataregel kunnen ongewenst zijn. En vervolgens tot reputatieschade leiden. En zelfs tot het begaan van strafbare feiten, want onderscheid naar ras en/of gender is nou eenmaal niet toegestaan. We hebben ook te maken met veranderende maatschappelijke opvattingen. Denk aan de gendervraagstukken. Pas nog keek ik enorm op bij een financiële instelling waar algoritmes bepaalden dat vrouwen slechter omgaan met geld dan mannen. Dat zit dan ergens in zo’n systeem. Onbewust misschien, maar wel onbedoeld.’

En dus een taak voor toezicht om daar op toe te zien. Maar zijn toezichthouders wel voorbereid op die taak? U constateerde al dat het lastig vast te pakken begrippen zijn.

‘Daar is nog veel te winnen. Veel mensen horen begrippen als AI, algoritmes en machine learning en denken: het zal wel kloppen. Het biedt ook veel moois, maar veel commissarissen hebben geen idee wat er precies gebeurt. Ik zei al dat een fout in één softwareregel kan zitten. Dat kan iets heel kleins zijn, maar de impact kan vervolgens enorm zijn. Het is veel lastiger geworden om in al die dataregels risico’s te zien. Zeker als computers zelf gaan beslissen. Ik denk dat commissarissen nog wel vaak een traditionele kijk hebben op nieuwe risico’s. We kijken al jaren naar risico’s, schatten vervolgens in hoe groot de kans is dat iets zich voordoet en accepteren dat of accepteren dat niet. Het is veel lastiger geworden om risico’s in te schatten als iets heel kleins hele grote gevolgen kan hebben.’

Wat kan een commissaris doen om toch toezicht te houden op dit soort nieuwe fenomenen?

‘Ik denk dat je je als toezichthouder toch meer moet verdiepen in de materie en snappen waar we het precies over hebben. Dat kan door een riskmanager van een bedrijf te vragen je eens bij te praten, of een externe expert in te huren. Ook moet je nadenken over ethische consequenties van algoritmes en AI. Hoe kan het bijvoorbeeld dat een man in een gezin meer krediet kan krijgen dan een vrouw? Gebeurde pas bij Apple Pay. Kwam naar buiten en dan heb je als organisatie toch een reputatieprobleem. Terwijl het heel goed mogelijk is dat zoiets gebeurt op basis van oude data die nog steeds in systemen zit en die door zelflerend vermogen van de computer wordt gebruikt. Dus: leveren algoritmes nu de uitkomsten waar wij achter staan als organisatie? Doe eens een test. Bij KPMG krijgen we steeds meer vragen om algoritmes te valideren. Dan doen we een onafhankelijke check en kijken naar de uitkomsten, en of die gewenst zijn. Zo’n check kan een goede graadmeter zijn voor hoe een organisatie omgaat met algoritmes en AI. Als KPMG geven we dan geen antwoord op de vraag of een bedrijf ethisch handelt of niet, we houden ze alleen wel een spiegel voor. Dit zijn de uitkomsten, wil je dat? Vind je het oké welke keuzes een machine maakt?’

Maar je kunt als commissaris natuurlijk niet alle algoritmes tegen het licht houden?

‘Nee, maar je kunt wel leren de goede vragen te stellen. En als je weet waar je het over hebt, en daar begint het mee, kun je ook betere vragen stellen. Zo’n check helpt. We hebben pas voor de gemeente Amsterdam een algoritme gevalideerd voor de automatische afhandeling van klachten in de buurt. Daarbij bleek dat mensen in bepaalde buurten sneller klachten melden dan in andere buurten. De computer kon niet goed beoordelen welke klachten prioriteit moesten krijgen. Die fouten zijn nu hersteld in het algoritme.

Door zo’n algoritme te valideren, kijk je naar de uitkomsten en of die voldoen aan wat je wilt. En dan kun je computerprogramma’s aanpassen. Voor je het weet, heb je een reputatie-issue en volgen er rechtszaken. Overigens denk ik dat er genoeg commissarissen zijn die best kijken naar de risico’s van algoritmes en AI, maar in zeker wat kleinere organisaties is het zeker nog geen gemeengoed. Ik las in november dat in New York City een ‘Algorithms Management and Policy Officer’ positie is gecreëerd die rechtstreeks onder de burgemeester valt. Dat zal niet voor elke organisatie nodig zijn, maar het is wel een indicatie dat het een serieus vraagstuk is geworden. De meeste algoritmes zijn heel simpel en leveren ook geen problemen op. Het gaat om de ingewikkelde algoritmes en dan moet je de vraag stellen: hebben we onze algoritmes nog wel in control?’

Met speciale dank aan Nationaal Register.