Joris Krijger, filosoof en AI & Ethics Officer bij De Volksbank, doet voor zijn proefschrift onderzoek naar discriminerende algoritmes. “Een algoritme discrimineert per definitie. Je maakt het immers om groepen van elkaar te onderscheiden. Om op basis van data iets te kunnen zeggen over een bepaalde groep. Er zit natuurlijk wel een verschil in op basis waarvan je zo’n voorspelling of beslissing maakt.”
Wat is eigenlijk een algoritme? Krijger legt uit: “Een algoritme is een soort recept met instructies om tot een bepaalde uitkomst te komen. Om te voorspellen wie de meest geschikte kandidaat voor een functie is bijvoorbeeld, of wie mogelijk fraudeert via zijn of haar bankrekening. Je geeft het systeem daarvoor een set instructies mee. Stel dat iemand honderdduizend euro cashgeld stort en dat direct overboekt naar een buitenlandse bankrekening in een verdacht land, dan moet het systeem die transactie detecteren en mogelijk (tijdelijk) blokkeren, want hier bestaat wellicht een risico op fraude. Sommige systemen schrijven voor een deel zelf de instructies door patronen te halen uit de data. Sommige van die patronen kunnen heel handig zijn. Sommige patronen zijn misschien een stuk minder wenselijk of zelfs onethisch. Bijvoorbeeld wanneer je geslacht ineens meespeelt bij een baankans of hypotheek. Dat is onwenselijk en ongrondwettelijk.”
Blinde vlek
Dan rijst de vraag of het systeem inderdaad discrimineert. Ligt het probleem niet bij de data of zelfs bij onszelf? Wij leveren immers de data aan én bouwen het systeem. “Het is het samenspel tussen die drie”, betoogt Krijger. “Maar de uitkomst is een systeem dat misschien zelfstandig beslissingen neemt of aanbevelingen geeft die structureel bepaalde groepen benadelen. Een systeem dat bestaande ongelijkheden uitvergroot. Die data komt uit de maatschappij of uit hoe een bedrijf al jaren business doet. Als daar ongelijkheden inzitten, dan gaat dat mee in de data, in het algoritme en dat zie je vervolgens weer terug in de uitkomsten.” Volgens Krijger is dit zo gegroeid, doordat er in veel bedrijven te weinig tot geen mensen zitten die kritische vragen stellen over de systemen en de data waarop ze draaien. “Dat is mijn grote zorg op dit moment. Iedereen vindt data te gek, iedereen vindt AI te gek en het is allemaal de toekomst. Maar de maatschappelijke impact is nog een grote blinde vlek. Organisaties zijn nog niet toegerust om de juiste vragen te stellen en kritisch te kijken naar de systemen die ze gebruiken.”
Geen technisch probleem
Krijger ziet wel dat deze thema’s leven bij zowel overheids- als private bedrijven. Tegelijkertijd ziet hij dat de meeste organisaties aannemen dat het een technisch probleem is. “Door die aanname vliegen ze het probleem wat mij betreft op een verkeerde manier aan. Ze denken dat ze ontwikkelaars een ethisch kader moeten geven en dat het dan wel goedkomt. Dan kunnen de ontwikkelaars beslissen of het systeem uitlegbaar blijft en groepen eerlijk behandelt en kunnen ze daar vervolgens zelf mee aan de slag. Veel ontwikkelaars geven echter aan dat zij niet de verantwoordelijke moeten zijn voor het maken van die afwegingen. En daar hebben ze een punt. Wat ik heb gezien in mijn onderzoek en ook in mijn werk, is dat het vooral een organisatieprobleem is. Kijk naar het begrip fairness. Het probleem met fairness is dat er 21 verschillende opvattingen zijn over hoe je groepen gelijk kunt behandelen. Of iedereen moet dezelfde kansen hebben om onterecht afgewezen te worden. Of iedereen moet dezelfde kansen hebben om wel iets toegekend te krijgen. Enzovoorts. Het zijn allemaal vormen van groepen eerlijk behandelen, maar die vormen zijn wederzijds uitsluitend. Het zijn definities die elkaar bijten. Daarin moet je dus een keuze maken. De vraag aan de organisatie is wat mij betreft waar je die keuze op baseert. Wie maakt die keuze en hoe leg je die uit naar de maatschappij toe?”
Moreel en financieel
Die uitleg is een belangrijk punt. Ethiek is namelijk niet alleen een ‘nice to have’ bij het gebruik van algoritmes en AI. Het is essentieel voor een goede bedrijfsvoering. Daarmee is het noodzakelijk om ook verantwoording af te kunnen leggen aan stakeholders zoals medewerkers en klanten. Krijger: “Ook voor bijvoorbeeld accountants en aandeelhouders zou dit een belangrijk thema moeten zijn, omdat we al gezien hebben dat risico's in de systemen ook impact hebben op de waardering en performance van je bedrijf. Dan bedoel ik niet alleen reputatieschade, maar ook de prijs die je betaalt als systemen opnieuw gebouwd moeten worden of de enorme verliezen die je kunt leiden als systemen totaal verkeerde voorspellingen maken. Verantwoording naar de medewerker toe zie ik zelf ook veel terugkomen. Mensen willen graag bij een bedrijf werken dat zich bewust is van haar rol in de maatschappij en de risico’s van dit soort systemen en daarin een goede afweging maakt. Zeker de jonge generatie is hier nog bewuster mee bezig.”
Verantwoordelijkheidsvacuüm
Als bestuur leg je die verantwoording af over je bedrijfsvoering en -resultaten. Dat is lastig, want er is geen wet die je vertelt wat een rechtvaardige keuze is en wat niet. Terwijl een klant of een toezichthouder wel vragen kan stellen. Krijger: “De essentie van mijn promotieonderzoek is dat bedrijven verantwoordelijk moeten kunnen worden gehouden voor de keuzes die ze maken. Vaak worden dit soort geavanceerde algoritmes een soort verdwijntruc voor verantwoordelijkheid: ‘het systeem leert zelf, het systeem beslist zelf, dus hoe kun je ons dit aanrekenen?’ Daardoor verdwijnt de verantwoordelijkheid in een soort vacuüm en dat is denk ik een heel onwenselijke uitkomst. Daarom stuur ik erop aan dat organisaties in staat zijn om dit soort waardenafwegingen bewust te maken en vast te leggen. Zodat, wanneer je ter verantwoording wordt geroepen, men kan zien dat je er bewust mee bezig bent geweest en kan zien op basis van welke argumenten je die afweging hebt gemaakt. Dan kunnen ze beoordelen of dat wel of geen goede afweging is én zouden we ook maatschappelijk een debat kunnen voeren over wat wel of niet wenselijk is. Dat is denk ik een betere manier dan opleggen dat je een bepaalde vorm van eerlijkheid in je systemen moet hebben. Want het verschilt heel erg per context hoe zo’n ethisch begrip, zo’n open norm, vorm krijgt. Die uitleg en documentatie is een stuk belangrijker.”
Waar begin je?
Bedrijven moeten volgens Krijger dus aan de slag. Maar hoe begin je daarmee? “Er zijn ondertussen een hoop mooie softwaretools – zoals de AI Fairness 360 toolkits van IBM of AI impact assessments als het Impact Assessment Mensenrechten en Algoritmes, dat verplicht gaat worden voor overheidsinstellingen - om op een snelle en effectieve manier jezelf een paar extra vragen te stellen bij het ontwikkelen van een systeem”, tipt Krijger. “Daarmee krijg je meer inzicht in hoe je die afwegingen kunt maken en vastleggen. Vaak hoeven organisaties niet helemaal vanaf nul te beginnen. De meeste organisaties die data verwerken hebben tegenwoordig vanwege de AVG-wetgeving ook een privacy officer of er zijn al andere plekken in de organisatie waar al iets met ethiek wordt gedaan. Maar het blijft lastig. Dat was bij De Volksbank niet anders. Want waar komt dit ethische perspectief nu te zitten? Moet het bij de ontwikkelaars liggen? In het juridische team? Of iets ertussenin? Bij ons is het uiteindelijk er tussenin geworden. Maar het blijft een lastige vraag om te beantwoorden: wie is er verantwoordelijk voor de ethische aspecten van dit soort toepassingen?”
Organisatiecultuur cruciaal
Met alleen een Chief Ethics Officer ben je er volgens Krijger waarschijnlijk niet. “Als die alleen maar van bovenaf aan het zenden is naar mensen die de boodschap niet begrijpen of deze niet compleet kunnen vertalen naar de werkzaamheden die zij elke dag uitvoeren, dan ben je er nog niet. Uiteindelijk gaat het denk ik ook voor een groot deel om organisatiecultuur. Ontwikkelaars zijn geneigd de impact van hun modellen te onderschatten. ‘Er zit niet veel risico aan de systemen, want de uitkomst is maar een aanbeveling. Er gaat toch nog een medewerker naar kijken’. Maar bij de Belastingdienst hebben we gezien hoe systemen in de praktijk gaan leven. Dan wordt zo’n aanbeveling voor iemand anders ineens een waarheid.”
Team van experts
Goed, één ethics officer is dus niet genoeg. Maar Krijger heeft wel ander advies. “Er zijn gemeenschappelijk delers die je sowieso nodig hebt. Per organisatie verschilt wie welk gewicht waaraan hangt. Ik denk dat je in ieder geval een combinatie van expertises bij elkaar moet brengen om alle ethische aspecten en belangen scherp te krijgen. Dus alleen met je juridische bril of alleen met je technische bril op, krijg je de ethische problemen niet goed genoeg in beeld. Ik denk ook dat je nieuwe structuren en processen nodig hebt om de risico’s goed af te vangen. Dat betekent dat je een nieuwe manier van het reviewen of evalueren van je AI-systemen moet hebben. Daar heb je denk ik wel specifieke expertise bij nodig van iemand die iets weet van ethiek. Iemand die dit soort vraagstukken boven tafel kan krijgen en goed bespreekbaar kan maken in de organisatie.”
Verantwoordelijk terugpakken
Dat bedrijven nu pas over deze ethische kwesties aan het nadenken zijn, vindt Krijger niet vreemd. “We staan pas aan het begin van het grootschalig gebruik van AI-systemen. Daarnaast is ethiek abstract en voor veel organisaties lastig te vertalen naar hun bedrijfsvoering. Dat vraagt gerichte inzet. Daarnaast is het helaas nog altijd zo dat je in een bepaalde mate moet wachten tot het ‘in de soep loopt’. De urgentie krijg je pas als de systemen in de praktijk draaien en andere uitkomsten geven dan verwacht. Dat systemen die huidkanker opsporen bijvoorbeeld ineens beter blijken te werken op lichtere dan op donkere huidskleuren. Op dat soort momenten wordt de discussie pas echt levendig. Daarbij gaat de ontwikkeling van de technologieën zo snel dat het heel lastig is om daar grip op te houden. Daarom moet je zorgen dat je zelf weet wat je wilt. Dat je weet waar je voor staat en wat je zelf belangrijk vindt. Als organisatie moet je kritisch blijven en je verantwoordelijkheid durven nemen voor de afwegingen die je maakt. Geavanceerde algoritmes roepen nieuwe dilemma's op en brengen nieuwe risico's met zich mee. Zeker in deze tijd kom je niet meer weg met een soort struisvogelpolitiek waarbij de risico's er niet zijn zolang je er maar niet naar kijkt. Met die wetenschap vind ik dat het voor de maatschappij belangrijk is om dat verantwoordelijkheidsgevoel weer terug te halen. Zo zorgen we ervoor dat situaties als bij de Belastingdienst niet nog een keer kunnen gebeuren.”
