In oktober 2017 publiceerden we een artikel over hoe juridische artificiële intelligentiesystemen net zo bevooroordeeld bleken te zijn als wij. Een van de zaken die de voorpagina’s haalden was het COMPAS-systeem. Dat is risicobeoordelingssoftware die gebruikt wordt om de kans te berekenen dat een persoon een recidivist wordt. Het systeem bleek racistisch te zijn, waar het blanke verdachten bevoordeelde, en zwarte verdachten benadeelde.

Een vaak voorkomend probleem

Tot op de dag van vandaag blijven de problemen bestaan. Inmiddels zijn andere gevallen aan het licht gekomen. Vergelijkbaar met de problemen met het COMPAS-systeem, bleek bijv. dat de algoritmes die in Kentucky worden gebruikt om een borgstelling te berekenen, steevast blanke verdachten bevoordeelden. De situatie is vergelijkbaar in het Verenigd Koninkrijk. Daar kwam een commissie tot de conclusie dat strafrechtelijke AI-systemen dermate bevooroordeeld en onnauwkeurig waren dat ze ongeschikt waren om de risico’s te beoordelen voor een voorwaardelijke invrijheidstelling. Algoritmische vooringenomenheid werd ook ontdekt in systemen om leraren te beoordelen en in systemen voor natuurlijke taalverwerking. In het laatste geval was er sprake van een raciale vooringenomenheid met betrekking tot haatpropaganda en was er een gendervooroordeel in het algemeen.

Naar een oplossing?

Om de problemen met Kunstmatige Intelligentie te onderzoeken en aan te pakken, werd het ‘AI Now Institute‘ opgericht.  Vooringenomenheid is een van de vier gebieden waarop zij zich specifiek richten. Zij ontdekten dat vooringenomenheid kan bestaan in allerlei diensten en producten. Een belangrijke uitdaging bij het aanpakken van de problemen is dat “cruciale belanghebbenden, waaronder de bedrijven die systemen voor machine-leren ontwikkelen en de regelgevende instanties van de overheid, weinig interesse tonen in het monitoren en beperken van algoritmische vooringenomenheid. Financiële en technologische bedrijven maken gebruik van allerlei wiskundige modellen en zijn niet transparant over hoe ze werken”.

Het hoe en wat van vooringenomenheid

Wat is algoritmische vooringenomenheid? De Wikipedia definieert het als “systematische en herhaalbare fouten in een computersysteem die oneerlijke resultaten opleveren, zoals het bevoorrechten van één willekeurige groep gebruikers boven andere. Vertekening kan ontstaan door vele factoren, waaronder, maar niet beperkt tot, het ontwerp van het algoritme, of het onbedoelde of onverwachte gebruik of beslissingen met betrekking tot de manier waarop gegevens worden gecodeerd, verzameld, geselecteerd of gebruikt om het algoritme te trainen.

Het AI Now Institute verduidelijkt dat artificiële intelligentiesystemen leren van datasets en dat die datasets de sociale, historische en politieke omstandigheden weerspiegelen waarin ze zijn ontstaan. Als zodanig weerspiegelen ze bestaande vooroordelen.

Verschillende types van vertekening

Het kan nuttig zijn om een onderscheid te maken tussen verschillende soorten algoritmische vooringenomenheid. Tot nu toe zijn er acht verschillende types geïdentificeerd. (De gebruikte terminologie komt uit de Engelstalige literatuur. Er zijn op dit moment nog geen geijkte Nederlandse vertalingen).

1. Sample Bias – vooringenomenheid in de dataset: dit is de meest voorkomende vorm van vooringenomenheid. Dit is het geval wanneer de gegevens die voor de datasets worden gebruikt, zelf besmet zijn met bestaande vertekeningen. Bovenstaande voorbeelden zijn allemaal gevallen van vertekeningen die in de dataset aanwezig waren.
2. Prejudice Bias – vooringenomenheid gebaseerd op vooroordelen. Vooroordelen zijn een van de oorzaken van sample bias. Vooroordelen ontstaan als gevolg van culturele stereotypen die gehanteerd worden door de mensen die bij het proces betrokken zijn. Een goed voorbeeld hiervan zijn de stop- en fouilleringspraktijken van de New Yorkse politie. In ongeveer 83 procent van de gevallen was de persoon die werd tegengehouden ofwel Afrikaans-Amerikaans ofwel Latino, waarbij beide groepen samen slechts iets meer dan de helft van de bevolking uitmaken. Een AI-systeem dat leert van zo’n dataset zal de menselijke raciale vooringenomenheid overnemen die ervan uitgaat dat mensen verdachter zijn als ze Afrikaans-Amerikaans of Latijns-Amerikaans zijn. Omwille van deze vooroordelen kunnen factoren als sociale klasse, ras, nationaliteit, religie en geslacht in het model sluipen en kunnen die de resultaten volledig scheeftrekken.
3. Confirmation bias – bevestigingsvertekening is een andere mogelijke oorzaak van sample bias. Bevestigingsvertekening is de neiging om de voorkeur te geven aan informatie die de bestaande overtuigingen bevestigt. Als AI-systemen worden gebruikt om bepaalde hypothesen te bevestigen, kunnen de mensen die de gegevens selecteren – zelfs onbewust – geneigd zijn om de gegevens te selecteren in functie van de hypothese die ze proberen te bewijzen.
4. Group Attribution Bias – groepsattributievertekening is het type van vertekening waarbij de dataset een asymmetrisch beeld bevat van een bepaalde groep. Een voorbeeld daarvan was Amazon’s AI-assistent voor de Human Resourcesafdeling. Omdat Amazon veel meer mannelijke dan vrouwelijke ingenieurs in dienst had, concludeerde het systeem dat mannelijke ingenieurs de voorkeur moesten krijgen boven vrouwelijke ingenieurs.
5. De Square Peg Bias – de beschikbaarheidsvertekening heeft te maken met het selecteren van een dataset die niet representatief is en enkel gekozen wordt omdat die nu eenmaal beschikbaar is.
6. De Bias-variance Trade-off – de afwijking van de vooringenomenheidsvariantie. Dit is een vertekening die in het systeem wordt geïntroduceerd door het mathematisch over-corrigeren voor variantie. (Een voorbeeld ter verduidelijking: Stel dat je een dataset hebt waarbij 30% van de betrokkenen vrouwelijk is. Dan zijn vrouwen effectief ondervertegenwoordigd in de dataset. Om dit te compenseren gebruik je wiskundige formules om de resultaten te ‘corrigeren’). Deze wiskundige correctie kan nieuwe vertekeningen introduceren, vooral in complexere datasets, waarbij de correcties kunnen leiden tot het missen van bepaalde complexiteiten.
7. Measurement Bias – de meetvertekening heeft te maken met technische gebreken die de dataset besmetten. Stel dat u mensen wilt wegen en weegschalen wilt gebruiken, maar dat ze niet correct meten.
8. Stereotype Bias – vertekening op basis van stereotypes. Het voorbeeld dat hierboven werd gegeven m.b.t. Amazon, geldt ook als een genderstereotypevooroordeel. Er waren meer mannelijke dan vrouwelijke ingenieurs in de dataset. Dat kan ertoe leiden dat systemen de voorkeur geven aan mannelijke ingenieurs en/of dat de verhouding in de dataset behouden blijft.

Het goede nieuws is dat naarmate we de verschillende soorten algoritmische vooringenomenheden beter begrijpen en identificeren, we ook steeds beter oplossingen vinden om hun effecten ongedaan te maken.

CICERO LawPack

Meer lezen van CICERO LawPack? Dat kan hier!