Geautomatiseerde besluitvorming komt in alle rechtsgebieden voor. Wat is het eigenlijk en welke rol ligt er voor advocaten? Een Nederlands perspectief.

Een fishing expedition was het volgens de voorzieningenrechter in Amsterdam. Ouders van kinderen die met behulp van een computerprogramma in 2017 waren uitgeloot voor de twaalf middelbare scholen van hun keuze vroegen inzage in de werkwijze van de stichting die de loting verzorgt. Maar de exhibitieplicht van artikel 843a Wetboek van Burgerlijke Rechtsvordering konden ze daar niet voor gebruiken. Dat artikel heeft het over ‘bepaalde bescheiden’ en de vragen van de ouders waren niet zo concreet. “Een schokkende uitkomst,” zegt Marlies van Eck, adviseur, universitair docent en onderzoeker bij eLaw, het centrum voor recht en digitale technologie van de Universiteit Leiden. “Ze vroegen naar de logica van het lotingssysteem en werden afgewimpeld. Maar hoe moet je anders je recht halen?”

Het lotingssysteem is een voorbeeld van geautomatiseerde besluitvorming. Dan gaat het om besluiten van een organisatie, genomen op basis van automatisch verwerkte gegevens, met behulp van beslisregels (een algoritme). In alle rechtsgebieden komt dit voor. Geautomatiseerde besluitvorming zonder menselijke tussenkomst mag in beginsel niet. Op grond van de Algemene verordening gegevensbescherming (AVG) hebben mensen recht op een menselijke blik bij besluiten die over hen gaan. Maar er zijn wel uitzonderingen.

Geen vakantiedagen

Er zijn genoeg redenen te verzinnen waarom organisaties en instituties geautomatiseerde besluitvorming inzetten, met of zonder menselijke tussenkomst. Zo liet de fiscus in de jaren zeventig al computers besluiten nemen in plaats van ambtenaren. In die periode groeide het aantal autobezitters massaal. Geautomatiseerde besluitvorming zorgde ervoor dat de motorrijtuigenbelasting toch goed geregeld werd. Grote hoeveelheden data verwerken, kunnen computers sneller en vaak beter dan mensen, vooral omdat levende wezens zulke eenvoudige, repetitieve klussen vaak saai vinden. De kosten zijn daarnaast lager voor organisaties. Computers nemen bijvoorbeeld geen vakantiedagen op.

Inmiddels is geautomatiseerde besluitvorming wijdverbreid. “Het is overal om ons heen,” zegt advocaat Hub Dohmen, mede­oprichter van de Nederlandse Vereniging voor AI- en Robotrecht (NVAIR). “Je smartphone neemt bijvoorbeeld voortdurend beslissingen waar je je niet bewust van bent. En het ene besluit volgt weer op het andere. Die algoritmes hangen aan elkaar. Het is belangrijk dat advocaten dit beseffen.”

Hype

Welke rol hebben advocaten bij het gebruik van kunstmatige intelligentie volgens experts? Allereerst is het van belang dat juristen een basisbegrip ontwikkelen over algoritmes, zegt Dohmen. “In Amerika hebben advocaten op grond van gedragsregels de verplichting om zich te verdiepen in technologie. Dat kan ik alleen maar aanmoedigen”’ zegt Jan Scholtes, buitengewoon hoogleraar tekst-mining aan de Universiteit Maastricht en chief strategy officer bij ZyLAB Technologies, dat onder meer e-discovery software ontwikkelt.

Advocaten moeten begrijpen dat zorgen kunnen bestaan over de data waarop geautomatiseerde besluiten gebaseerd worden. Garbage in, garbage out, zeggen techneuten: wat je het systeem voedt, komt er ook uit. “En wat haal je uit de data voor je beslissing? Als je geen rekening houdt met bepaalde eigenschappen of je niet weet of het onderdeel uitmaakt van het beslissingsproces, dan is het beslissingsproces niet goed,” zegt Scholtes.

Ook is het risico op vooringenomenheid van de data aanwezig: bias in, bias out. Dat overkwam Amazon bijvoorbeeld. Het online warenhuis ontwikkelde een recruitment tool op basis van machine learning. Maar die bleek vrouwen achter te stellen bij functies op de IT-afdeling. Gevoed met historische data leerde de computer zichzelf dat dames niet in het gewenste profiel pasten. Die hadden er in het verleden immers nauwelijks gewerkt. Amazon heeft de tool inmiddels verwijderd.

Discriminatie

De computer snapt niet altijd dat discriminatie verboden is. De Raad van Europa waarschuwde eind februari in een rapport over AI en geautomatiseerde besluitvorming zelfs voor nieuwe vormen van discriminatie door algoritmen. Zo kan prijsdifferentiatie, waarbij de computer bepaalt hoeveel een consument moet betalen, sociale ongelijkheid versterken, blijkt uit het rapport. De huidige wetten hebben nog geen vat op deze vormen van onderscheid maken. Het risico van discriminatie loert ook als veel gegevens bij elkaar gebracht worden.

Niet alleen de data, maar ook het functioneren van algoritmes is een aandachtspunt voor experts. Kunstmatige intelligentie is notoir intransparant – de bekende black box. “Wat in het hoofd van een ambtenaar gebeurt, weet je niet. Dus toen overheidsbesluiten voor het eerst door computers werden genomen, was het idee dat er meer transparantie zou komen. Die verwachting is helemaal niet uitgekomen,” zegt Van Eck.

Kafkaësk

Volgens Mireille Hildebrandt, hoogleraar ICT en rechtsstaat aan de Radboud Universiteit Nijmegen en onderzoekshoogleraar Interfacing law and technology aan de Vrije Universiteit Brussel, is er ten aanzien van de rechtsstaat belangrijk werk te doen voor advocaten. “Ik begrijp de verleiding voor de overheid om met geautomatiseerde besluitvorming te werken, want de regeldruk is enorm. Maar er bestaat ook een risico op kafkaëske situaties. Denk aan ervaringen die we nu hebben met helpdeskmedewerkers, die alleen maar kunnen vertellen wat er op hun schermpje staat. Zij kunnen niet uitleggen hoe het besluit tot stand is gekomen. Dat leidt tot boze mensen. Ik zie de gele hesjes al komen. Het risico bestaat dat de overheid de hele rechtsstaat uitholt doordat burgers continu worden geconfronteerd met beslissingen die ze niet begrijpen.”

Daarom vond Van Eck de uitspraak van de rechter in de Amsterdamse schoolloting zo schokkend. “Het verzoek van de ouders om meer informatie werd onder het tapijt geveegd, met het verweer: breek je hoofd daar nou maar niet over, dat is iets heel ingewikkeld, neem het nou maar van ons aan.” Anno 2019 komen organisaties met zulke tegenwerpingen niet meer weg, benadrukt Hildebrandt. “Op grond van artikel 15 AVG heeft de betrokkene het recht om uitsluitsel te krijgen over het bestaan van geautomatiseerde besluitvorming, de onderliggende logica en het belang en verwachte gevolgen van de verwerking. Bovendien kun je op grond van de AVG altijd naar de rechter. Dat wordt nog superinteressant.”