Wedstrijden waarin een mens het opneemt tegen een machine, zijn altijd populair. We hebben al gevallen gezien waar Artificiële Intelligentie (AI)-systemen menselijke experts versloegen in bijvoorbeeld schaak en Go. En in de afgelopen maanden hebben ook advocaten het onderspit moeten delven in wedstrijden met robotadvocaten. In de krantenkoppen van deze week vinden we een verhaal over een Artificiële Intelligentie-systeem dat menselijke advocaten overtreft bij het beoordelen van geheimhoudingsovereenkomsten (‘non-disclosure agreements’). Enkele maanden geleden, in oktober 2017, was er een gelijkaardig verhaal over een AI-systeem dat beter in staat was dan menselijke advocaten om de uitkomst te voorspellen van zaken over betalingsbescherming. Laten we eerst dit laatste geval nader bekijken.

Case Cruncher Alpha

Het was in oktober 2017 in het Verenigd Koninkrijk dat robotadvocaten – waarschijnlijk voor het eerst – hun menselijke collega’s versloegen. Het AI-systeem dat het opnam tegen menselijke advocaten was Case Cruncher Alpha, ontwikkeld door Casecrunch. Casecrunch is de huidige naam voor het bedrijf dat eerder LawBot, Lawbot-X en Echtscheidingsbot heeft ontwikkeld. Het werd opgericht door een groep rechtenstudenten van Cambridge University Law. (Zie ons artikel over Legal Chatbots). Case Cruncher Alpha is ontworpen om bestaande rechtszaken te onderzoeken om de uitkomst van vergelijkbare zaken te voorspellen.

In de wedstrijd nam Case Cruncher Alpha het op tegen 112 advocaten. Allen waren advocaten uit Londen met een specialisatie in handelszaken. Maar ze waren geen deskundigen op het specifieke gebied waarop de behandelde zaken betrekking hadden.

Het doel van de wedstrijd was de uitkomst te voorspellen van zaken die betrekking hadden op de zogenaamde Payment Protection Insurance (PPI). Het gaat om betalingsverzekeringen die banken aanbieden. In het Verenigd Koninkrijk is men vrij vertrouwd met het onderwerp omdat verschillende banken veroordeeld werden om een schadevergoeding te betalen aan klanten aan wie ze verzekeringsproducten hadden verkocht die ze niet nodig hadden. De deelnemers aan de wedstrijd kregen echte zaken voorgeschoteld die door de Financial Ombudsman Service (de financiële ombudsman) van het Verenigd Koninkrijk waren behandeld. De advocaten mochten gebruik maken van alle beschikbare rechtsbronnen.

Het resultaat was een verpletterende nederlaag voor de advocaten: ze behaalden slechts een nauwkeurigheidsscore van 62%, terwijl Case Cruncher Alpha 86,6% scoorde (er werden geen gegevens verstrekt over hoe individuele advocaten scoorden, dan wel of er personen waren die beter scoorden dan het AI-systeem).

Richard Tromans van artificiallawyer.com wijst er terecht op dat het niet evident is om de resultaten van deze wedstrijd te evalueren. Ze betekenen niet dat machines over het algemeen beter zijn dan advocaten in het voorspellen hoe een zaak zal beoordeeld worden. Wat ze wel laten aantonen, is dat als de vraag nauwkeurig genoeg wordt gedefinieerd, machines kunnen concurreren met menselijke advocaten, en soms beter kunnen presteren. Tegelijkertijd suggereert dit experiment ook dat er andere factoren dan juridische factoren kunnen bijdragen tot de uitkomst van de zaken. Maar wat de wedstrijd ongetwijfeld duidelijk maakte, was dat juridische voorspellingssystemen een nuttige rol kunnen spelen.

Ian Dodd was een van de scheidsrechters. Hij gelooft dat AI een deel van het voetwerk van stagiairs, jonge advocaten en juridische medewerkers (‘paralegals’) kan overnemen, maar dat geen enkele machine met een cliënt kan praten of kan pleiten voor een rechter van het Hooggerechtshof. Hij vat het als volgt samen: “De kennisjobs zullen verdwijnen; de jobs die wijsheid vergen, zullen blijven.”

LawGeex

Een andere gelegenheid waar robotadvocaten de overhand hadden, was in februari 2018, in de VS. In dit geval was het AI-systeem ontwikkeld door LawGeex, de onderneming die in 2014 is opgericht door handelsadvocaat Noory Bechor (zie ons vorige artikel over AI en contracten). Noory Bechor besefte dat 80% van zijn werk bestond uit het doornemen van contracten en zeer repetitief was. Hij geloofde dat het sneller, goedkoper en effectiever door een computer gedaan kon worden, en richtte daarom LawGeex op.

In deze wedstrijd nam het AI-systeem het op tegen 20 advocaten bij het nazien van ‘Non-Disclosure Agreements‘ (NDA’s = geheimhoudingsovereenkomsten). Alle 20 advocaten waren deskundigen op dit gebied. Het verslag dat LawGeex publiceerde, verklaart: “In het onderzoek werd elke advocaat gevraagd te controleren of vijf NDA’s voldeden aan een reeks clausuledefinities. Elke advocaat kreeg vier uur de tijd om de relevante problemen in alle vijf NDA’s te vinden”. De deelnemers moesten 30 juridische knelpunten identificeren, waaronder arbitrage, vertrouwelijkheid van relaties en schadeloosstellingen. Ze kregen scores die weergaven hoe nauwkeurig ze elk probleem identificeerden.

Opnieuw deed het AI-systeem het beter dan de menselijke advocaten. Het bereikte een nauwkeurigheidspercentage van 94%, terwijl de advocaten gemiddeld 85% bereikten. Er waren echter aanzienlijke verschillen tussen de advocaten onderling. De slechtst presterende advocaat scoorde bijvoorbeeld slechts 67%, terwijl de twee best presterende advocaten het AI-systeem versloegen en, afhankelijk van de bron, een nauwkeurigheid van 94 of 95% behaalden. Voor één specifieke NDA identificeerde een advocaat slechts 55% van de relevante kwesties, terwijl voor een andere NDA het AI-systeem een score van 100% haalde, waar de beste advocaten voor die NDA 97% bereikten.

De advocaten moesten ook – en op dramatische wijze – het onderspit delven tegen het AI-systeem als het om snelheid ging. Het AI-systeem kon de klus in 26 seconden klaren, terwijl de advocaten gemiddeld 92 minuten nodig hadden. De langste tijd die een advocaat nam, was 151 minuten, terwijl de snelste advocaat er 51 minuten over deed.

Gillian K. Hadfield is hoogleraar rechten en economie aan de universiteit van Zuid-Californië. Zij functioneerde als adviseur voor de test. Ze zegt: “Dit onderzoek toont aan dat technologie twee problemen kan helpen oplossen: enerzijds kan het contracten sneller en betrouwbaarder maken en anderzijds kan het middelen vrij maken zodat juristen zich kunnen concentreren op het opbouwen van de kwaliteit van hun juridische teams.” Met andere woorden, het gebruik van AI kan advocaten daadwerkelijk helpen hun werk te versnellen en kan meer tijd vrij maken zodat de advocaten zich kunnen concentreren op taken die nog steeds menselijke vaardigheden vereisen.

CICERO LawPack

Wilt u meer lezen van deze auteur? Klik hier voor meer blogartikels of bezoek de auteurspagina van CICERO LawPack op Jubel.

Bronnen:

• bbc.com/news/technology-41829534
• artificiallawyer.com/2017/10/28/ai-beats-human-lawyers-in-casecrunch-prediction-showdown/
• com/2018/02/26/ai-beats-humans-at-contracts/
• legalfutures.co.uk/latest-news/ai-beats-average-legal-mind-not-best-performing-lawyers
• artificiallawyer.com/2018/02/26/lawgeex-hits-94-accuracy-in-nda-review-vs-85-for-human-lawyers/