In onze vorige bijdrage schetsten we de algemeen de impact van AI op de rechtspraktijk, lichtten we de terminologie toe en bespraken we de zogenaamde expert systems. In deel II gaan we dieper in op machine learning.

Machine learning en de mogelijkheid om onzichtbare regels te vinden

Expert systems vertalen menselijke expertise in een algoritme. Een algoritme kan worden gedefinieerd als een “reeks instructies die worden uitgevoerd om de input te veranderen naar een output”. Een expert system veronderstelt evenwel dat de expert in kwestie de regels kent, omdat hij de regels moet programmeren in het systeem. Het is echter niet altijd mogelijk om alle regels te kennen. Daarenboven is het in sommige gevallen eveneens te omslachtig om alle relevante regels te bepalen of te programmeren in een systeem.

Een goed voorbeeld in een juridische context: hoe zou een jurist de identificatie van een change of control-bepaling kunnen programmeren in een expert system? Welke ‘harde’ regels kan men gebruiken om deze bepalingen te identificeren? Een change of control-bepaling is een contractuele clausule die bepaalt dat de wijziging in de controle van een vennootschap een bepaald gevolg teweegbrengt, veelal de mogelijkheid om de overeenkomst in kwestie vroegtijdig op te zeggen. Veel vennootschapsjuristen zullen in de context van fusies en overnames geconfronteerd worden met deze change of control-bepalingen. Ze moeten dan in de overeenkomsten van de vennootschap zoeken of er dergelijke bepalingen aanwezig zijn. Kan deze taak ook door een expert system uitgevoerd worden? Hoewel het zeker mogelijk is om een aantal regels op te sommen die een computer kan gebruiken, zullen deze regels veelal over-inclusive (identificeren als een change of control-bepaling, terwijl het er in de realiteit geen is) of under-inclusive (geen identificatie van een paragraaf als een change of control-bepaling, terwijl het in de realiteit wel een dergelijke bepaling is) zijn. Het gebruiken van expert systems voor toepassingen zoals het identificeren van change of control-bepalingen is bijgevolg onderworpen aan een aantal belangrijke beperkingen. Een menselijke expert zal talrijke uren moeten besteden om op basis van deze regels een expert system op poten te zetten dat een aanvaardbare accuraatheid heeft. Vervolgens zal in dit proces de juridische expert moeten samenwerken met een IT-expert, hetgeen niet altijd eenvoudig is.

Het is in dat verband dat machine learning bijzonder nuttig wordt. Machine learning maakt het immers mogelijk om de kennis van een menselijke expert te vervangen door data. Machine learning-systemen zijn in staat om tendensen te ontdekken en maken op basis van deze tendensen in de data-algoritmen. Het gevolg is dat geen menselijke expert nodig is om de relevante regels in het systeem te programmeren.

Gesuperviseerd leren of hoe machine learning ‘leert’

Machine learning-systemen zijn in staat om tendensen te vinden in data. Hoe worden deze patronen gevonden? Een computer moet eerst en vooral feedback krijgen om te kunnen leren. Feedback kan je aan de computer geven op drie manieren: supervised learning, reinforcement learning en unsupervised learning. Wij focussen ons in dit artikel op supervised learning of gesuperviseerd leren.

Bij gesuperviseerd leren krijgt de computer twee reeksen data voorgeschoteld: een reeks trainingsdata en een reeks nieuwe data. Trainingsdata zijn vooraf geïdentificeerde data. Dit wilt zeggen dat die reeks data al geïdentificeerd is op basis van de gewenste uitkomst. Een computer krijgt bv. 1.000 contractuele bepalingen voorgeschoteld die door een expert al correct geïdentificeerd zijn.

De computer zal vervolgens de reeks data doorzoeken om een tendens te vinden die het mogelijk maakt om de juiste uitkomst te bepalen voor nieuwe data. De computer gebruikt statistische modellen en past de parameters van deze modellen aan om de accuraatheid van het voorspellingsmodel te verbeteren. Dit proces is repetitief en incrementeel in karakter. Deze parameters kunnen bv. de aanwezigheid van bepaalde woorden zijn (in het voorbeeld van de change of control–bepaling, de aanwezigheid van de woorden ‘controle’, ‘wijziging’ of ‘controlewijziging’) of de nabijheid van dergelijke woorden. Eens de computer het meest accurate model en de bijhorende parameters heeft ‘geleerd’, is de computer klaar om het model toe te passen op data.

Om te bepalen hoe performant een specifiek model is, is het noodzakelijk om op empirische wijze het model te evalueren. Dat kan bijvoorbeeld door een klein deel van de trainingsdata opzij te houden (20 % van de trainingsdata). Als het model klaar is, wordt het toegepast op deze subgroep van de trainingsdata om de prestatie van het model te evalueren. Er komen hier vier resultaten uit:

• True negatives (TN) zijn de negatieve gevallen die correct als negatief werden voorspeld (een bepaling is geen change of control en werd ook zo correct door de computer geïdentificeerd).
• True positives (TP) zijn de positieve gevallen die correct als positief werden voorspeld (een bepaling is een change of control en werd ook zo correct door de computer geïdentificeerd).
• False negatives (FN) zijn de positieve gevallen die foutief als negatief werden voorspeld (een bepaling is een change of control en werd foutief niet als zodanig geïdentificeerd).
• False positives (FP) zijn de negatieve gevallen die foutief als positief werden voorspeld (een bepaling is geen change of control en werd foutief als een change of control geïdentificeerd).

De accuraatheid is de ratio tussen correcte voorspellingen en het totale aantal voorspellingen (TN + TP)/(TN + TP + FN + FP). Het is niet realistisch om een accuraatheid van 100 % te verwachten van een machine learning-model. Daarenboven is het niet ongewoon dat mensen vooringenomen zijn in het nadeel van een computer en in het voordeel van menselijke experten, denkende dat een menselijke expert altijd  accurater zal zijn in het voorspellen van een bepaalde uitkomst. Het is echter een realiteit dat, indien men een menselijk expert en een machine learning-model simultaan evalueert, dat het model accurater is.

Beslisbomen

Een voorbeeld van een model dat een computer kan gebruiken om tendensen te vinden in data is door het gebruik van beslisbomen (decision trees). Dit model is een van de meest eenvoudige en succesvolle modellen voor machine learning-toepassingen. Beslisbomen zijn ietwat gelijkaardig aan een expert system in de zin dat ook zij gebruikmaken van ‘als-dan’-verklaringen. Het verschil is uiteraard dat, zoals hierboven reeds werd uiteengezet, de computer de parameters die deze ‘als-dan’-verklaringen bepalen incrementeel kan aanpassen om op die manier tot het beste resultaat te komen. Het is dus niet de menselijke expert die deze verklaringen ‘manueel’ – op basis van diens kennis – bepaalt. Beslisbomen kunnen gevisualiseerd worden als meerdere nodes die elk vertakken naar nieuwe nodes (vandaar de benaming beslisbomen, waarbij elke node een blad of vertakking is van de boom).

Hoe kleiner (lees: een laag aantal nodes) de beslisbomen, hoe gemakkelijker het is om de resultaten te interpreteren. Beslisbomen met meer dan 100 nodes kunnen daarbij bijzonder complex zijn om door de menselijke expert geïnterpreteerd te worden.

Het machine learning-model leert niet echt maar gebruikt plaatsvervangende indicatoren

Wat betekent ‘leren’? Wij definieerden artificiële intelligentie als de mogelijkheid voor een computersysteem om taken uit te voeren die normaal menselijke intelligentie vereisen. Voor wat betreft machine learning is de taak die de computer tracht te evenaren het leerproces. Met andere woorden, we proberen om de menselijke cognitie na te bootsen. Het is belangrijk om in dit verband echter op te merken dat de huidige vaardigheden van machine learning (en artificiële intelligentie in zijn geheel) enkel de menselijke cognitie evenaren. Dat is omdat artificiële intelligentie zoals machine learning gebruik maakt van heuristieken en proxies, met inbegrip van statistische correlaties afgeleid van de tendensen in data, om een resultaat te bekomen dat gelijkaardige resultaten oplevert als wanneer een persoon een gelijkaardig probleem zou oplossen. Waar vandaag de dag een machine learning-model niet toe in staat is, is om abstracte concepten te begrijpen Het resultaat is dat het model niet het leerproces kan ‘veralgemenen’ op dezelfde manier waarop een persoon van vlees en bloed dat doet.

Ten slotte is het belangrijk op te merken dat de combinatie van deze vaststelling, met name dat machine learning niet de onderliggende concepten of tendensen begrijpt, en het feit dat machine learning gebruik maakt van historische data, mogelijk gevaarlijk is. De combinatie van deze twee eigenschappen zorgt er immers voor dat een bepaalde bias of vooringenomenheid in stand gehouden kan worden. Door het gebruikmaken van historische data zal het machine learning-model er immers minder toe in staat zijn om bepaalde nieuwe evoluties op te sporen, deze vervolgens niet in rekening nemen en bijgevolg verouderde regels toe passen op nieuwe data. Een menselijke expert zal in vergelijking met een machine learning meer in staat zijn om nieuwe tendensen op te sporen en deze bijgevolg toe te passen op nieuwe data.

Rémy Bonnaffé

Freshfields Bruckhaus Deringer

U kunt de volledige versie van deze bijdrage, Nieuwe technologieën en het recht. De impact van artificiële intelligentie op de rechtspraktijk. Deel II: Machine Learning, hier downloaden.

Over de auteur

Rémy is a corporate and M&A lawyer at Freshfields Bruckhaus Deringer. Rémy advises corporate clients and financial investors on both public and private M&A, joint ventures and capital markets operations in Belgium and internationally. He is a member of the Freshfields Innovation Team, where he helps to generate ideas and develop business cases relating to innovating the firm’s legal services. Rémy has been seconded to the Freshfields Innovation Team in London as a Product Owner. Rémy obtained his law degree at Ghent University and an LL.M. at Columbia Law School. Rémy co-founded the Columbia Law School Legal Technology Association.