Een Nederlandse rechter zegt gebruik te hebben gemaakt van ChatGPT als informatiebron voor een uitspraak. Het inzetten van ChatGPT in de rechtspraak ligt gevoelig. Kunstmatige intelligentie vindt steeds meer ingang in ons dagelijks leven. Het is verleidelijk om op de technologie te vertrouwen voor snelle antwoorden en oplossingen. Wanneer het echter aankomt op kritische besluitvorming, zoals in de juridische wereld, roept het gebruik van AI-tools zoals ChatGPT vragen op.
Vertrouwen op ChatGPT als informatiebron is problematisch. Dit artikel zoomt in op enkele redenen (zonder exhaustief te zijn) waarom dit geen goed idee is.
Taalmodellen: meesters van taal, niet van data
ChatGPT, Copilot, Bard en anderen behoren tot de groep large language models (LLM’s). Zoals de naam zelf aangeeft, zijn ze ontworpen voor het verwerken en genereren van taal, niet voor het verstrekken van nauwkeurige informatie.
In de kern functioneren LLM’s door patronen in taal te herkennen en te voorspellen. Ze genereren tekst op basis van waarschijnlijkheden die zijn afgeleid van uitgebreide training
ChatGPT, ontwikkeld door OpenAI, is een geavanceerd hulpmiddel dat is ontworpen om menselijke tekst te begrijpen en te produceren. Het blinkt uit in taken zoals het genereren van (schijnbaar) samenhangende zinnen (taal dus), zonder echter te verifiëren of die gegenereerde informatie ook correct is. Het is dus geen betrouwbare informatiebron.
Hoe LLM’s werken
In de kern functioneren LLM’s door patronen in taal te herkennen en te voorspellen. Ze genereren tekst op basis van waarschijnlijkheden die zijn afgeleid van uitgebreide training uit diverse datasets. Deze aanpak stelt hen in staat om tekst te produceren die plausibel en vloeiend klinkt, maar gebaseerd is op patronen in plaats van geverifieerde data.
De resultaten zijn ‘probabilistisch’, gebaseerd op kansberekening, wat betekent dat ze weerspiegelen wat het meest waarschijnlijk volgt op een bepaalde prompt, niet noodzakelijk wat waar of accuraat is.
De valkuilen van ChatGPT als informatiebron
Onvermogen om informatie te verifiëren
Een van de belangrijkste beperkingen van LLM’s is hun onvermogen om informatie te verifiëren of te controleren. Ze hebben geen toegang tot realtime databases of feitelijke bronnen. In plaats daarvan vertrouwen ze op hun trainingsgegevens, die onnauwkeurigheden, vooroordelen of verouderde informatie kunnen bevatten. Hierdoor kan de informatie die ze verstrekken misleidend of ronduit incorrect zijn.
Gebrek aan gespecialiseerde kennis van ChatGPT
Hoewel LLM’s generalisten zijn die een breed scala aan onderwerpen kunnen behandelen, missen ze de diepgang die nodig is voor gespecialiseerde gebieden zoals het recht. Juridische beslissingen hangen vaak af van genuanceerde interpretaties, domeinen waar LLM’s die immers getraind zijn op algemene gegevens grandioos tekortschieten.
Risico op misinformatie
De resultaten gegenereerd door LLM’s kunnen overtuigend lijken, maar bevatten vaak onnauwkeurigheden en zelfs verzinsels. Dit fenomeen, bekend als ‘hallucinatie’ in AI, treedt op wanneer het model inhoud genereert die niet op werkelijkheid berust. Het hoeft geen betoog dat in juridische contexten nauwkeurigheid van het grootste belang is.
De gevaren van ChatGPT in het rechtssysteem
Het gebruik van ChatGPT als informatiebron is zorgwekkend. Niet in het minst omdat het daar niet voor ontwikkeld is. Des te meer tools er op de markt komen, des te belangrijker wordt het om te begrijpen waarvoor welke tool ontwikkeld werd en dus betrouwbaar gebruikt kan worden. Daarenboven moet men ervan kunnen uitgaan dat rechtspraak gebaseerd wordt op geverifieerde informatie, degelijk redeneren en deskundige juridische interpretatie.
Vertrouwen op een tool als informatiebron die daarvoor niet ontworpen is, ondermijnt al snel de nauwkeurigheid en integriteit van het juridische proces.
Conclusie
De aantrekkingskracht van AI-tools zoals ChatGPT ligt in hun indrukwekkende vermogen om taal te verwerken, maar het gebruik ervan als informatiebron wordt al snel een mijnenveld vol risico’s.
In de kern ontstond dit misverstand door de verwarring om een LLM te beschouwen als een betrouwbare informatiebron. Taalmodellen gaan over taal, niet over het verschaffen van nauwkeurige of correcte informatie. Dat laatste is een finaliteit waarvoor het niet ontwikkeld werd.
Rechters en juridische professionals kunnen tools gebruiken als hulpmiddel. Om dit op een correcte en adequate manier te kunnen doen, is het belangrijk te begrijpen waarvoor elke tool is ontwikkeld. Een uitdaging die des te groter wordt naarmate er meer tools beschikbaar worden.
geachte Meester
ik versta goed dat chatgpt louter een taaltool is. Dat is idd een essentiële precisering.
Geldt dat ook voor perplexity ? Kent u dat ?
Ik heb daar al verschillende juridische en andere vragen aan gesteld, en krijg altijd antwoord mét vermelding van de bronnen. Binnen mijn vakgebied (Notaris), waren dat mij bekende en pertinente bronnen.
mvg
Antwoord van de auteur
Bedankt voor uw vraag.
Zoals u zelf reeds aangeeft, is Perplexity meer dan een louter LLM. Het geeft inderdaad ook bronnen met linken weer.
Enkele aandachtspunten:
– Dit kan een nuttig hulpmiddel zijn al is het belangrijk om die linken te verifiëren. Als juristen hebben we al snel de neiging om ervan uit te gaan dat teksten met referenties de inhoud van die tekst weergeven, terwijl Perplexity exact om die reden al onder vuur heeft gelegen. Forbes heeft bijvoorbeeld een zaak aangespannnen tegen Perplexicity wegens plagiaat. Als juristen blijven we graag ver weg van plagiaat.
– Daarenboven gaat Perplexicity reeds selecteren welke informatie het weergeeft. Bijvoorbeeld als men een vraag in het Nederlands stelt, zal het meestal Nederlandstalige bronnen geven, terwijl er best nuttige grensoverschrijdende informatie te vinden kan zijn of de initiële bron veel genuanceerder in een andere taal gepubliceerd werd.
– Zoals elke AI-tool in dit stadium kan het ook hallucineren.
– Perplexity geeft een interpretatie van de bronnen. Afhankelijk van de omstandigheden kan dit net wel of niet wenselijk zijn. Hoe dan ook is het nuttig om ons ervan bewust te zijn.
Kortom Perplexity heeft een nuttige plaats, zoals met elke tool is het van belang om de sterktes en zwaktes ervan te begrijpen, zodat men met deze uitdagingen op gepaste wijze kan opgaan.
Hopend u hiermee van dienst te zijn.
Aarzel niet bij eventuele verdere vragen.