Criminaliteit tegen AI: doelwit van vergiftiging

Naarmate de inzet van AI-systemen in ons dagelijks leven toeneemt, worden deze systemen tegelijkertijd een steeds aantrekkelijker doelwit voor zij die de gebreken ervan willen uitbuiten.

Zo verwijzen studies rond de mogelijke voordelen van autonome voertuigen vaak in één adem naar de bijhorende gevaren die een eventuele hacking ervan zou inhouden. Denken we bijvoorbeeld aan een zelfrijdend voertuig dat passagiers van punt A naar punt B brengt, zoals de robottaxi’s waarmee men anno 2024 in San Francisco al duchtig experimenteert. Terroristen zouden inderdaad over een potentieel nieuw wapen beschikken wanneer zij zouden kunnen inbreken in het centrale AI-systeem achter de wagen(s) om hen alzo te programmeren dat er aanslagen mee worden gepleegd.

In een andere context waarschuwt men tevens voor zogenaamde data poisoning attacks, die in essentie erop zijn gericht om trainingsgegevens van AI-systemen te manipuleren met als doel de besluitvormingsprocessen van het systeem te beïnvloeden. De ‘vergiftiging’ kan van binnenuit of buitenaf komen en kent verschillende varianten, waaronder bijvoorbeeld label poisoning. Neem ter illustratie een scenario waarin een bedrijf een machine learning-model ontwikkelt om e-mails te classificeren als ‘legitiem’ of als ‘spam’. Een aanvaller verschaft zich toegang tot de trainingsdataset en manipuleert een aanzienlijk aantal spam-mails die als legitiem worden bestempeld (‘labelling’), of omgekeerd. Het model leert daarna verder van deze vergiftigde dataset en de filter zal na een tijdje bepaalde spam-mails gaan associëren met het label ‘legitiem’, of andersom bepaalde legitieme e-mails markeren als spam.

AI-beveiliging als opkomende discipline

Met de groei van AI en de bijhorende kwetsbaarheden van diens onderliggende technologieën is er ongetwijfeld een scharniermoment aangebroken voor risicobeheer in onze samenleving. Anno 2024 is AI-veiligheid bijgevolg meer dan ooit een opkomende discipline, vooral op Europees niveau.

Volgens het Europees Agentschap voor de Veiligheid van Netwerk- en Informatiesystemen zijn er twee termen die het AI-veiligheidsbeleid kenmerken: safety en security. Beide zijn gelijkaardig in de zin dat ze wijzen op de nood aan afwezigheid van onaanvaardbare risico’s. Het type risico is echter verschillend.

Safety duidt op ‘veiligheid’ waarbij AI geen inacceptabele risico’s mag veroorzaken aan de omgeving (bijvoorbeeld op het vlak van mensenrechten, zoals een recidiverisicobeoordeling aan de hand van het ras van de verdachte).

Security omvat dan weer ‘veiligheid’ in de zin van ‘weerbaarheid tegen aanvallen van buitenaf’. In de praktijk gaat het om de zogenaamde ‘CIA-driehoek’: het behoud van de vertrouwelijkheid, integriteit en beschikbaarheid van IT-systemen.

De twee veiligheidsconcepten zijn uiteraard overlappend. In wat volgt ligt de nadruk op het laatste security-aspect, namelijk: de cyberveiligheid van AI, en dit in het licht van de geschetste data poisoning-problematiek.

Europees risicobeheer

In de eerste plaats is er natuurlijk de AI Act[1], die op 12 juli jl. officieel werd gepubliceerd. In haar preambule erkent de Verordening de specifieke aard van mogelijke aanvallen op AI en koppelt ze daaraan passende beschermingsmaatregelen. Eén van die beschermingsmaatregelen richt zich onder artikel 15 in het bijzonder op data poisoning attacks.

De verplichting om zich tegen data- en modelvervuiling te beschermen, zal gelden voor aanbieders van systemen die door de Europese wetgever worden bestempeld als zijnde van ‘hoog risico’ (artikel 6 AI Act). De eisen moeten niet alleen worden toegepast (en gemeten) tijdens de ontwikkelingsfase van het AI-systeem (wanneer het moet worden getest en gevalideerd), maar verder ook tijdens de gehele levenscyclus (cyberbeveiliging by design en by default).

Wat de ‘antivergiftigings-maatregelen’ precies moeten inhouden, wordt niet geconcretiseerd. Wel is duidelijk dat de maatregelen zijn gekoppeld aan een adequaatheidstoets. Bij die toets moet rekening worden gehouden met verschillende facetten: de algemeen erkende stand van de techniek, het ‘beoogde doel’ van het AI-systeem, wat de AI-gebruiker ‘redelijkerwijze’ van het AI-systeem zou verwachten en, in het algemeen, de omstandigheden van gebruik en de inherente risico’s die daarmee gepaard gaan.

De verplichtingen van de AI Act overlappen met of vormen een aanvulling op die van andere EU-teksten over digitale technologie en de beveiliging daarvan, ongeacht of deze al van kracht zijn of binnenkort zullen worden aangenomen.

Zo is sinds januari 2023 de Digital Operational Resilience Act (‘DORA’)[2] van kracht, die de financiële sector binnen de EU beter moet beschermen en weerbaarder moet maken tegen de toenemende cyberdreigingen.

De NIS2-Richtlijn[3] beoogt over het algemeen dan weer om – net zoals haar voorganger (NIS1) – nationale overheden te verplichten om de nodige aandacht te besteden aan cybersecurity, de Europese samenwerking tussen cybersecurity-autoriteiten te versterken, en de belangrijkste operatoren / dienstverleners in verschillende sectoren van de samenleving te verplichten om online veiligheidsmaatregelen te nemen en incidenten te melden.

Voor de zogenaamde ‘kritieke entiteiten die essentiële diensten verlenen aan vitale maatschappelijke functies’ zal de CER-Richtlijn[4] soelaas moeten bieden in de zoektocht naar (cyber)bescherming, en daarbovenop is 2024[5] ongetwijfeld het jaar van de Cyber Resilience Act (‘CRA’)[6]. Die laatste zal producenten van connected devices (het Voorstel spreekt van ‘(hardware- en software-) producten met digitale elementen’) verplichten om ervoor te zorgen dat de apparaten voldoen aan essentiële vereisten met het oog op het versterken van de cyberveiligheid.

Met al deze – en meer – regelgeving in het achterhoofd kan het in de toekomst dikwijls voorvallen dat een bedrijf bijvoorbeeld tegelijkertijd onderworpen is aan de cyberbeveiligingsbepalingen van de DORA (omdat het bedrijf actief is in de financiële sector), én zal moeten voldoen aan de eisen van de AI Act (omdat het hoog-risico AI-systemen ontwikkelt). Hetzelfde kan gebeuren met de aanbieder van een AI-systeem (wat toepassing van de AI Act impliceert) die m.o.o. de werking van dat systeem een stuk software heeft ontwikkeld (die CRA-conform moet zijn), of met een kritieke entiteit die ook een essentiële dienstverlener is (zowel de CRA als de CER-Richtlijn zijn dan aan de orde).

Bovendien moet in alle bovenstaande voorbeelden als kers op de taart ook rekening worden gehouden met de AVG-principes (Algemene Verordening Gegevensbescherming, vaak beter bekend als de GDPR)[7] van doelbinding, minimale gegevensverwerking en opslagbeperking (artikel 5 AVG), alsook met de daaruit voortvloeiende verplichtingen voor ‘veilige’ persoonsgegevensverwerking door (AI-)systemen (artikel 32 AVG).

Een tocht door het donker?

Dit lappendeken van verschillende wetgevende regimes kan al snel onoverzichtelijk worden voor vele ondernemingen. Met de noodzakelijke eigen focus en benadering van elke afzonderlijke regelgeving, wordt niet alleen de nalevingslast aanzienlijk, maar zijn ook overlappingen én lacunes onvermijdelijk.

Om het risico daarop te beperken heeft de EU-wetgever in sommige gevallen voorzien in vermoedens en regels voor wederzijdse erkenning. Zo bepaalt artikel 8 van de CRA bijvoorbeeld dat AI-systemen met een hoog risico die voldoen aan de essentiële verplichtingen van de CRA ‘geacht worden’ per definitie ook te voldoen aan de cyberveiligheidseisen van de AI Act.

Het conformiteitsvermoeden geldt echter niet voor alle regelingen, en hetzelfde is vast te stellen i.v.m. de handhaving van de verschillende regels.

Op grond van de AI Act (artikel 101) worden inbreuken (opzettelijk of uit onachtzaamheid begaan) door aanbieders van AI-modellen voor algemene doeleinden gestraft met geldboeten van ten hoogste 3% van hun jaarlijkse totale wereldwijde omzet in het voorgaande boekjaar of 15.000.000 EUR indien dat hoger is.

De AI Act (artikel 99, 7, c) bepaalt uitdrukkelijk dat bij het besluiten om al dan niet een administratieve geldboete op te leggen en bij het bepalen van het bedrag daarvan, men in elk individueel geval rekening moet houden met alle relevante omstandigheden van de specifieke situatie. Dit inclusief of er reeds administratieve geldboeten door andere autoriteiten op dezelfde operator zijn toegepast voor inbreuken op andere bepalingen van het Unierecht of van nationaal recht, wanneer dergelijke inbreuken het resultaat zijn van hetzelfde handelen of nalaten dat een relevante inbreuk op de Verordening vormt. Ook de NIS2-Richtlijn (artikel 35) verhindert dat bepaalde cumuls voor inbreuken die voortvloeien uit dezelfde gedraging mogelijk zouden zijn.

Een gelijkaardig ‘non bis in idem’-mechanisme ontbreekt echter in andere wetgevende EU-instrumenten. Non-compliance met het ingewikkeld juridisch cyberbeveiligingskader kan een onderneming theoretisch gezien dan ook wel héél duur komen te staan. Enerzijds is er dus het (weliswaar niet strafrechtelijk) sanctierisico dat om verscheidene hoeken loert, maar anderzijds is er het besef dat zélfs een gedegen veiligheidsbeleid nooit 100% waterdicht kan zijn. De (aankomende) regelgevingen inzake AI- en cyberveiligheid mogen dan een goede stap in de juiste richting betekenen; het bereiken van ‘full security’ zal in AI-context – net zoals overigens op alle vlakken van de samenleving het geval is – inderdaad en wellicht een utopie blijven.

Julie Petersen
Waeterinckx Advocaten

Meer informatie hierover vindt u ook in het boek ‘AI-criminaliteit’ van deze auteur, dat eind augustus zal verschijnen.

Referenties

[1] Verordening van het Europees Parlement en de Raad tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144 en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (Verordening artificiële intelligentie), Pb. L. 2024/1689. Beschikbaar via: https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=OJ:L_202401689.

[2] Richtlijn (EU) 2022/2556 van het Europees Parlement en de Raad van 14 december 2022 tot wijziging van de Richtlijnen 2009/65/EG, 2009/138/EG, 2011/61/EU, 2013/36/EU, 2014/59/EU, 2014/65/EU, (EU) 2015/2366 en (EU) 2016/2341 wat betreft digitale operationele weerbaarheid voor de financiële sector, Pb. L.333/153.

[3] Richtlijn (EU) 2022/2555 van het Europees Parlement en de Raad van 14 december 2022 betreffende maatregelen voor een hoog gezamenlijk niveau van cyberbeveiliging in de Unie, tot wijziging van Verordening (EU) nr. 910/2014 en Richtlijn (EU) 2018/1972 en tot intrekking van Richtlijn (EU) 2016/1148, Pb. L.333 van 27 december 2022.

[4] Richtlijn (EU) 2022/2557 van het Europees Parlement en de Raad van 14 december 2022 betreffende de weerbaarheid van kritieke entiteiten en tot intrekking van Richtlijn 2008/114/EG van de Raad, Pb. L. 333/164.

[5] Op 12 maart 2024 heeft het Europees parlement ingestemd met het CRA-Verordeningsvoorstel. De formele aanneming wordt eind 2024 verwacht.

[6] Voorstel voor een Verordening van het Europees Parlement en de Raad betreffende horizontale cyberbeveiligingsvereisten voor producten met digitale elementen en tot wijziging van Verordening (EU) 2019/1020, COM/2022/454final.

[7] Verordening (EU) 2016/679 van het Europees Parlement en de Raad van 27 april 2016 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens en tot intrekking van Richtlijn 95/46/EG, Pb. L. 119/1.