Voorstel AI-verordening: wat is de mogelijke impact op software aanbieders en hun afnemers?

De daadwerkelijke ingangsdatum is nog niet bekend, maar vorig jaar heeft de Europese Commissie het voorstel voor de Wet op de Artificiële Intelligentie gepubliceerd, beter bekend als de ‘AI-verordening’. Het huidige voorstel voor de AI-verordening bevat belangrijke regels voor software aanbieders die zich bezighouden met Artificiële Intelligentie (‘AI’). Niet voor alle AI-systemen zal dezelfde regelgeving gaan gelden. Afnemers van AI-systemen krijgen er ook mee te maken. Goed dus om hier nu alvast bij stil te staan en te kijken welke voorbereidingen u kunt treffen.  

Voor wie zal de AI-verordening gaan gelden?

De AI-verordening zal van toepassing worden op alle aanbieders die AI-systemen in de Europese Unie (‘EU’) in de handel brengen of in gebruik stellen. Ook zal de AI-verordening van toepassing worden op gebruikers van AI-systemen in de EU en op aanbieders en gebruikers van AI-systemen die zich in een derde land bevinden wanneer de output van het systeem in de EU wordt gebruikt.

Verschillende risiconiveaus: onaanvaardbaar, hoog en beperkt

Niet voor elke aanbieder van AI-systemen gelden dezelfde regels. De AI-verordening maakt namelijk onderscheid tussen verschillende risiconiveaus:

• verboden AI-systemen;
• AI-systemen met een hoog risico; en
• overige AI-systemen met minimale risico’s.

Onaanvaardbaar risico

AI-systemen met een onaanvaardbaar risico zijn verboden. Dit zijn bijvoorbeeld AI-systemen die technieken gebruiken waarvan personen zich niet bewust zijn met als doel om het gedrag van deze personen te verstoren. Een ander voorbeeld zijn AI-systemen die door of namens overheidsinstanties worden gebruikt voor de evaluatie of classificatie van de betrouwbaarheid van natuurlijke personen.

Hoog risico

AI-systemen die als risicovol worden aangemerkt kunnen wel gebruikt worden in meerdere systemen en sectoren. Voorbeelden hiervan zijn:

• AI-systemen op het gebied van beheer en exploitatie van kritieke infrastructuur. Hierbij gaat het om AI-systemen die bedoeld zijn om gebruikt te worden als veiligheidscomponent bij het beheer of de exploitatie van wegverkeer en de levering van water, gas, verwarming en elektriciteit;
• AI-systemen op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid. Dit zijn bijvoorbeeld AI-systemen die bedoeld zijn voor de selectie van natuurlijke personen, het screenen of filteren van sollicitaties en de evaluatie van kandidaten tijdens interviews of tests;
• AI-systemen op het gebied van onderwijs en beroepsopleiding. Denk hierbij aan AI-systemen voor het gebruik van de bepaling van toegang tot onderwijsinstellingen.   

Beperkt risico

Tot slot zijn er AI-systemen met een beperkt risico. Voor deze categorie gelden transparantieverplichtingen die rusten op de aanbieder of de gebruiker van het systeem. Dit zijn AI-systemen:

• die voor interactie met natuurlijke personen zijn bedoeld;
• met emotieherkenning of biometrische indelingssystemen; en
•  die deep fakes genereren.

Welke vereisten gaan er gelden voor AI-systemen met een hoog risico?

In het gepubliceerde voorstel wordt de meeste aandacht besteed aan AI-systemen met een hoog risico. Zo moet voor een hoog risico AI-systeem onder andere een systeem voor risicobeheer worden vastgesteld en in stand worden gehouden. De stappen waaruit het systeem voor risicobeheer moet bestaan, zijn ook in de voorgestelde AI-verordening vastgelegd. Daarnaast worden voor hoog risico AI-systemen in de verordening eisen gesteld aan de trainingsdata die gebruikt mag worden. Ook is bepaald dat bij deze systemen menselijk toezicht op het AI-systeem mogelijk moet zijn. Verder moeten de hoog risico AI-systemen worden ontworpen en ontwikkeld met een passend niveau van cyberbeveiliging. AI-systemen met een hoog risico moeten bestand zijn tegen pogingen van ongeautoriseerde derden om de prestaties van het systeem te wijzigen. In het voorstel zijn nog meer verplichtingen neergelegd, bijvoorbeeld het automatisch kunnen genereren van logs, een voldoende transparante werking voor gebruikers en bestand zijn tegen fouten en onregelmatigheden binnen het systeem of de omgeving waarin het AI-systeem wordt gebruikt.

Waar moet ik als AI-software aanbieder op letten?

Naast de hierboven beschreven verplichting voor aanbieders van AI-systemen met een hoog risico moeten zij ervoor zorgen dat voor het betreffende AI-systeem de relevante conformiteitsbeoordelingsprocedure wordt uitgevoerd voordat het AI-systeem in de handel wordt gebracht of in gebruikt wordt gesteld. Bij de conformiteitsbeoordelingsprocedure wordt gekeken naar de naleving van de voorschriften die gelden voor het AI-systeem. De te volgen procedure is afhankelijk van het type AI-systeem. Verder moeten aanbieders het AI-systeem met een hoog risico registreren bij de EU-databank voor autonome AI-systemen voordat het systeem daadwerkelijk in de handel wordt gebracht of in bedrijf wordt gesteld.

Waar moet ik als AI- distributeur, -importeur of -gebruiker op letten?

Voor importeurs, distributeurs en gebruikers van hoog risico AI-systemen gaan ook (deels soortgelijke) verplichtingen gelden wanneer de AI-verordening in werking treedt. Een belangrijk onderdeel hiervan is dat wanneer distributeur, importeur, gebruiker of in sommige gevallen een derde ingrijpende wijzigingen aan het hoog risico AI-systeem aanbrengt, deze als aanbieder wordt gezien en daardoor zal moeten voldoen aan de zwaardere verplichtingen die op aanbieders zullen gaan rusten.

Vanaf wanneer geldt de AI-verordening?

De ingangsdatum van de AI-verordening is nog niet bekend. Daarnaast gaat het momenteel nog om een voorstel en is het dus nog mogelijk dat de tekst op onderdelen wordt aangepast. Ook is nog niet bekend wat in Nederland de ‘aanmeldende autoriteit’ zal worden voor het opzetten en uitvoeren van onder andere de conformiteitsbeoordeling van hoog risico AI-systemen. Het Europees Parlement zal naar verwachting voor het einde van 2022 stemmen over de AI-verordening. Vervolgens moet ook de Raad van Ministers nog instemmen met de AI-verordening. Naar verwachting zal het nog een tijd duren voordat de AI-verordening daadwerkelijk in werking treedt.

Vragen?

Bent u benieuwd wat de AI-verordening voor uw bedrijf of organisatie kan gaan betekenen en hoe u zich hierop kunt voorbereiden? Neem dan contact op met ons IT-recht team via m.gardien@ploum.nl.