EU Artificial Intelligence Act: The European Approach to AI →

Stanford - Vienna Transatlantic Technology Law Forum, Transatlantic Antitrust and IPR Developments, Stanford University, Issue No. 2/2021

New Stanford tech policy research: “EU Artificial Intelligence Act: The European Approach to AI”.

EU regulatory framework for AI

On 21 April 2021, the European Commission presented the Artificial Intelligence Act. This Stanford Law School contribution lists the main points of the proposed regulatory framework for AI.

The Act seeks to codify the high standards of the EU trustworthy AI paradigm, which requires AI to be legally, ethically and technically robust, while respecting democratic values, human rights and the rule of law. The draft regulation sets out core horizontal rules for the development, commodification and use of AI-driven products, services and systems within the territory of the EU, that apply to all industries.

Legal sandboxes fostering innovation

The EC aims to prevent the rules from stifling innovation and hindering the creation of a flourishing AI ecosystem in Europe. This is ensured by introducing various flexibilities, including the application of legal sandboxes that afford breathing room to AI developers.

Sophisticated ‘product safety regime’

The EU AI Act introduces a sophisticated ‘product safety framework’ constructed around a set of 4 risk categories. It imposes requirements for market entrance and certification of High-Risk AI Systems through a mandatory CE-marking procedure. To ensure equitable outcomes, this pre-market conformity regime also applies to machine learning training, testing and validation datasets.

Pyramid of criticality

The AI Act draft combines a risk-based approach based on the pyramid of criticality, with a modern, layered enforcement mechanism. This means, among other things, that a lighter legal regime applies to AI applications with a negligible risk, and that applications with an unacceptable risk are banned. Stricter regulations apply as risk increases.

Enforcement at both Union and Member State level

The draft regulation provides for the installation of a new enforcement body at Union level: the European Artificial Intelligence Board (EAIB). At Member State level, the EAIB will be flanked by national supervisors, similar to the GDPR’s oversight mechanism. Fines for violation of the rules can be up to 6% of global turnover, or 30 million euros for private entities.

CE-marking for High-Risk AI Systems

In line with my recommendations, Article 49 of the Act requires high-risk AI and data-driven systems, products and services to comply with EU benchmarks, including safety and compliance assessments. This is crucial because it requires AI infused products and services to meet the high technical, legal and ethical standards that reflect the core values of trustworthy AI. Only then will they receive a CE marking that allows them to enter the European markets. This pre-market conformity mechanism works in the same manner as the existing CE marking: as safety certification for products traded in the European Economic Area (EEA).

Trustworthy AI by Design: ex ante and life-cycle auditing

Responsible, trustworthy AI by design requires awareness from all parties involved, from the first line of code. Indispensable tools to facilitate this awareness process are AI impact and conformity assessments, best practices, technology roadmaps and codes of conduct. These tools are executed by inclusive, multidisciplinary teams, that use them to monitor, validate and benchmark AI systems. It will all come down to ex ante and life-cycle auditing.

The new European rules will forever change the way AI is formed. Pursuing trustworthy AI by design seems like a sensible strategy, wherever you are in the world.

Read more

De Wet op de Artificiële Intelligentie →

Een bewerkte versie van deze bijdrage is gepubliceerd op platform VerderDenken.nl van het Centrum voor Postacademisch Juridisch Onderwijs (CPO) van de Radboud Universiteit Nijmegen. https://www.ru.nl/cpo/verderdenken/columns/wet-artificiele-intelligentie-belangrijkste-punten/

Nieuwe regels voor AI gedreven producten, diensten en systemen

Op 21 april 2021 presenteerde de Europese Commissie haar langverwachte Wet op de Artificiële Intelligentie (AI). Deze concept Verordening geeft regels voor de ontwikkeling, commodificatie en gebruik van AI gedreven producten, diensten en systemen binnen het territorium van de Europese Unie. Het was bemoedigend te zien dat het team van President Ursula von der Leyen een belangrijk aantal van onze strategische aanbevelingen op het gebied van de regulering van AI heeft overgenomen, danwel zelfstandig tot dezelfde conclusies is gekomen.

Doelstellingen wettelijk kader voor AI

De concept Verordening biedt horizontale overkoepelende kernregels voor kunstmatige intelligentie die op alle industrieën (verticals) van toepassing zijn. De wet beoogt de hoge maatstaven van het EU Trustworthy AI paradigma te codificeren, dat voorschrijft dat AI wettig, ethisch en technisch robuust dient te zijn en daartoe 7 vereisten hanteert.

De Wet op de Artificiële Intelligentie heeft de volgende 4 doelstellingen:

“1. ervoor zorgen dat AI-systemen die in de Unie in de handel worden gebracht en gebruikt, veilig zijn en de bestaande wetgeving inzake grondrechten en waarden van de Unie eerbiedigen;

2. rechtszekerheid garanderen om investeringen en innovatie in AI te vergemakkelijken;

3. het beheer en de doeltreffende handhaving van de bestaande wetgeving inzake grondrechten en veiligheidsvoorschriften die van toepassing zijn op AI-systemen, verbeteren;

4. de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-toepassingen vergemakkelijken en marktversnippering voorkomen.“

Risico gebaseerde aanpak kunstmatig intelligente applicaties

Om deze doelstellingen te realiseren combineert de concept Artificial Intelligence Act een risk-based approach op basis van de pyramid of criticality, met een modern, gelaagd handhavingsmechanisme. Dit houdt onder meer in dat er voor AI applicaties met een verwaarloosbaar risico een licht wettelijk regime geldt, en onacceptabel risico applicaties verboden worden. Tussen deze 2 uitersten gelden er naarmate het risico toeneemt strengere voorschriften. Deze variëren van vrijblijvende zelfregulerende soft law impact assessments met gedragscodes, tot zwaar, multidisciplinair extern geauditeerde compliance vereisten inzake kwaliteit, veiligheid en transparantie inclusief risicobeheer, monitoring, certificering, benchmarking, validatie, documentatieplicht en markttoezicht gedurende de levenscyclus van de toepassing.

Handhaving en governance

De definitie van hoog risico AI applicaties binnen de diverse industriële sectoren is nog niet in steen gehouwen. Een ondubbelzinnige risicotaxonomie zal bijdragen aan rechtszekerheid en biedt belanghebbenden een adequaat antwoord op vragen over aansprakelijkheid en verzekering. Om ruimte voor innovatie door SME’s waaronder tech-startups te waarborgen, worden er flexibele AI regulatory sandboxes geïntroduceerd en is er IP Action Plan opgesteld voor intellectueel eigendom. De concept Verordening voorziet tenslotte in de installatie van een nieuwe handhavende instantie op Unieniveau: het European Artificial Intelligence Board. De EAIB zal op lidstaatniveau worden geflankeerd door nationale toezichthouders.

Read more

Workshop Juridische Aspecten AI & Data bij TNO - NL AIC Startups & Scaleups TekDelta Event →

Op 24 september 2020 gaf Stanford Law School Fellow Mauritz Kop een masterclass over de juridische dimensie van kunstmatige intelligentie en informatie aan de getalenteerde deelnemers van de Werkgroep Startups & Scaleups van de Nederlandse AI Coalitie (NL AIC), in het kantoor van TNO Research in Den Haag. De workshop maakte onderdeel uit van het TekDelta | NL AIC startup accelerator event, met als centraal thema het versnellen en faciliteren van innovatie door het verbinden van startende ondernemingen met bestaande leading organisaties met slagkracht: het samen bouwen aan een succesvol high tech ecosysteem in Nederland.

Masterclass 'Juridische Aspecten van AI & Data’

De 2,5 uur durende masterclass 'Juridische Aspecten van AI & Data' bij TNO verschafte de cursisten duidelijkheid over de regels voor data delen, privacy en gegevensbescherming, alsmede juridisch en economisch eigendom van informatie. We behandelden onderwerpen variërend van de bescherming van intellectueel eigendom op het AI-systeem, de software, hardware en apps, clearance van data tot het anticiperen op de aanstaande AI & Data Governance wetten van de Europese Commissie.

Multidisciplinair Panel voor Verantwoord Data Delen

Dezelfde middag vond er vanuit het TNO gebouw een online seminar plaats speciaal voor startups, onder leiding van Anita Lieverdink, Senior Orchestrator of Innovation at TNO, Directeur van TekDelta en Program Manager van de Werkgroep Startps & Scaleups van de Nederlandse AI Coalitie.

AIRecht managing partner Mr. Kop nam als juridisch expert deel in het panel dat ging over verantwoord data delen. Het was goed om deel te nemen aan dit multidisciplinaire panel en samen met onze collega's oplossingen te verkennen voor het versneld en verantwoord delen van gegevens. Het is cruciaal en urgent om belemmeringen voor de inzet van benevolente AI weg te nemen en organisaties begeleiding te bieden die rechtszekerheid en vertrouwen in de snelle introductie van deze veelbelovende transformatieve technologie aanmoedigt!

Juridische Cursussen van AIRecht

Onze cursussen ‘AI en Recht – Juridische aspecten van AI, Machine Learning en Data’ bieden een compleet overzicht van de juridische facetten van kunstmatige intelligentie, big (structured/labelled en unstructured, raw) data en de verschillende typen machine learning (supervised, unsupervised, deep reinforcement, transfer, federated). De invalshoek is breed: van beschermen idee tot en met marktintroductie van het product. Cursusdoel is het wegnemen van juridische obstakels voor innovatie. Onderwerpen die hierbij aan de orde komen zijn privacywetgeving, het maximaliseren van uw IP-portfolio (intellectueel eigendom), normering, standaardisering (interoperabiliteit) en certificering (CE mark, keurmerken, conformiteit), het stimuleren van internationaal zakendoen, en het realiseren van (training)data delen op basis van EU regelgeving, licenties, toestemmingen en rechtsgeldige contracten. Maatwerk is mogelijk.

De workshops en masterclasses zijn cross-disciplinair en verbinden de ontwikkeling en toepassing van technologie met geldend nationaal en EU recht.

Read more

We hebben dringend een recht op dataprocessing nodig →

Deze column is gepubliceerd op platform VerderDenken.nl van het Centrum voor Postacademisch Juridisch Onderwijs (CPO) van de Radboud Universiteit Nijmegen. https://www.ru.nl/cpo/verderdenken/columns/we-dringend-recht-dataprocessing-nodig/

Bij een datagedreven economie hoort een gezond ecosysteem voor machine learning en artificial intelligence. Mauritz Kop beschrijft de juridische problemen en oplossingen hierbij. “We hebben dringend een recht op dataprocessing nodig.”

5 juridische obstakels voor een succesvol AI-ecosysteem

Eerder schreef ik dat vraagstukken over het (intellectueel) eigendom van data, databescherming en privacy een belemmering vormen voor het (her)gebruiken en delen van hoge kwaliteit data tussen burgers, bedrijven, onderzoeksinstellingen en de overheid. Er bestaat in Europa nog geen goed functionerend juridisch-technisch systeem dat rechtszekerheid en een gunstig investeringsklimaat biedt en bovenal is gemaakt met de datagedreven economie in het achterhoofd. We hebben hier te maken met een complex probleem dat in de weg staat aan exponentiële innovatie.

Auteursrechten, Privacy en Rechtsonzekerheid over eigendom van data

De eerste juridische horde bij datadelen is auteursrechtelijk van aard. Ten tweede kunnen er (sui generis) databankenrechten van derden rusten op (delen van) de training-, testing- of validatiedataset. Ten derde zullen bedrijven na een strategische afweging kiezen voor geheimhouding, en niet voor het patenteren van hun technische vondst. Het vierde probleempunt is rechtsonzekerheid over juridisch eigendom van data. Een vijfde belemmering is de vrees voor de Algemene verordening gegevensbescherming (AVG). Onwetendheid en rechtsonzekerheid resulteert hier in risicomijdend gedrag. Het leidt niet tot spectaculaire Europese unicorns die de concurrentie aankunnen met Amerika en China.

Wat is machine learning eigenlijk?

Vertrouwdheid met technische aspecten van data in machine learning geeft juristen, datawetenschappers en beleidsmakers de mogelijkheid om effectiever te communiceren over toekomstige regelgeving voor AI en het delen van data.

Machine learning en datadelen zijn van elementair belang voor de geboorte en de evolutie van AI. En daarmee voor het behoud van onze democratische waarden, welvaart en welzijn. Een machine learning-systeem wordt niet geprogrammeerd, maar getraind. Tijdens het leerproces ontvangt een computer uitgerust met kustmatige intelligentie zowel invoergegevens (trainingdata), als de verwachte, bij deze inputdata behorende antwoorden. Het AI-systeem moet zelf de bijpassende regels en wetmatigheden formuleren met een kunstmatig brein. Algoritmische, voorspellende modellen kunnen vervolgens worden toegepast op nieuwe datasets om nieuwe, correcte antwoorden te produceren.

Dringend nodig: het recht op dataprocessing

De Europese Commissie heeft de ambitie om datasoevereiniteit terug te winnen. Europa moet een internationale datahub worden. Dit vereist een modern juridisch raamwerk in de vorm van de Europese Data Act, die in de loop van 2021 wordt verwacht. Het is naar mijn idee cruciaal dat de Data Act een expliciet recht op dataprocessing bevat.

Technologie is niet neutraal

Tegelijkertijd kan de architectuur van digitale systemen de sociaal-maatschappelijke impact van digitale transformatie reguleren. Een digitaal inclusieve samenleving moet technologie actief vormgeven. Technologie an sich is namelijk nooit neutraal. Maatschappelijke waarden zoals transparantie, vertrouwen, rechtvaardigheid, controle en cybersecurity moeten worden ingebouwd in het design van AI-systemen en de benodigde trainingdatasets, vanaf de eerste regel code.

Read more

Computer generated works: wie of wat is eigenaar? →

Deze column is gepubliceerd op platform VerderDenken.nl van het Centrum voor Postacademisch Juridisch Onderwijs (CPO) van de Radboud Universiteit Nijmegen. https://www.ru.nl/cpo/verderdenken/columns/computer-generated-works-eigenaar/

Nieuwe technologieën roepen nieuwe juridische vragen op. Zo ook computers die creatieve werken maken. Wie of wat is de eigenaar van zo’n werk? Mauritz Kop geeft uitleg.

Machines uitgerust met artificiële intelligentie (AI) begeven zich op het terrein van de schone kunsten. Computers schilderen, schrijven en componeren er ijverig op los. Zo genereerde The Next Rembrandt een 3D-geprint meesterwerk, schilderde The Art and Artificial Intelligence Lab een levensechte Mona Lisa, schreef Kurzweils Cybernetic Poet klassieke sonnetten en produceerde Amper Music een complete muziek-cd. Alles in luttele seconden.

Auteursrechten vestigen is problematisch

Het is voorstelbaar dat er auteursrechten rusten op de voortbrengselen van AI-systemen zelf, zoals kunst, muziek, literatuur, uitvindingen, industriële toepassingen, algoritmes, code en andersoortige scheppingen. Men kan zich als wetgever de vraag stellen of er voor computer generated works sui generis categorieën rechten (met een korte looptijd en zonder persoonlijkheidsrechten) in het leven moeten worden geroepen.

Kunnen IE-rechten überhaupt AI-scheppingen beschermen?

De wet in haar huidige vorm erkent geen niet-menselijke auteursrechten. Auteurschap is fundamenteel verbonden met menselijkheid; met scheppingen van de menselijke geest. Dat vloeit bijvoorbeeld voort uit het bekende Infopaq-arrest van het EU Hof van Justitie uit 2009, al is dit arrest niet geschreven met machine learning en kunstmatige intelligentie in het achterhoofd. Is het dogmatisch en doctrinair correct om aan te nemen dat er geen copyright kan zijn op pure AI creations? AI is per slot van rekening niet menselijk en er is bovendien geen menselijke originaliteit en creativiteit aanwezig. Het korte antwoord luidt: ja.

Algoritmisch auteurschap: goed idee of niet?

In tegenstelling tot de benadering van de EU en de VS, heeft het Verenigd Koninkrijk een computer generated works-regime geïmplementeerd, wat betekent dat de programmeur van de AI het auteursrecht krijgt op de output van de machine. Met andere woorden: het VK, en recentelijk ook de Chinese rechter, breiden het menselijke auteurschap uit naar algoritmisch auteurschap.

AI-machine kan geen copyright bezitten

Auteursrechten kunnen alleen eigendom zijn van rechtssubjecten, dus personen of bedrijven. Een AI-machine kan zelf geen copyright bezitten op AI made creations omdat een AI-systeem geen rechtssubjectiviteit en ook geen rechtspersoonlijkheid bezit. AI-systemen kwalificeren als rechtsobject, niet als rechtssubject.

‘Publiek eigendom uit de machine’ en menselijke interventie

Menselijk auteurschap blijft het normatieve orgelpunt van het intellectuele eigendomsrecht. Delen van het meerlagige, uit het Romeinse recht afkomstige eigendomsparadigma kunnen relevant zijn voor AI. Voortbouwend op dit raamwerk is er een nieuw publiek domein model denkbaar voor AI creations and inventions die de autonomiedrempel overschrijden: res publicae ex machina (publiek eigendom uit de machine).

Read more

Data delen als voorwaarde voor een succesvol AI-ecosysteem →

Trainingsdatasets voor kunstmatige intelligentie: enkele juridische aspecten

Data delen (data sharing) of liever het vermogen om hoge kwaliteit trainingsdatasets te kunnen analyseren om een AI model -zoals een generative adversarial network- te trainen, is een voorwaarde voor een succesvol AI-ecosysteem in Nederland.

In ons turbulente technologische tijdperk nemen fysieke aanknopingspunten als papier of tastbare producten binnen de context van data -of informatie- in belang af. Informatie is niet langer aan een continent, staat of plaats gebonden. Informatietechnologie zoals kunstmatige intelligentie ontwikkelt zich in een dermate hoog tempo, dat de juridische problemen die daaruit voortvloeien in belangrijke mate onvoorspelbaar zijn. Hierdoor ontstaan -kort gezegd- problemen voor tech startups en scaleups.

In dit artikel een serie -mede in onderlinge samenhang te beschouwen aanbevelingen, suggesties en inventieve oplossingen om anno 2020 tot waardevolle nationale en Europese dataketens te komen.

Data donor codicil

Introductie van een Europees (of nationaal) data donor codicil waarmee een patiënt of consument vrijwillig data kan doneren aan de overheid en/of het bedrijfsleven, AVG-proof. Hier kunnen waardeketens worden gecreëerd door de sensor data van medische Internet of Things (IoT) apparaten en smart wearables van overheidswege te accumuleren. Anoniem of met biomarkers.

Data interoperabel en gestandaardiseerd

Unificatie van data uitwisselingsmodellen zodat deze interoperabel en gestandaardiseerd worden in het IoT. Een voorbeeld is een Europees EPD (Elektronisch Patiënten Dossier), i.e een Electronic Healthcare Record (EMR). AI certificering en standaardisatie (zoals ISO, ANSI, IEEE / IEC) dient bij voorkeur niet te worden uitgevoerd door private partijen met commerciële doelstellingen, maar door onafhankelijke openbare instanties (vergelijk het Amerikaanse FDA).

Machine generated (non) personal data

Een andere categorisering die we kunnen maken is enerzijds publieke (in handen van de overheid) machine generated (non) personal data, en private machine generated (non) personal data. Met machine generated data bedoelen we met name informatie en gegevens die continue door edge devices worden gegenereerd in het Internet of Things (IoT). Deze edge devices staan via edge (of fod) nodes (zenders) in verbinding met datacenters die samen met edge servers de cloud vormen. Deze architectuur noemen we ook wel edge computing.

Juridische dimensie

Data, of informatie heeft een groot aantal juridische dimensies. Aan data delen kleven potentieel intellectueel eigendomsrechtelijke (verbodsrecht en vergoedingsrecht), ethische, grondrechtelijke (privacy, vrijheid van meningsuiting), contractenrechtelijke en internationaal handelsrechtelijke aspecten. Juridisch eigendom op data bestaat anno 2020 niet omdat het -vanuit goederenrechtelijk oogpunt- niet als zaak wordt gekwalificeerd. Data heeft wel vermogensrechtelijke aspecten.

Read more

AI Trade Mission to Boston with Prime Minister Mark Rutte →

AIRecht.nl lawyers Mauritz Kop and Suzan Slijpen joined the Dutch AI trade mission to Boston, Massachusetts led by Prime Minister Mark Rutte and Minister Bruno Bruins. It was a big success. We visited leading companies in health care, climate, and robotics and AI and participated in high quality meetings and events at -inter alia- Harvard Wyss Institute, MIT, IBM Watson, Amazon Robotics, Humatics and Philips Healthworks R&D HQ USA.

AI-Chefsache interview

During debriefing at the Museum of Fine Arts & Koch Gallery, Prime Minister Mark Rutte and Mauritz Kop reflected on AI becoming Chefsache, the concept of Trustworthy AI, exporting European ethical values to the USA via the Dutch AI Impact Assessment (ECP), and building a strong and vibrant AI ecosystem in The Netherlands.

AIRecht.nl website included in IBM Watson presentation

We were honoured and thrilled to see that Nicola Palmarini, Global Manager AI for Healthy Aging IBM Research - MIT/IBM Watson AI Lab Cambridge and Tedx Speaker, included our AIRecht.nl website in his presentation about the moral, legal and ethical implications of AI, at IBM Watson Health Experience Centre.

Building on shared expierences

Learning and building on shared experiences is a two way street. During the mission, we gathered knowledge of the technological state of the art in Robotics & AI. We shared our own latest research insights on AI & IP, open access, public domain and ethics that facilitate innovation with influential academic institutions and ambitious, frontrunning entrepreneurs. This blog contains a photo report of our economic mission to the beautiful city of Boston.

Read more