KI Verordnung (AI Act) und Foundation Models (Basismodelle): Signal jetzt doch auf grün oder Abstellgleis?

von Dr. Axel Spies, veröffentlicht am 20.11.2023
Rechtsgebiete: WirtschaftsrechtIT-Recht18|18893 Aufrufe

Wie die Presse berichtet, haben sich Frankreich, Deutschland und Italien in einem gemeinsamen Papier (Joint Paper) darauf geeinigt, wie KI-Basismodelle reguliert werden sollen. Basismodelle sind eine Form der generativen KI. Sie generieren Ausgaben aus einer oder mehreren Eingaben (Prompts) in Form von Anweisungen in menschlicher Sprache und basieren auf komplexen neuronalen Netzen.

Die folgenden Informationen sind aus dem Joint Paper durchgesickert:

1.         Die drei Regierungen schlagen gemeinsam eine „verpflichtende Selbstregulierung durch Verhaltenskodizes" für KI-Grundmodelle vor und lehnen „ungeprüfte Normen" ab.

2.         Die Entwickler von Basismodellen müssten „Modellkarten" definieren, die dazu dienen, Informationen über ein maschinelles Lernmodell bereitzustellen. Die Modellkarten sollen die relevanten Informationen enthalten, um die Funktionsweise des Modells, seine Fähigkeiten und seine Grenzen zu verstehen, und werden auf bewährten Praktiken innerhalb der Entwicklergemeinschaft basieren.

3.         Ein „KI-Governance“-Gremium soll bei der Entwicklung von Leitlinien helfen und die Anwendung von Modellkarten überprüfen.

4.         Wenn nach einer gewissen Zeit Verstöße gegen den Verhaltenskodex festgestellt werden, könnte ein Sanktionssystem eingerichtet werden.

„Wenn man (die KI) überreguliert, haben wir die besten Verkehrsvorschriften, aber keinen Verkehr auf der Straße. Das darf nicht passieren,“ sagte Bundeswirtschaftsminister Habeck zum Auftakt des Digital-Gipfels der Bundesregierung in Jena in einem Podcast des Digitalverbandes Bitkom. 

Was halten Sie von diesem Joint Paper? Werden die Verhandlungsführer im Trilogue jetzt bis zum 6. Dezember den AI Act wie geplant abschließen können?

Diesen Beitrag per E-Mail weiterempfehlenDruckversion

Hinweise zur bestehenden Moderationspraxis
Kommentar schreiben

18 Kommentare

Kommentare als Feed abonnieren

Toller Lobbyingerfolg von „Cedric O“, ehemals Digitalminister in Frankreich und jetzt Berater von Mistral. Diese Lösung wird von den progressiven Kräften im Europäischen Parlament, die strenge Regeln fordern, doch nie akzeptiert werden wird. Die vorgeschlagene Lösung setzt ganz auf Transparenz und Selbstregulierung für die leistungsstärksten Modelle wie ChatGPT und GPT-4 und steht im Widerspruch zu den monatelangen Beratungen im EU-Parlament und der Meinung vieler KI-Experten.

Die Lösung ermutigt geradezu zur Nichteinhaltung. Verantwortungsbewusste Entwickler werden ungerechterweise mit höheren Kosten und bürokratischen Hürden belastet, während diejenigen, die die Regeln links liegen lassen, Wettbewerbsvorteile erlangen. "Musterkarten" kann man leicht erstellen. Im Gegensatz dazu stünden die nachgelagerten Anwender von KI-Anwendungen vor der Herausforderung der Einhaltung der Vorschriften, da sie kostspielige Compliance-Lösungen entwickeln müssten, um eine ethische und verantwortungsvolle Nutzung von Basismodellen in bestimmten Anwendungen zu gewährleisten.

Der abstruse Begriff "verpflichtende Selbstregulierung" ist ein Widerspruch in sich, und die Sanktionsregelung aus später zu verschieben, d.h er lädt zu Missbrauch ein.

3

Interessanterweise nennt Minister Habeck keinen Zeitrahmen ("...bis Ende des Jahres") und kündigt auch keine nationalen KI-Regeln an:

„Das Wichtigste ist jetzt, eine vernünftige KI-Verordnung auf der europäischen Ebene hinzubekommen [...] Da kann man sehr viel richtig machen, man kann aber auch einiges falsch machen“, sagte der Vizekanzler.

Quelle: https://www.fr.de/panorama/bundesregierung-will-vernuenftige-ki-regulier...

Das genannte Joint Paper wurde mittlerweile and die Presse durchgestochen:

"We acknowledge the need for a comprehensive regulation of AI systems and from the beginning welcomed the Commission proposal for an AI Act in this regard. The AI Act will provide EU citizens with protection and confidence in the AI products distributed on the single market.
• This new regulation will complement the comprehensive legal toolbox already applicable in the EU, for instance on data privacy with GDPR, or with Digital Services Act or the Terrorist Content Online regulation.

• The EU intends to position itself at the forefront of the AI revolution. This requires a regulatory framework which fosters innovation and competition, so that European players can emerge and carry our voice and values in the global race of AI.

• In this context, we reiterate our common commitment for a balanced and innovation-friendly and a coherent risk-based approach of the AI Act, reducing unnecessary administrative burdens on Companies that would hinder Europe´s ability to innovate, that will foster contestability, openness and competition on digital markets.

• We welcome the efforts from the Spanish Presidency to find a compromise with the European Parliament and Commission to reach a satisfactory solution for all parties and stakeholders.

• Together we underline that the AI Act regulates the application of AI and not the technology as such. This risk-based approach is necessary and meant to preserve innovation and safety at the same time.

• Legal certainty, clarity and predictability are of utmost importance.

• Special attention should be paid to definitions and distinctions. We should continue to follow a thorough discussion on this topic. Definitions should be clear and precise. To this regard we strongly underline and welcome the efforts of the Spanish presidency.

• We suggest a distinction between models and general purpose AI systems that can be available for specific applications. 

• We believe that regulation on general purpose AI systems seems more in line with the risk-based approach. The inherent risks lie in the application of AI systems rather than in the technology itself. European standards can support this approach following the new legislative framework.

• When it comes to foundation models we oppose instoring un-tested norms and suggest to instore to build in the meantime on mandatory self-regulation through codes of conduct. They could follow principles defined at the G7 level through the Hiroshima process and the approach of Article 69 of the draft AI Act, and
would ensure the necessary transparency and flow of information in the value chain as well as the security of the foundation models against abuse.

• We are however opposed to a two-tier approach for foundation models.

• To implement our proposed approach, developers of foundation models would have to define model cards.

• Defining model cards and making them available for each foundation model constitutes the mandatory element of this self-regulation. 

• The model cards must address some level of transparency and security 

• The model cards shall include the relevant information to understand the functioning of the model, its capabilities and its limits and will be based on best practices within the developers community. For example, as we observe today in the industry: number of parameters, intended use and potential limitations, results of studies on biases, red-teaming for security assessment.

• An AI governance body could help to develop guidelines and could check the application of model cards.

• This system would ensure that companies have an easy way to report any noticed infringement of the code of conduct by a model developer to the AI governance body. Any suspected violation in the interest of transparency should be made public by the authority.

• No sanctions would be applied initially. However, after an observation period of a defined duration, if breaches of the codes of conduct concerning transparency requirements are repeatedly observed and reported without being corrected by the model developers, a sanction system could then be set up following a proper analysis and impact assessment of the identified failures and how to best address them.

• European standards could also be an important tool in this context as this also creates the adaptive capacity to take into account future developments. Further standardization mandates could be foreseen in this regard..."

Interessant:  Kein zweistufiger Ansatz, wie von der spanischen Präsidentschaft vorgeschlagen (Basismodelle vs. sehr leistungsfähige Basismodelle).  Vielmehr: Empfehlung einer verbindlichen Selbstregulierung durch Verhaltenskodizes (CoC). Die CoC sollen auf den auf G7-Ebene definierten Prinzipien (Hiroshima-Prozess) und Art. 69 AI Act (Entwurf) aufbauen, um Transparenz, Informationsfluss in der Wertschöpfungskette und Sicherheit vor Missbrauch zu gewährleisten.

0

Ergänzend hierzu die EU model contractual AI clauses für Hohe Risiko KI und Nicht-Hohe Risiko-KI, die vertrtagliche Grundlage beim Einkauf von KI-Dienstleistungen sein sollen (für öffentliche Einrichtungen primär - aber durchaus abbildbar auch auf den privatwirtschaftlichen Sektor). Die Klauseln stellen sicher (noch) kein vollständiges und allgemeingültiges Vertragswerk dar und sollten im Einzelfall angepasst und ggf. durch weitere Regelungen, z.B. zum geistigen Eigentum, ergänzt werden, aber genau das könnte ja mit dem nun vorliegenden Joint Paper erfolgen. Es bleibt zu hoffen, das hier nicht parallele Aktivitäten stattfinden, sondern dass Synergien gefunden und angewendet werden.

Axel Voss, MEP und Verhandlungsführer für den AI Act: “We cannot accept the proposal coming from the German, French and Italian governments on Foundation Models in the AI Act, which rejects to regulate them.”

“The regulation of AI has a global dimension, even the US executive order calls for it. We cannot fall behind. Of course, I have always said and maintain that we should not over-regulate. But we cannot simply ignore or downplay the risks that come with it, including on foundation models.”

Zur Biden EO siehe meine deutsche Zusammenfassung hier: https://beck-online.beck.de/Dokument?vpath=bibdata%2Fzeits%2Fzdaktuell%2...

 

Und wie zu erwarten der Brandbrief diverser Organsationen gegen den Vorschlag von D/F/I. Was halten Sie von den Argumenten? 

To European legislators,

As European stakeholders spanning SMEs, workers, consumers, citizens, think tanks, AI digital rights & ethics, risks and privacy organisations, we write this letter to support the efforts of the Spanish presidency in addressing the unique risk management challenges posed by foundation models through a tiered approach within the AI Act.

Europe’s regulatory leadership is an asset that should be valued
Amidst a growing number of global AI governance non-regulatory efforts to manage foundation model risks, such as the G7 Code of Conduct, the UK and US AI Safety Institute, and the White House Executive Order on AI, Europe stands in a unique position to enforce the first horizontal regulation on AI, including foundation models with a global footprint. As such, the proposal of the Spanish presidency allows a balanced approach to regulating foundation models, refining the European Parliament’s cross-party position to set obligations for such models in the EU AI Act.

Foundation models as a technology present a unique risk profile that must be managed
Foundation models differ significantly from traditional AI. Their generality, cost of development, and ability to act as a single point of failure for thousands of downstream applications mean they carry a distinct risk profile – one that is systemic, not yet fully understood, and affecting substantially all sectors of society (and hundreds of millions of European citizens). We must assess and manage these risks comprehensively along the value chain, with responsibility lying in the hands of those with the capacity and efficacy to address them. Given the lack of technical feasibility and accessibility to modify underlying flaws in a foundation model when it is deployed and being adapted to an application, there is no other reasonable approach to risk management than putting some responsibility on the technology provided by the upstream model developers.

Far from being a burden for the European industry, the regulation applied to the technology of foundation models offers essential protection that will benefit the EU industry and the emerging AI ecosystem. The vast resources needed to train high-impact models limit the number of developers, so the scope of such regulation would be narrow: fewer than 20 regulated entities in the world, capitalised at more than 100 million dollars, compared to the thousands of potential EU deployers. These large developers can and should bear risk management responsibility on current powerful models if the Act aims to minimise burdens across the broader EU ecosystem. Requirements for large upstream developers provide transparency and trust to numerous smaller downstream actors. Otherwise, European citizens are exposed to many risks that downstream deployers and SMEs, in particular, can’t possibly manage technically: lack of robustness, explainability and trustworthiness. Model cards and voluntary – and therefore not enforceable – codes of conduct won’t suffice. EU companies deploying these models would become liability magnets. Regulation of foundation models is an important safety shield for EU industry and citizens.

The Spanish Presidency’s approach balances risk management and innovation
We support the proposal as a suitable compromise between the European Parliament and the Member States through a tiered approach. The proposed use of compute thresholds, easily measurable criteria that correlate well with risks, offers a practical basis for regulation, which makes sense from a risk management perspective while preserving SMEs’ AI development efforts. For future-proofing, the thresholds will have to be modified and the criteria complemented as technology evolves and as the science of measurement of risks improves, but it provides a good starting baseline. We believe this will crucially allow the EU AI Act to manage risks that European citizens are exposed to. 

Resisting narrow lobbying interests to protect the democratic process
The EU AI Act has consulted for more than two years a broad range of representative stakeholders: developers, European industry, SMEs, civil society, think tanks and more. On that basis, it is crucial to prevent the vested lobbying efforts of Big Tech and a few large AI companies from circumventing this democratic process. A select few’s interests must not compromise European regulators’ ability to protect society and support SMEs.

Integrating foundation models into the AI Act is not just a regulatory necessity but a democratic imperative and necessary step towards responsible AI development and deployment. We urge all involved parties to work constructively, building on the Spanish proposal and consensus of the Trilogue of the 24th of October to find a suitable regulatory solution to benefit a safer, more trustworthy and sovereign AI landscape in Europe.

Klingt nach Panik und ist undurchdacht:

- Basismodelle "not yet fully understood" - Ergo: Weil man sie nicht voll versteht, müssen sie reguliert werden? Was ist das für ein Argument? Sollte man sie nicht erst einmal "verstehen", bevor man mit der gesetzgeberischen Keule losschlägt?

- "Fewer than 20 entities in the world" regulated"? Selbst wenn die Zahl stimmt, 2025/2026 wenn die KIVO bei guten Winden in Kraft tritt und durchsetzbar wird, wird es ganz anders aussehen.

- "Zwei Jahre Vorarbeit" - tja, das war halt vor ChatGP&Co.

- "Proposed use of compute thresholds" für die Unterscheidung der Basismodelle - klingt willkürlich und kann leicht umgangen werden. Warum soll es gerade auf die "compute threshold" ankommen und die Unternehmen stärker an die Kandarre zu nehmen?

"Europe stands in a unique position to enforce the first horizontal regulation on AI": Aber was ist, wenn der inständig erhoffte "Brussels Effekt" nicht eintritt, weil die angepriesene KIVO für andere Länder zu bürokratisch, kompliziert und investitonshemmend ist? Vorlage zum Eigentor.

0

Neuigkeiten hier aus Washington - Softlaw, aber immerhin: 

https://www.cisa.gov/news-events/alerts/2023/11/26/cisa-and-uk-ncsc-unve...

FOR IMMEDIATE RELEASE
Sunday, November 26, 2023

DHS CISA and UK NCSC Release Joint Guidelines for Secure AI System Development
WASHINGTON – Taking a significant step forward in addressing the intersection of artificial intelligence (AI) and cybersecurity, the U.S. Department of Homeland Security’s (DHS) Cybersecurity and Infrastructure Security Agency (CISA) and the United Kingdom’s National Cyber Security Centre (NCSC) today jointly released Guidelines for Secure AI System Development to help developers of any systems that use AI make informed cybersecurity decisions at every stage of the development process. The guidelines were formulated in cooperation with 21 other agencies and ministries from across the world – including all members of the Group of 7 major industrial economies -- and are the first of their kind to be agreed to globally.
“We are at an inflection point in the development of artificial intelligence, which may well be the most consequential technology of our time. Cybersecurity is key to building AI systems that are safe, secure, and trustworthy,” said Secretary of Homeland Security Alejandro N. Mayorkas. “The guidelines jointly issued today by CISA, NCSC, and our other international partners, provide a commonsense path to designing, developing, deploying, and operating AI with cybersecurity at its core. By integrating ‘secure by design’ principles, these guidelines represent an historic agreement that developers must invest in, protecting customers at each step of a system’s design and development. Through global action like these guidelines, we can lead the world in harnessing the benefits while addressing the potential harms of this pioneering technology.”
The guidelines provide essential recommendations for AI system development and emphasize the importance of adhering to Secure by Design principles that CISA has long championed."

Schon interessant, wer da alles mitgemacht hat und wer nicht:

- Die  "Five Eyes" = die Cybersecurity-Behörden von USA, UK, Kanada, NZ, Australien (wenig überraschend),

- das deutsche BSI,  

- Chile’s Government CSIRT

- National Cyber and Information Security Agency of the Czech Republic (NUKIB)

- Information System Authority of Estonia (RIA)

- National Cyber Security Centre of Estonia (NCSC-EE)

- French Cybersecurity Agency (ANSSI)

- Israeli National Cyber Directorate (INCD)

- Italian National Cybersecurity Agency (ACN)

- Japan’s National center of Incident readiness and Strategy for Cybersecurity (NISC) and Japan’s Secretariat of Science, Technology and Innovation Policy, Cabinet Office

- Nigeria’s National Information Technology Development Agency (NITDA)

- Norwegian National Cyber Security Centre (NCSC-NO)

- Poland Ministry of Digital Affairs  and Poland’s NASK National Research Institute (NASK)

- Republic of Korea National Intelligence Service (NIS)

- Cyber Security Agency of Singapore (CSA).

China nicht, ENISA nicht, einige EU-MS nicht.

0

AI Act: Viele offenene Themen und kaum Transparenz zu den Verhandlungen und Gang der Dinge in Brüssel.  Mal sehen , was sich in den nächsten Tagen tut. Die französische Regierung vertritt weiter die Ansicht, dass Europa innovativ sein muss, bevor es reguliert und sicherstellt, dass es nicht die Fehler der letzten technologischen Revolution in den 1990er Jahren wiederholt. Der französische Parlamentsabgeordnete Éric Bothorel z.B. teilt diese Ansicht:  "Im Bereich der künstlichen Intelligenz ist das Spiel noch offen."

Alamiert reagiert dagegen die DSK, die "eine sachgerechte Zuweisung von Verantwortlichkeiten entlang der gesamten KI-Wertschöpfungskette" durch den AI Act fordert: https://datenschutzkonferenz-online.de/media/pm/23-11-29_DSK-Pressemitte...

Die Erklärung ist interessant, weil sich die Datenschutzbehörden bisher relativ ruhig zum KI-Gesetz verhalten hat. Eine der Sorgen der Datenschutzbehörden ist und war, dass sie nicht für die Durchsetzung des KI-Gesetzes zuständig sein werden, sondern ein neues KI-Büro in Brüssel auf EU-Ebene. Der EDSA hat eine Arbeitsgruppe für KI eingerichtet, aber es gibt m.W. keine offizielle Stellungnahme dieses Gremiums. Die Einhaltung der Datenschutz-Grundverordnung ist für KI-Entwickler und -Anwender bereits unter dem geltenden Recht eine Herausforderung. 

Die DSK hütet sich davor, die deutsche/französische/italienische Regierung für ihre Vorschläge zu Stiftungsmodellen direkt zu kritisieren. Die meisten der DSK-Forderungen könnten bereits durch deren Lösung eines verbindlichen Verhaltenskodex" erfüllt werden. Richtig ist auch, dass die KI-Landschaft komplex und durch eine Vielzahl von Akteuren entlang der Wertschöpfungskette (Hersteller, Anbieter, Betreiber, Anwender und Endnutzer) gekennzeichnet ist. Die Anforderungen nach Art. 25 DSGVO für KI-Entwickler sind ohnehin vage, und es gibt eine Debatte darüber, wann (wenn überhaupt) das Training von KI bereits eine "Datenverarbeitung" im Sinne der DSGVO ist.

0

Überraschung - oder vielleicht auch nicht:

Eben aus dem Newsticker:"Die Gespräche über den Entwurf des EU-Gesetzes über KI werden mit ziemlicher Sicherheit nicht zu einer vollständigen Kompromissvereinbarung bei einem entscheidenden Treffen morgen führen, sagten französische und deutsche Minister heute. Bis vor kurzem bestand die Hoffnung, dass das morgige Treffen der EU-Regierungen und -Gesetzgeber das letzte sein könnte, aber die Digitalminister der beiden Länder nannten Hindernisse, die die Unterhändler zu weiteren politischen Diskussionen zwingen könnten."

Wenn dem so ist, was meinen Sie, wie geht es weiter?

Es gibt halt zu viele offene Punkte. Und die offene politische Frage: Sollte die Verantwortung und Dokumentation für die Basismodelle, die tausende von europäischen Unternehmen nutzen, bei den US-Unternehmen wie Open AI oder Microsoft abgeladen werden? Durch diese Debatte wurde die KIVO augeladen, ebenso durch die jetzt aufflammende Diskussion zum Urheberrechtsschutz & Basismodellen. Es wäre besser gewesen, sich auf die schon existierenden Vorschriften (DSGVO, Arbeitnehmer- und Verbraucherschutz usw) zu konzentrieren.

0

Angeblich hat man sich in der Nachtsitzung zu den Basismodellen geeinigt, aber es ist noch viel zu früh für eine fundierte Aussage: Angeblich wird der stufenweise Ansatz beibehalten. Der quantitative Schwellenwert für die zum Trainieren des Modells verwendete Rechenleistung beträgt 10~25. Ein neuer Anhang enthalte Kriterien, nach denen das AI Office von Amts wegen oder auf der Grundlage einer qualifizierten Stellungnahme des wissenschaftlichen Gremiums eine qualitative Einstufung vornehmen kann.

Wir werden sehen...

Ich höre, dass Frankreich, Deutschland und Italien mit Unterstützung Ungarns, Finnlands und Polens den Standpunkt vertreten, sie könnten sich nicht auf eine Unterstützung des AI Act festlegen, ohne den Text zu sehen. 

Zusammen würden diese sechs Länder eine Sperrminorität bilden. Die eigentliche Verabschiedung auf EU-Ratsebene wird aber ohnehin erst Anfang Februar stattfinden. Bis dahin bleibt noch viel Zeit, um die Wogen zu glätten.  Fakt ist jedoch, dass mehrere Mitgliedstaaten bereits einige "Klarstellungen" in dem Text fordern.

Kommentar hinzufügen