AI Act der EU: Was Start-Ups rechtlich wissen müssen!

Legal News: Was regelt der AI Act der EU?

Was der AI Act der EU für Start-Ups in Österreich beim Einsatz von künstlicher Intelligenz, wie zum Beispiel ChatGPT, bringen könnte, fassen unsere Rechts-Expert:innen für AI Elisabeth Kutner, Alexander Glaser und Martin Hanzl vom EY Law NewTech Team hier kurz für Sie zusammen.

Hype um ChatGPT & künstliche Intelligenz in Österreich

ChatGPT hat auch in Österreich praktisch über Nacht einen Hype auf künstliche Intelligenz („KI“) oder englisch artificial intelligence („AI“) ausgelöst: Was Start-Ups bei der Nutzung des AI-Chatbots in Österreich rechtlich beachten sollten, haben unsere Rechtsexpert:innen hier zusammengefasst: ChatGPT & Start-Ups. Was Start-Ups beim Einsatz von AI-Programmen und Chatbots generell rechtlich wissen sollten, können Sie hier herausfinden. Wir wagen einen kurzen Blick in die Zukunft , was es beim Einsatz von AI-Systemen aufgrund des Vorschlags des AI-Acts bzw. der KI-Haftungsrichtlinie zu beachten geben könnte.

Der AI Act – Back on track?

Bereits im April 2021 veröffentlichte die Europäische Kommission einen Vorschlag für eine Verordnung über Künstliche Intelligenz, der sogenannte AI Act, der darauf abzielt, einen einheitlichen Rahmen für die Entwicklung, Einführung und Nutzung von Künstlicher Intelligenz („KI“ oder „AI“) in der Europäischen Union (EU) zu schaffen. Der AI Act befindet sich derzeit noch in einem Entwurfsstadium und wurde noch nicht endgültig verabschiedet oder in Kraft gesetzt.

Durch die Vorlage des Entwurfs des AI Acts machte die europäische Kommission aber schon klar: Im Bereich der Künstlichen Intelligenz soll die EU in Zukunft ganz vorne dabei sein. Nach diesem Impuls im Jahr 2021 wurde es jedoch recht schnell wieder ruhig um das Gesetzesvorhaben. Jetzt, gleichzeitig mit dem Hype um ChatGPT, meldet sich der Rat mit einem gemeinsamen Standpunkt zum Kommissionsvorschlag des AI Acts zurück.

Neben viel Lob über den generellen Ansatz des ursprünglichen Verordnungsvorschlags wurden vorwiegend kritische Stimmen über die zu weit gefasste Definition eines KI-Systems im AI Act der EU laut. Hier will der Rat nun nachbessern und den Begriff enger und konkreter bestimmen, indem nur noch Systeme erfasst sind, die auf Konzepten des maschinellen Lernens sowie logik- und wissensgestützten Konzepten basieren. So soll eine Überregulierung von klassischen Softwaresystemen verhindert werden.

EY Podcast: KI – Mensch oder Maschine?

Wichtige Fragen zur AI Trustworthyness beantwortet EY Law Rechtsanwalt für AI, Martin Hanzl mit EY Kollegen Stefan Vamosi im Podcast Transformation Tacheles Talks.

- Ist das Vertrauen groß genug, um eine Künstliche Intelligenz eine OP am Menschen durchführen zu lassen?

- Wie fair ist die AI? Was ist KI überhaupt?

- Wie steht es um die Erfolgschancen und was sagen Forscher:innen über die Zukunft und Anwendungsbereiche der KI?

- Wie verändert sich unsere Perspektive auf Arbeit, wie die auf Menschen?

- Europäischer AI Act: Warum braucht es diesen bzw. Rechtsanwälte, die sich mit diesen Systemen und Technologien spezialisiert haben?

2. Überlick über den “risk-based approach” des AI Acts

Sowohl der Vorschlag der Europäischen Kommission als auch die Stellungnahme des Rates folgen einem „risk-based approach“. Der AI Act teilt KI-Systeme in verschiedene Risikokategorien (von inakzeptablem Risiko bis hin zu geringem Risiko) ein und erlegt den Verantwortlichen – abhängig von der jeweiligen Einteilung eines KI-Systems – Handlungspflichten auf. Die folgende Grafik zeigt die vorgeschlagene Einteilung von AI-Systemen anhand des damit verbundenen Risikos.

Der risk based approach des AI Acts der europäischen Kommission

Welche Risiken gibt es beim Einsatz von KI / AI?

Ganz oben in der Risikopyramide stehen KI-Systeme, die eine Bedrohung für Menschen, Sicherheit und Grundrechte darstellen (können). Solche Anwendungsfälle können etwa KI-Systeme zur unterschwelligen Manipulation oder biometrischen Identifizierung zur Strafverfolgung an öffentlichen Orten sein. Bis auf wenige Ausnahmen ist der Einsatz derartiger KI-Systeme unter dem vorgeschlagenen Regelwerk generell verboten. Nach dem Vorschlag der Europäischen Kommission soll (nur) das Social Scoring durch den öffentlichen Sektor unter „inakzeptables Risiko“ fallen. Der Rat möchte dieses Verbot erweitern und schlägt vor, das Verbot auch auf den privaten Bereich auszuweiten.

AI Act: High-Risk KI-Systeme

High-Risk Systeme, wie unter anderem KI-Technologien, die in der medizinischen Diagnose und Behandlung eingesetzt werden, sind zwar nicht verboten, stehen aber unter strengen Anforderungen für die Entwicklung, das Inverkehrbringen sowie die Nutzung. Diese müssen einem behördlichen Konformitätsbewertungsverfahren standhalten, bei dem die Einhaltung der unter der Verordnung notwendigen Vorkehrungen überprüft wird. Dazu zählen etwa ein Risikomanagement, die menschliche Aufsicht über das System sowie die Cybersicherheit.

Mit KI-Systemen in Chatbots und Deepfakes assoziiert der AI Act lediglich ein geringes Risiko. Der europäische Gesetzgeber bleibt hier weiter bei hauptsächlich oberflächlichen Maßnahmen und sieht eine Kennzeichnung des Systems als ausreichend an.

Die Nutzung von KI-Technologieanwendungen mit minimalem Risiko wird durch den AI Act nicht berührt. Darunter fallen KI-gestützte Videospiele oder auch Spam-Filter.

EY Law Tipp zum AI Act
Die tatsächliche Einstufung eines KI-Systems kann aufwendig und komplex werden, ihr solltet euch daher absichern und für die Beurteilung Expert:innen hinzuziehen. Je nachdem, wann euer AI-System auf den Markt gebracht wird bzw wie lange es verkauft werden soll, kann eine frühzeitige (freiwillige) Berücksichtigung des AI Acts bereits sinnvoll sein.

3. Artificial Intelligence: Was müssen Start-Ups beachten?

Zwar steht der AI Act der Europäischen Kommission noch nicht vor der Tür, sondern taucht wohl eher erst am Horizont auf, dennoch sollten ambitionierte Startup-Gründer:innen in Östereich bereits jetzt einige Anforderungen im Hinterkopf behalten. Die Regulierung wird einerseits oft als Innovationstreiber bezeichnet. Umfassende Regulierung sowie aufwendige Registrierungs- und Prüfungsverfahren können jedoch insbesondere Startups und KMUs den Markteinstieg erschweren. Dieses Phänomen ist bisher insbesondere auf dem Finanzmarkt bekannt.

Viele der zukunftsorientierten KI-Anwendungen fallen in die selbstdefinierte „High-Risk“-Kategorie des AI Acts. Der Fokus des Verordnungsvorschlags liegt klar auf der Regulierung solcher High-Risk-Systeme. Die für ein Inverkehrbringen und eine Inbetriebnahme notwendige Konformitätsbewertung durch Dritte wird nur durch intensive rechtliche und technische Vorbereitung von Seiten der KI-Anbieter:innen möglich sein. Bei selbstlernenden KI-Systemen ist eine solche Bewertung sogar auf laufender Basis durchzuführen, was für eine zusätzliche Belastung sorgt.

Der Standpunkt des Rates versucht ein Ausarten der High-Risk-Kategorie durch eine zusätzliche Anknüpfung an lediglich schwerwiegende Grundrechtsverletzungen oder andere bedeutende Risiken zu verhindern. Darüber hinaus sollen auch Vereinfachungen bei den Verfahren und technischen Anforderungen KMUs und Startups begünstigen.

EY Law Tipp zum AI Act
Wie diese geplanten Erleichterungen tatsächlich aussehen werden, ist kaum abzuschätzen. Ihr solltet bereits jetzt ausreichend Ressourcen und Zeit für zusätzliche Prüfungen und Prozesse einplanen.

4. Ausblick auf die KI-Haftungsrichtlinie

Um noch einmal auf den aktuellen Hype zurückzukommen: Was passiert nun, wenn ein Chatbot eine wesentliche Falschauskunft liefert und so tatsächlich einen Schaden verursacht? Wenn ein KI-System voreingenommen agiert und damit Personengruppen von Vornherein von einem Bewerbungsprozess ausschließt oder Menschen durch den Einsatz von intelligenten Operationsrobotern sonst zu Schaden kommen? Wie können Sie Start-Ups davor schützen?

Beispiel: Schädigung durch KI-Chatbots
Ein dramatisches Beispiel für eine potenzielle Schädigung durch künstliche Intelligenz war der Testlauf eines medizinischen Chatbots, der ebenfalls auf GPT-3-Software basierte. Zum einen reagierte die KI mit eigenartigen medizinischen Diagnosen, viel drastischer aber war, dass der Bot in psychologischen Gesprächen die Patient:innen dazu ermunterte, sich ihren Suizidgedanken hinzugeben. Durch den AI Act sollen je nach Risikoeinstufung des KI-Systems Vorkehrungen getroffen werden, um solche Fehler möglichst zu vermeiden (siehe dazu bereits oben).

Falls durch ein KI-System aber trotzdem ein Schaden verursacht wird, müssen entsprechende gesetzliche Grundlagen für eine Haftung bereitgestellt werden. Während die Nachweisbarkeit eines Schadens selten ein Problem darstellt, scheitert der Beweis der Kausalität und Schuld bereits merkbar öfter. Angefangen bei Chatbots wird der Nachweis von Kausalität und Verschulden bei hoch-komplexen KI-Systemen wohl ungemein schwerer.

Die AI Liability Directive

Die europäische Kommission hat dieses Risiko bereits erkannt und reagierte im September mit einem Richtlinienvorschlag über die KI-Haftung. Die im englischen AI Liability Directive genannte Richtline soll den AI Act um ein wirksames zivilrechtliches außervertragliches und verschuldensabhängiges Haftungssystem, insbesondere für High-Risk-KI-Systeme, ergänzen. Die Durchsetzbarkeit von Haftungsfällen wird durch ein Zusammenspiel von Vermutungsregeln und Offenlegungspflichten erleichtert. Ziel ist es, dadurch insbesondere den Black-Box-Effekt zu überwinden, da die menschliche Handlung oft nicht mehr problemlos mit einem Ereignis in Verbindung gebracht werden kann, wenn ein „selbstständiges“ KI-System dazwischentritt.

Gerichte sollen daher widerlegbar Verschulden vermuten können, wenn eine gerichtlich aufgetragene Offenlegungspflicht nicht erfüllt wird. Ist das Verschulden nachgewiesen oder zumindest vermutet worden, kann das Gericht auch eine widerlegbare Kausalitätsvermutung anstellen. Da aber eine solche Vermutung auch für eine:n Schädiger:in oft schwer zu widerlegen sein kann, stellt die Richtline bestimmte Anforderungen und Einschränkungen auf.

So muss es nach den Umständen des Falles als hinreichend wahrscheinlich angesehen werden können, dass das Verschulden das Ergebnis des KI-Systems beeinflusst hat und das Verschulden selbst auf einem Verstoß gegen ein Gesetz beruht, das gerade solche Schäden verhindern soll. Zusätzlich wird die Zulässigkeit einer Vermutung für KI-Systeme mit einem geringen Risiko deutlich eingegrenzt und ist auch für High-Risk Systeme ausgeschlossen, wenn ohnehin ausreichend Beweismittel vorliegen.

EY Law Tipp zum AI Act
Für den potenziellen Schädiger wird es zum großen Nachteil, wenn keine entsprechenden Aufzeichnungen offengelegt werden können. Beim Einsatz von KI-Systemen solltet ihr euch bereits davor um rechtskonforme Unterlagen und Aufzeichnungen kümmern.

5. Haftung vor Umsetzung der KI-Haftungsrichtlinie (k)ein Thema?

Bis man sich auf EU-Ebene über die KI-Haftungsrichtlinie geeinigt hat bzw bis diese dann tatsächlich in den nationalen Mitgliedstaaten umgesetzt wird, wird noch einige Zeit vergehen. Dennoch sollten Unternehmen das Thema Haftung schon jetzt beachten.

Einerseits kann der Einsatz von KI-Systemen oder sonstiger Software auch bereits nach geltendem Recht zur Haftung von Anwender:innen führen (beispielsweise wenn KI-Systeme durch eine:n Mitarbeitende:n eines Unternehmens falsch bedient werden). Andererseits können, insbesondere im B2B Kontext, auch vertragsrechtliche Regelungen haftungsbegründend wirken (z.B. kann ein Vertrag vorsehen, dass eine Software eine bestimmte Verfügbarkeitszeit aufweist, eine bestimmte Fehlerrate nicht überschreitet oder Ähnliches).

EY Law Tipp zu AI Software
Wenn ihr Software lizensiert, Software as a Service anbietet oÄ, solltet ihr zu Beginn Zeit in ein ausreichendes Vertragstemplate investieren, um sicherzustellen, dass keine „versteckten“ Haftungen enthalten sind.

6. Was ist der AI-Act? (Kurze Zusammenfassung von Chat GPT)

Bei der folgenden kurzen Zusammenfassung hat uns wieder ChatGPT unterstützt. Es gilt aber weiterhin: Wer auf aber auf Nummer sicher gehen und nichts verpassen will, sollte Texte trotzdem noch selbst lesen.

Was ist der AI Act?

Der AI Act ist ein Gesetzentwurf der Europäischen Kommission, der sich darauf konzentriert, einen einheitlichen Rahmen für die Entwicklung, Einführung und Nutzung von Künstlicher Intelligenz in der EU zu schaffen. Der AI Act unterteilt AI-Systeme in Risikokategorien und legt für jede Kategorie Handlungspflichten fest. Die High-Risk-Systeme, wie KI-Technologie, die in der medizinischen Diagnose und Behandlung eingesetzt werden, sind den strengeren Anforderungen unterworfen und müssen einem behördlichen Konformitätsbewertungsverfahren standhalten. Die Low-Risk-Systeme haben weniger strenge Anforderungen und müssen keinem behördlichen Verfahren unterzogen werden, aber sie müssen dennoch Risiken minimieren und eine geeignete Dokumentation aufbewahren. Die KI-Haftungsrichtlinie hingegen zielt darauf ab, den Schadenersatz für Schäden, die durch KI-Systeme verursacht werden, zu regeln und sicherzustellen, dass die Verantwortlichen für KI-Systeme haftbar gemacht werden können.

(Diese kurze Zusammenfassung als Antwort auf die Frage, was der AI Act eigentlich ist, wurde von Chat GPT verfasst.)

Kontaktieren Sie unsere Rechtsexpert:innen für AI und NewTech

Dieser Artikel vom EY Law New Technology Team ist auch auf Brutkasten.com erschienen. Informieren Sie sich, was Start-Ups beim Einsatz von ChatGPT & Co rechtlich beachten müssen in unserer Artikel-Reihe.