Kommentare aus dem TRR zum neuen AI Act der Europäischen Union

Die Europäische Union hat ein umfassendes KI-Gesetz eingeführt, das eine weitreichende Regulierung von Künstlicher Intelligenz vorsieht. Der Fokus liegt auf der Qualität von Daten für Algorithmus-Entwicklungen und dem Schutz vor Urheberrechtsverletzungen. Entwickler*innen müssen nun deutlich kennzeichnen, wenn Inhalte mit KI erstellt wurden und Transparenz durch die Dokumentation von Schulungsinhalten gewährleisten. Besondere Vorgaben gelten für kritische Bereiche wie Sicherheit, mit verschärften Kontrollen und Risikomanagement. Außerdem werden KI-Systeme nach Risikogruppen eingeteilt, mit höheren Anforderungen an potenziell gefährliche Anwendungen. Technische Dokumentationen und digitale Wasserzeichen werden Pflicht und Überwachung durch KI wird eingeschränkt. Die biometrische Identifizierung ist nur bei konkreten Verdächtigen und schweren Straftaten erlaubt. Diese Gesetzgebung der EU für einen regulierten und verantwortungsbewussten Einsatz von KI gilt weltweit als erste dieser Art.

 

Kommentar zum EU AI Act von Prof. Dr. Kirsten Thommes und Prof. Dr. Britta Wrede über das Verbot der KI-Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen:

Das "Gesetz über künstliche Intelligenz" der EU zielt darauf ab, die Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen zu verbieten. Dieser neue Vorschlag unterscheidet sich von dem vorherigen, der ebenfalls ein Verbot der Emotionserkennung bei der Strafverfolgung und in der Migration vorsah. Erstens weicht das KI-Gesetz durch die Überarbeitung des Anwendungsbereichs von der inneren Logik des Schutzes schutzbedürftiger Gruppen (z. B. Migranten) ab, ohne dass es dafür eine Begründung gibt. Die Ausnahmeregelung scheint nicht nur nicht auf den Schutz schutzbedürftiger Gruppen in der Gesellschaft ausgerichtet zu sein, sondern entbehrt auch jeder Rechtfertigung.

Das generelle Verbot der Erkennung von Emotionen am Arbeitsplatz und im Bildungsbereich bringt mehr Probleme mit sich, als es löst: Erstens verhindert es den Einsatz von Allzwecktechnologien. Wenn beispielsweise eine Anwendung wie ChatGPT (oder eine ähnliche) die semantische Analyse der Sprache von Nutzer*innen helfen würde, um emotionale Einschätzungen vorzunehmen und Antworten entsprechend zu formulieren, dürfte eine solche Allzwecktechnologie nicht am Arbeitsplatz oder in der Schule eingesetzt werden. Diese Vorschrift kann wahrscheinlich nicht durchgesetzt werden oder wird viele Umgehungsmöglichkeiten schaffen, um eine solche Technologie trotzdem zu nutzen, sogar noch unkontrollierter, und verlagert das Risiko der Nutzung vom Arbeitgeber (oder Schulsystem) auf den Arbeitnehmer (oder Schüler*innen).

Zweitens, die Erkennung von Emotionen kann in einigen Fällen hilfreich und menschenzentriert sein. In unserer Forschung (Projekt A3, TRR 318) haben wir herausgefunden, dass Erklärungsstrategien eines KI-Systems menschliche Emotionen auf zwei Arten nutzen können: Erstens können sie als frühzeitiges Feedbacksignal für unverständliche oder unbefriedigende Erklärungen dienen und so einen interaktiven Klärungsprozess einleiten, der es dem Benutzer ermöglicht, die Erklärung auf die Punkte zu lenken, mit denen er Schwierigkeiten hat. Zweitens zeigen unsere neuesten Forschungsergebnisse, dass menschliche Emotionen wie Aufregung andere Erklärungsstrategien erfordern als Menschen in anderen emotionalen Zuständen. Wir zeigen, dass aufgeregte Menschen leicht mit komplexen Erklärungen überfordert sind und gezieltere, kaskadierende Erklärungen besser ankommen. Wenn das Ziel – am Arbeitsplatz oder in der Ausbildung – darin besteht, das Thema oder das KI-System zu verstehen, dann kann die Erkennung von Emotionen nützlich sein, um ein solches Ziel zu erreichen. Ein Verbot der Emotionserkennung am Arbeitsplatz oder im Bildungsbereich könnte mehr schaden als nützen, da die Nutzer*innen Emotionen haben und die Menschenzentrierung die menschlichen Eigenschaften und ihre Heterogenität berücksichtigen muss.

Wir stimmen zwar zu, dass die emotionale Erkennung in einigen Fällen missbraucht werden kann, sind aber der Meinung, dass ein generelles Verbot am Arbeitsplatz oder in der Ausbildung mehr Probleme verursachen als Risiken mindern kann. Gezielte Maßnahmen zum Schutz gefährdeter Gruppen und die Regulierung von Anwendungen mit hohem Risiko sind daher zwingend notwendig.

 

Kommentar zum AI Act der Europäischen Union von Prof. Dr. Henning Wachsmuth:

Künstliche Intelligenz (KI) wird zunehmend in immer mehr Prozesse und Entscheidungen einbezogen, die das menschliche Leben betreffen. KI hat das Potenzial, unser Leben in vielerlei Hinsicht zu verbessern, aber sie birgt auch neue Risiken für unsere Sicherheit und Freiheit.  Regeln für eine verantwortungsvolle Entwicklung und Nutzung von KI sind daher eine wichtige und erwartete Anstrengung internationaler gesetzgebender Gremien, wie des Europäischen Parlaments. Viele Punkte des EU AI Acts spiegeln zentrale Werte der europäischen Gesellschaft wider, darunter das Verbot von KI zum Social Scoring und zur Manipulation menschlichen Verhaltens. Andere Aspekte zielen darauf ab, unsere Grundrechte auf eine faire und gleiche Behandlung zu schützen, wie etwa das Recht auf eine Erklärung von KI-Entscheidungen.

Es ist von größter Bedeutung, dass wir als Gesellschaft nicht die Kontrolle über die Normen und Werte verlieren, an die wir glauben, während KI mächtiger wird. Gleichzeitig sollten die festgelegten Regeln innovative KI-Forschung und -Entwicklung in den europäischen Institutionen nicht behindern, um eine zunehmende Abhängigkeit von großen Technologieunternehmen zu vermeiden. Damit können wir verhindern, dass wir anfälliger für globale Akteure werden, die kein Interesse an der Einhaltung der Regeln haben. Ich begrüße in diesem Zusammenhang, dass das Europäische Parlament bestimmte Beschränkungen auf Hochrisikosysteme beschränkt und ausdrücklich darauf abzielt, kleine und mittelständische Unternehmen zu unterstützen. Es bleibt jedoch abzuwarten, wie die tatsächliche Operationalisierung der definierten Regeln aussehen wird und inwieweit sie den Herausforderungen, die die KI für unser Leben bringen wird, gerecht werden können. Die Regeln sind somit ein erster wertvoller Ansatz für eine verantwortungsvolle Regulierung von KI, sie müssen aber in Zukunft weiter verfeinert und evaluiert werden.

Prof. Dr. Kirsten Thommes (Universität Paderborn), Projektleiterin der Projekte A03 und C02
Prof. Dr. Britta Wrede (Universität Bielefeld), Projektleiterin der Projekte A03, A05 und Ö
Prof. Dr. Henning Wachsmuth (Universität Hannover), Projektleiter der Projekte C04 und INF.