Algorithmische Systeme und KI müssen transparent und objektiv überprüfbar sein, um Verbraucher:innen vor Fehlentscheidungen zu schützen.
Zunehmend werden Entscheidungen über Verbraucher:innen durch KI-Systeme getroffen oder vorbereitet. Verbraucherentscheidungen werden durch Empfehlungssysteme beeinflusst. Deshalb müssen unabhängige Expert:innen die Systeme bezüglich ihrer Rechtmäßigkeit und sozialen Auswirkungen überprüfen können, etwa hinsichtlich des Diskriminierungsverbots.
„Wir unterstützen den europäischen AI Act. Wir setzen auf einen mehrstufigen risikobasierten Ansatz, wahren digitale Bürgerrechte, insbesondere die Diskriminierungsfreiheit, definieren Haftungsregeln und vermeiden innovationshemmende ex-ante-Regulierung. Biometrische Erkennung im öffentlichen Raum sowie automatisierte staatliche Scoring Systeme durch KI sind europarechtlich auszuschließen.“
- Der Artificial Intelligence Act (AI Act) muss alle hochriskanten KI-Anwendungen erfassen und sicherstellen, dass sie Gesetze einhalten und europäischen Werten entsprechen.
- Dazu gehören Verbote von biometrischer Erkennung im öffentlichen Raum sowie die Manipulation und das Ausnutzen von Schwächen von Verbraucher:innen mittels KI.
- KI-Entscheidungen, die Verbraucher:innen betreffen, müssen für sie nachvollziehbar werden.
- Unabhängige Expert:innen und Behörden müssen kontrollieren können, ob KI-Systeme rechtskonform sind, und welche sozialen und wirtschaftlichen Auswirkungen sie haben.
Der Europäische Rechtsakt wurde abgeschlossen. Die nationale Umsetzung des AI Acts wurde begonnen. Der AI Act trat am 02. August 2024 in Kraft. Es ist gut, dass sich die Bundesregierung für ein Verbot biometrischer Erkennung im öffentlichen Raum stark machen möchte. Im AI Act wurde lediglich ein Verbot für staatliche Akteure aufgenommen. Der deutsche Gesetzgeber muss seine Spielräume bei der Umsetzung des AI Acts nutzen und den Einsatz biometrischer Fernidentifizierungssysteme an öffentlich zugänglichen Orten auch für private Akteure untersagen. Parallel zur Sicherstellung digitaler Bürgerrechte hätte sich die Bundesregierung im Rat der Europäischen Union stärker dafür einsetzen müssen, dass verbraucherspezifische Risiken durch KI in den Fokus der Rechtsverordnung rücken. Der Verweis im Koalitionsvertrag darauf, eine innovationshemmende ex-ante-Regulierung vermeiden zu wollen, ist nicht zielführend: Der AI Act sieht vor, dass Anbieter selber entscheiden, ob Ihr KI-System eine Hochrisiko-KI ist und die Konformitätsbewertung hochriskanter KI-Systeme durch die Anbieter selber vornehmen. Dies schafft kein Vertrauen bei Verbraucher:innen. Die Bundesregierung hätte sich in den Trilog-Verhandlungen im Rat vehementer dafür einsetzen sollen, die Rolle unabhängiger Bewertungen und Kontrollen risikoreicher KI-Systeme zu stärken. Zudem hat sich die Bundesregierung im Rat zu zögerlich dafür eingesetzt, dass Manipulation und das Ausnutzen von Schwächen aller Verbraucher:innen mittels KI durch die Verordnung effektiv unterbunden werden. Gut ist, das der AI Act Social-Scoring durch KI auch für private Akteure untersagt.