Algorithmische Systeme und KI müssen transparent und objektiv überprüfbar sein, um Verbraucher:innen vor Fehlentscheidungen zu schützen.
100 Tage
Parallel zur Sicherstellung digitaler Bürgerrechte sollte sich die Bundesregierung im Rat der Europäischen Union stärker dafür einsetzen, dass verbraucherspezifische Risiken durch KI in den Fokus der Rechtsverordnung rücken. Der Verweis im Koalitionsvertrag darauf, eine innovationshemmende ex-ante-Regulierung vermeiden zu wollen, ist nicht zielführend: Der Verordnungsentwurf sieht vor, dass die Konformitätsbewertung hochriskanter KI-Systeme durch die Anbieter selber vorgenommen werden soll. Dies schafft kein Verbrauchervertrauen. Die Bundesregierung sollte sich im Rat vielmehr dafür einsetzen, die Rolle unabhängiger Bewertungen und Kontrollen risikoreicher KI-Systeme zu stärken. Bisher hat sich die Bundesregierung im Rat zu wenig dafür eingesetzt, dass Manipulation und das Ausnutzen von Schwächen aller Verbraucher:innen mittels KI durch die Verordnung effektiv unterbunden wird. Regeln für automatisierte Scoring-Systeme durch KI bedarf es auch für private Akteure. Ebenso muss ein Verbot biometrischer Erkennung im öffentlichen Raum auch für private Akteure gelten.
1 Jahr
Es ist gut, dass sich die Bundesregierung für ein Verbot biometrischer Erkennung im öffentlichen Raum stark macht, dies muss auch für private Akteure gelten. Parallel zur Sicherstellung digitaler Bürgerrechte sollte sich die Bundesregierung im Rat der Europäischen Union stärker dafür einsetzen, dass verbraucherspezifische Risiken durch KI in den Fokus der Rechtsverordnung rücken. Der Verweis im Koalitionsvertrag darauf, eine innovationshemmende ex-ante-Regulierung vermeiden zu wollen, ist nicht zielführend: Der Verordnungsentwurf der Europäischen Kommission sieht vor, dass die Konformitätsbewertung hochriskanter KI-Systeme durch die Anbieter selber vorgenommen werden soll. Dies schafft kein Verbrauchervertrauen. Die Bundesregierung sollte sich im Rat vielmehr dafür einsetzen, die Rolle unabhängiger Bewertungen und Kontrollen risikoreicher KI-Systeme zu stärken. Bisher hat sich die Bundesregierung im Rat zu wenig dafür eingesetzt, dass Manipulation und das Ausnutzen von Schwächen aller Verbraucher:innen mittels KI durch die Verordnung effektiv unterbunden wird. Regeln für automatisierte Scoring Systeme durch KI bedarf es auch für private Akteure.
Halbzeitbilanz
Es ist gut, dass sich die Bundesregierung für ein Verbot biometrischer Erkennung im öffentlichen Raum stark macht. Dies muss auch für private Akteure gelten. Parallel zur Sicherstellung digitaler Bürgerrechte sollte sich die Bundesregierung im Rat der Europäischen Union stärker dafür einsetzen, dass verbraucherspezifische Risiken durch KI in den Fokus der Rechtsverordnung rücken. Der Verweis im Koalitionsvertrag darauf, eine innovationshemmende ex-ante-Regulierung vermeiden zu wollen, ist nicht zielführend: Der Verordnungsentwurf der Europäischen Kommission sieht vor, dass die Konformitätsbewertung hochriskanter KI-Systeme durch die Anbieter selber vorgenommen werden soll. Dies schafft kein Verbrauchervertrauen. Die Bundesregierung sollte sich hinsichtlich der nun stattfindenden Trilog-Verhandlungen im Rat verstärkt dafür einsetzen, die Rolle unabhängiger Bewertungen und Kontrollen risikoreicher KI-Systeme zu stärken. Bisher hat sich die Bundesregierung im Rat zu zögerlich dafür eingesetzt, dass biometrische Analysen sowie Manipulation und das Ausnutzen von Schwächen aller Verbraucher:innen mittels KI durch die Verordnung effektiv unterbunden wird. Auch für private Akteure müssen Regeln für automatisierte Social-Scoring-Systeme durch KI geschaffen werden.
1 Jahr zur Wahl
Der Europäische Rechtsakt wurde abgeschlossen. Die nationale Umsetzung des AI Acts wurde begonnen. Der AI Act trat am 02. August 2024 in Kraft. Es ist gut, dass sich die Bundesregierung für ein Verbot biometrischer Erkennung im öffentlichen Raum stark machen möchte. Im AI Act wurde lediglich ein Verbot für staatliche Akteure aufgenommen. Der deutsche Gesetzgeber muss seine Spielräume bei der Umsetzung des AI Acts nutzen und den Einsatz biometrischer Fernidentifizierungssysteme an öffentlich zugänglichen Orten auch für private Akteure untersagen. Parallel zur Sicherstellung digitaler Bürgerrechte hätte sich die Bundesregierung im Rat der Europäischen Union stärker dafür einsetzen müssen, dass verbraucherspezifische Risiken durch KI in den Fokus der Rechtsverordnung rücken. Der Verweis im Koalitionsvertrag darauf, eine innovationshemmende ex-ante-Regulierung vermeiden zu wollen, ist nicht zielführend: Der AI Act sieht vor, dass Anbieter selber entscheiden, ob Ihr KI-System eine Hochrisiko-KI ist und die Konformitätsbewertung hochriskanter KI-Systeme durch die Anbieter selber vornehmen. Dies schafft kein Vertrauen bei Verbraucher:innen. Die Bundesregierung hätte sich in den Trilog-Verhandlungen im Rat vehementer dafür einsetzen sollen, die Rolle unabhängiger Bewertungen und Kontrollen risikoreicher KI-Systeme zu stärken. Zudem hat sich die Bundesregierung im Rat zu zögerlich dafür eingesetzt, dass Manipulation und das Ausnutzen von Schwächen aller Verbraucher:innen mittels KI durch die Verordnung effektiv unterbunden werden. Gut ist, das der AI Act Social-Scoring durch KI auch für private Akteure untersagt.
Zunehmend werden Entscheidungen über Verbraucher:innen durch KI-Systeme getroffen oder vorbereitet. Verbraucherentscheidungen werden durch Empfehlungssysteme beeinflusst. Deshalb müssen unabhängige Expert:innen die Systeme bezüglich ihrer Rechtmäßigkeit und sozialen Auswirkungen überprüfen können, etwa hinsichtlich des Diskriminierungsverbots.
„Wir unterstützen den europäischen AI Act. Wir setzen auf einen mehrstufigen risikobasierten Ansatz, wahren digitale Bürgerrechte, insbesondere die Diskriminierungsfreiheit, definieren Haftungsregeln und vermeiden innovationshemmende ex-ante-Regulierung. Biometrische Erkennung im öffentlichen Raum sowie automatisierte staatliche Scoring Systeme durch KI sind europarechtlich auszuschließen.“
- Der Artificial Intelligence Act (AI Act) muss alle hochriskanten KI-Anwendungen erfassen und sicherstellen, dass sie Gesetze einhalten und europäischen Werten entsprechen.
- Dazu gehören Verbote von biometrischer Erkennung im öffentlichen Raum sowie die Manipulation und das Ausnutzen von Schwächen von Verbraucher:innen mittels KI.
- KI-Entscheidungen, die Verbraucher:innen betreffen, müssen für sie nachvollziehbar werden.
- Unabhängige Expert:innen und Behörden müssen kontrollieren können, ob KI-Systeme rechtskonform sind, und welche sozialen und wirtschaftlichen Auswirkungen sie haben.