Algorithmische Systeme und KI müssen transparent und objektiv überprüfbar sein, um Verbraucher:innen vor Fehlentscheidungen zu schützen.
Zunehmend werden Entscheidungen über Verbraucher:innen durch KI-Systeme getroffen oder vorbereitet. Verbraucherentscheidungen werden durch Empfehlungssysteme beeinflusst. Deshalb müssen unabhängige Expert:innen die Systeme bezüglich ihrer Rechtmäßigkeit und sozialen Auswirkungen überprüfen können, etwa hinsichtlich des Diskriminierungsverbots.
„Wir unterstützen den europäischen AI Act. Wir setzen auf einen mehrstufigen risikobasierten Ansatz, wahren digitale Bürgerrechte, insbesondere die Diskriminierungsfreiheit, definieren Haftungsregeln und vermeiden innovationshemmende ex-ante-Regulierung. Biometrische Erkennung im öffentlichen Raum sowie automatisierte staatliche Scoring Systeme durch KI sind europarechtlich auszuschließen.“
- Der Artificial Intelligence Act (AI Act) muss alle hochriskanten KI-Anwendungen erfassen und sicherstellen, dass sie Gesetze einhalten und europäischen Werten entsprechen.
- Dazu gehören Verbote von biometrischer Erkennung im öffentlichen Raum sowie die Manipulation und das Ausnutzen von Schwächen von Verbraucher:innen mittels KI.
- KI-Entscheidungen, die Verbraucher:innen betreffen, müssen für sie nachvollziehbar werden.
- Unabhängige Expert:innen und Behörden müssen kontrollieren können, ob KI-Systeme rechtskonform sind, und welche sozialen und wirtschaftlichen Auswirkungen sie haben.
Parallel zur Sicherstellung digitaler Bürgerrechte sollte sich die Bundesregierung im Rat der Europäischen Union stärker dafür einsetzen, dass verbraucherspezifische Risiken durch KI in den Fokus der Rechtsverordnung rücken. Der Verweis im Koalitionsvertrag darauf, eine innovationshemmende ex-ante-Regulierung vermeiden zu wollen, ist nicht zielführend: Der Verordnungsentwurf sieht vor, dass die Konformitätsbewertung hochriskanter KI-Systeme durch die Anbieter selber vorgenommen werden soll. Dies schafft kein Verbrauchervertrauen. Die Bundesregierung sollte sich im Rat vielmehr dafür einsetzen, die Rolle unabhängiger Bewertungen und Kontrollen risikoreicher KI-Systeme zu stärken. Bisher hat sich die Bundesregierung im Rat zu wenig dafür eingesetzt, dass Manipulation und das Ausnutzen von Schwächen aller Verbraucher:innen mittels KI durch die Verordnung effektiv unterbunden wird. Regeln für automatisierte Scoring-Systeme durch KI bedarf es auch für private Akteure. Ebenso muss ein Verbot biometrischer Erkennung im öffentlichen Raum auch für private Akteure gelten.