Rede: Algorithmen transparent gestalten - Forderungen an die Politik

Sehr geehrte Damen und Herren,

ich begrüße Sie herzlich zu unserer Fachveranstaltung „Algorithmen transparent gestalten“.

Mein Leben wird, ebenso wie ihr Leben, immer stärker von Algorithmen beeinflusst. Wenn ich etwa einen Kredit beantrage, berechnet ein Algorithmus die Wahrscheinlichkeit meines individuellen Kreditausfalls. Auch entscheiden digitale Assistenten wie „Amazon Alexa“ immer stärker über meinen Zugang zur Konsumwelt. Sie können mir Produkte vorschlagen, oder für mich einkaufen. Doch wer weiß wie sie funktionieren? Auf welcher Datengrundlage suchen sie für mich die – scheinbar – passenden Produkte? Diskriminieren sie mich?

Ich freue mich sehr, dass offensichtlich nicht nur der vzbv intensiv über diese Themen nachdenkt, sondern dass auch wie die heutige Teilnehmerzahl zeigt, viele andere Stakeholder sich mit diesem so wichtigen Thema auseinandersetzen.

Die Relevanz von Algorithmen für Verbraucher ist eindeutig, sie werden voraussichtlich eine immer größere Rolle in individuellen Konsumentscheidungen spielen.

Zu Beginn möchte ich Ihnen kurz unser Verständnis von Algorithmen erläutern: Damit wir sichergehen dass wir über dasselbe Phänomen reden:

Im Zentrum der aktuellen Debatte steht immer wieder der Begriff „Algorithmus“. Ein Algorithmus für sich ist – streng genommen – zunächst nur eine festgelegte Handlungsanweisung, die auch „analog“ festgelegt und ausgeführt werden könnte. Ein Beispiel ist etwa die Straßenverkehrsordnung.

Uns geht es in der heutigen Debatte aber um digitale algorithmenbasierte Entscheidungsprozesse, die auf der Grundlage von Big Data erfolgen können. Auf Englisch „Algorithmic Decision Making“ oder kurz ADM-Prozesse. Diese Prozesse umfassen viel mehr als nur den Algorithmus selbst:

• Sie beinhalten eine Datenbasis, die als Input dienen und mit denen ein Algorithmus trainiert wird.
• Menschen geben dem Algorithmus Ziele vor nach denen er optimiert.
• Es gibt Kriterien nach denen Betroffene in Kategorien eingeteilt werden.
• Als Output liefert so ein System ein Ergebnis. Das kann dann eine Handlungsempfehlung für einen Menschen sein. Etwa der Kreditscore, der dem Bankangestellten einen Hinweis auf die Kreditwürdigkeit eines Verbrauches gibt. Es kann aber auch sein, dass der ADM-Prozess direkt über einen Verbraucher entscheidet. Wie im Fall der Studienplatzvergabe in Frankreich.

Es geht dabei also um nahezu alle gesellschaftlichen Bereiche.

ADM-Prozesse können natürlich auch sehr große Chancen bieten. Das ist keine Frage. Etwa wenn Künstliche Intelligenz personalisierte Dienstleistungen ermöglicht, die sich viele Verbraucher vorher gar nicht leisten konnten, weil der menschliche Berater schlicht zu teuer wäre.

Dennoch müssen wir feststellen, dass zur Zeit bei dem überwiegenden Teil der Gesellschaft die Unsicherheit überwiegt: In einer repräsentativen Online-Umfrage, die wir in Auftrag gegeben haben, sagen zwei Drittel, der Befragten, dass es eher ein Risiko ist, wenn Unternehmen oder staatliche Stellen Entscheidungen automatisiert durch Algorithmen treffen. Das müssen wir als vzbv also ernst nehmen.

Unsere Aufgabe – und damit meine ich alle politischen und gesellschaftlichen Akteure – muss sein, dafür zu sorgen, dass wir Bedingungen schaffen, in denen wir die Chancen von ADM-Prozessen nutzen und gleichzeitig deren Risiken minimieren.

Automatisierte Entscheidungen werfen grundlegende ethische Fragen auf. Dabei geht es nicht nur um die Dilemma-Entscheidungen beim autonomen Fahren, die Sie wahrscheinlich alle kennen, sondern generell um Fragen der Autonomie und Selbstbestimmung – oder Fremdbestimmung.

Aus Sicht des vzbv ist daher eine intensive Beschäftigung mit den Auswirkungen von ADM-Prozessen erforderlich. Denn letztliche müssen wir als Gesellschaft die Frage beantworten, wie wir den Umgang mit diesen Prozessen gestalten wollen.

Deshalb hat der vzbv ein Thesenpapier als Beitrag zur Debatte erstellt. Die Thesen sollen als Einladung zur Diskussion dienen. Und das ist auch meine Erwartung an die heutige Fachveranstaltung: Uns geht es heute weniger um einen Schlagabtausch fundamentaler Art sondern vielmehr um das Ausloten von sinnvollen Ansätzen wie mit ADM-Prozessen umzugehen ist.

Meine Frage an Sie Alle ist daher: Was müssen wir tun, damit sich die Chancen von ADM-Systeme entfalten können und wir dabei deren Risiken minimieren?

Der vzbv wird sich im kommenden Jahr weiter mit dem Thema befassen. Die Erkenntnisse, die wir heute aus der Diskussion mit Ihnen mitnehmen, werden in unsere weitere Arbeit einfließen.  

Wir müssen uns alle immer wieder vor Augen führen: Algorithmen und ADM-Prozesse fallen nicht vom Himmel. Ihre Entscheidungen sind nicht per se objektiv oder neutral. Sie werden von Menschen programmiert die über individuelle Wertevorstellungen und unterschiedliche Interessen verfügen.

Darum können über automatisierte Entscheidungen bestehende Vorurteile oder Ungleichbehandlungen massiv skaliert und auf Hunderttausende reproduziert werden.

Ich möchte Ihnen hierfür ein Beispiel geben: Ein Unternehmen möchte Stellenbewerber identifizieren bei denen die Wahrscheinlichkeit hoch ist, dass sie lange im Unternehmen verbleiben und erfolgreich Karriere machen. Hierzu wird bei der Stellenbesetzung per Algorithmus mit Personaldaten aus der Vergangenheit gearbeitet. Wenn im Unternehmen aber bisher eine Kultur herrscht, die Männer bei der Beförderung tendenziell bevorzugt, kann dies dazu führen, dass der Algorithmus Frauen systematisch aussortiert.

Deswegen muss ein Ziel sein, dass auch in einer Welt, in der Algorithmen Entscheidungen treffen, rechtliche Rahmenbedingungen eingehalten werden. z.B. das Diskriminierungsverbot. Außerdem muss unsere Entscheidungssouveränität und informationelle Selbstbestimmung gewährleistet sein.

Derzeit wissen wir allerdings wenig darüber, ob rechtliche Rahmenbedingungen von Algorithmen berücksichtigt werden. Denn ADM-Prozesse weisen ein hohes Maß an Intransparenz auf. Diese finden in der Regel in der Black-Box statt – mit dem Verweis auf das Geschäfts- und Betriebsgeheimnis. Die Prinzipien der Entscheidungsfindung und ihre Datengrundlage, sind daher für Außenstehende nicht nachvollziehbar.

Darum wird derzeit diskutiert, ob und wie ADM-Prozesse nachvollziehbar gestaltet werden können.

Es geht dabei um Nachvollziehbarkeit erstens gegenüber dem einzelnen betroffen Verbraucher und zweitens gegenüber einem unabhängigen aber staatlich legitimierten Kontrollsystem, das relevante ADM-Prozesse einsehen und überprüfen können muss.

Ich halte das für zwei zentrale Punkte auf die ich gleich näher eingehen werde.

Um es vorweg klar zu sagen: Wir müssen nicht jeden ADM-Prozess im Detail überprüfen und transparent machen. Das wäre schon aufgrund der Masse gar nicht machbar. Ist es für Verbraucher wichtig zu wissen, nach welchen Prinzipien der Getränkeautomat am Bahnsteig funktioniert? Eher weniger. Aber bei der automatisierten Berechnung meines Versicherungstarifes wird es interessant.

Wir müssen unsere Bemühung auf „relevante“ ADM-Prozesse fokussieren. Also solche, die signifikante Auswirkungen auf Individuen und Gesellschaft haben und die Lebensgestaltung sowie gesellschaftliche und wirtschaftliche Teilhabe deutlich mit beeinflussen. Wie man diese Relevanzschwelle definiert, muss natürlich gesellschaftlich und politisch ausgehandelt werden. Wichtige Aspekte könnten beispielsweise sein, dass persönlichkeitssensible Felder betroffen sind, die Anzahl der betroffenen Verbraucher sowie der potenzielle Verbraucherschaden.

Werden Rechte von Verbrauchern von algorithmenbasierten Verfahren verletzt, können sie sich nur dagegen wehren, wenn sie dies erkennen und beweisen können. Dafür müssen sie aber zunächst wissen, dass sie überhaupt von einer solchen Entscheidung betroffen sind.

Deshalb haben wir die These aufgestellt, dass bei relevanten ADM-Prozessen Verbraucher darüber informiert werden sollten, dass hier gerade ein ADM-Prozess zum Einsatz kommt.

Wenn ich weiß, dass ein Algorithmus über mich entscheidet, bringt mich das aber noch nicht weiter. Daher, sollten wir darüber diskutieren, wie Verbraucher über die für die Entscheidung relevanten Aspekte aufgeklärt werden können. Wichtig auch hier wieder: Es geht um die Entscheidungsstruktur, nicht den Algorithmus im Detail. Denn mit dem können selbst Expertinnen und Experten kaum etwas anfangen.

Relevant sind  also die Kriterien nach denen ein Algorithmus über mich entscheidet. Schlussendlich wollen Verbraucher Wissen aus welchem Grund eine Entscheidung über sie so ausgefallen ist.

 Diese These nach Transparenz welche Daten in Entscheidung einbezogen wurden, unterstützt im Übrigen auch die Mehrheit der Bundesbürger. In unserer Online-Umfrage gaben 80 Prozent der Verbraucher an, dass Firmen, die über sie automatisierte Entscheidungen durch Algorithmen treffen, ihre Daten und Kriterien offenlegen müssen.

In Anlehnung an das Arzneimittelrecht wurde von wissenschaftlicher Seite bereits eine Art „digitaler Beipackzettel“ ins Spiel gebracht. Dieser sollte das Zustandekommen einer Entscheidung durch ADM-Prozesse verständlich erläutern. Etwa nach dem Motto: „Sie haben den Kredit nicht erhalten, weil Ihr Jahreseinkommen unter 35.000€ liegt. Läge es bei 40.000€ hätten sie den Kredit zu folgenden Kondition erhalten.“ Ob das ausreicht müssen wir diskutieren. Aus meiner Sicht geht ein solcher Ansatz aber in die richtige Richtung.

Manche werden jetzt sagen: Diese Aspekte sind schon in der Datenschutzgrundverordnung enthalten: Transparenzpflichten, Einsichtsmöglichkeiten in die Daten, Recht auf Begründung einer Entscheidung und Anfechtungsmöglichkeiten.

Leider greift die Datenschutzgrundverordnung hier zu kurz: Die Kennzeichnungspflicht gilt nur für rein automatisierte Entscheidungen, auf die die Menschen keinen Einfluss nehmen können. Und sie gilt für personenbezogene Daten. So fällt zum Beispiel das Kredit-Scoring nicht darunter, weil da am Ende ein Bankangestellter der Empfehlung des Algorithmus folgen kann oder nicht. In der Regel tut er es natürlich.

Eine solche Transparenz gegenüber dem Verbraucher zu schaffen ist ein wichtiger erster Schritt. Das könnte aber in vielen Fällen aber nicht ausreichen, um Rechtsverstöße zu identifizieren und abzustellen. Das liegt auch an der Komplexität von ADM-Prozessen.

Darum sollte ein unabhängiges, staatlich legitimiertes Kontrollsystem relevante ADM-Prozesse einsehen und überprüfen können. Diese Offenlegung könnte gegenüber einem Expertengremium erfolgen, das einen Algorithmen-Audit durchführt und zum Stillschweigen verpflichtet ist. Eine solche staatlich legitimierte Überprüfung wird auch vom gros der deutschen Verbraucher befürwortet: Über 75 Prozent sind dafür, dass der Staat überprüfen kann ob automatisierte Entscheidungen rechtmäßig sind.

Sie könnten eine Prüfung durchführen hinsichtlich der Rechtskonformität (Stichwort Diskriminierungsverbot), der Sachgerechtigkeit der Anwendung oder der individuellen und gesellschaftlichen Auswirkungen eines Prozesses.

Ein solches Kontrollsystem muss vielschichtig sein. Ich denke dabei nicht nur an eine Behörde, sondern an ein Zusammenspiel verschiedener Elemente, wie ein „Algorithmen Beauftragter“ in Unternehmen oder einen Verein – ähnlich wie der TÜV, der einen Algorithmen-Audit vornimmt.

Ob eine Überprüfung vorab oder nachträglich angemessen ist, muss fallabhängig entschieden werden. Nicht für alle ADM-prozesse ist eine präventive Zulassungskontrolle geboten. Diese ist nur in einigen Fällen ratsam. Beispielsweise beim autonomen Fahren. In anderen Bereichen ist eine ex-Post Überprüfung wohl eher angemessen.

Bevor eine - wie auch immer zusammengesetzte – Kontrollinstanz eine Überprüfung vornehmen kann, stellt sich allerdings auch die Frage, wie man ihr den ADM-Prozess überhaupt zugänglich machen kann. Einfach einen Programm Code zu betrachten würde kaum Erkenntnis liefern, da komplexer Code ohne weitere Erläuterungen selbst für Experten abstrakt und unverständlich ist.

Daher könnte man über Standards für die technische Gestaltung von ADM-Prozessen nachdenken, die Experten die Nachvollziehbarkeit des Prozesses ermöglichen. In Anlehnung an „Privacy-by-Design“ wäre das quasi „Nachvollziehbarkeit-by-Design“.

Wir begrüßen deswegen die Vorschläge die noch in den Jamaika-Sondierungen erarbeitet wurden, dass eine Kommission, innerhalb eines Jahres Vorschläge erarbeiten soll, wie der Umgang mit ADM-Systeme gestalten soll.

Ich möchte noch darauf verweisen, dass wir für den heutigen Tag großartige und in ihren Wirkungsstätten anerkannte Vortragsrednerinnen und -redner gewinnen konnten. Ich freue mich dementsprechend auf die spannenden Vorträge und die Diskussion und hoffe wir alle gehen heute Abend mit neuen Perspektiven und neuem Wissen nach Hause.

Es gilt das gesprochene Wort.