Bundesregierung enttäuscht bei Regulierung von Algorithmen

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt erstens die Schaffung eines konkreten und strengeren Rechtsrahmens für Profilbildung und Scoring, insbesondere in persönlichkeitssensiblen Bereichen. Damit soll das Risiko der Manipulation und der Diskriminierung effektiv reduziert werden (DEK-Forderung Nr. 3).

Zweitens sollen Anbieter zu technischen und mathematischen-prozeduralen Qualitätsgarantien verpflichtet werden. Ziel ist, die Korrektheit und Rechtmäßigkeit algorithmisch ermittelter Ergebnisse durch Verfahrensvorgaben abzusichern (DEK-Forderung Nr. 51).

Warum ist das wichtig?

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung für automatisierte Entscheidungen  greifen hier jedoch zu kurz. Aktuell werden Verbraucher daher nicht ausreichend vor Profilbildungen und ungerechtfertigten automatisierten Entscheidungen geschützt.

Zudem fehlen Qualitätsanforderungen an automatisierte Entscheidungen, die sicherstellen, dass die Systeme mit validen Annahmen und Modellen arbeiten, die Ergebnisse auf relevanten, richtigen Daten basieren und nicht diskriminieren.

Wer muss die Empfehlung umsetzen?

Die Umsetzung liegt bei der EU. Die DSGVO regelt europaweit Profilbildungen und automatisierte Entscheidungen, weist aber Schutzlücken auf. Die Bundesregierung wiederum sollte sich über den Rat der Europäischen Union für eine europäische Regelung einsetzen.

Wie bewertet der vzbv die bisherige Umsetzung?

• Die EU-Kommission schlägt in ihrem Weißbuch zur KI  verpflichtende Anforderungen an die Datengrundlage für hochriskante Systeme vor. Ob etwa lernende Systeme anhand von Daten trainiert werden, die einen sicheren Betrieb garantieren, dass sie nicht durch verzerrte Daten diskriminieren und Anforderungen an Robustheit und Genauigkeit erfüllen. Dies ist zu begrüßen. Leider steht in der aktuellen Diskussion der EU-Kommission eine binäre, zu eng gefasste Definition von Hochrisiko-Anwendungen im Vordergrund. Mit dieser wären viele Systeme mit einem hohen Schadenspotenzial nicht erfasst.
• Gut ist, dass sich die Bundesregierung dafür eingesetzt hat, dass die EU-Kommission die DSGVO auf Schutzlücken beim Scoring und der Profilbildung prüfen soll. In der KI-Strategie der Bundesregierung fehlt aber ein deutliches Bekenntnis zur Verschärfung und Konkretisierung des Rechtsrahmens für Profilbildungen und Scoring.

Bewertung

** – 2 Sterne

Die Empfehlung wurde/wird kaum umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt die Entwicklung von Verfahren und Standards für die Anonymisierung. Außerdem plädiert die DEK für die Einführung eines strafbewehrten Verbots einer De-Anonymisierung bisher anonymer Daten sowie ein Verbot der Aufhebung der Pseudonymisierung jenseits eng definierter Rechtfertigungsgründe. Ebenso wird empfohlen, die vielversprechende Forschung im Bereich synthetischer Daten weiter zu fördern (DEK-Forderung Nr. 20).

Warum ist das wichtig?

Anonyme Daten schützen die Privatsphäre von Verbrauchern. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Auch ist die Anonymisierung in der DSGVO nicht absolut formuliert. Es gibt somit Anonymisierungsmaßnahmen und -techniken unterschiedlicher Qualität, die für verschiedene Zwecke unterschiedlich angemessen und geeignet sind. Daher sind Anforderungen an die Anonymisierung erforderlich. Beispielsweise muss geklärt werden, wann eine Anonymisierung hinreichend ist.

Zudem bedarf es weiterer Schutzkonzepte, die das Risiko der De-Anonymisierung verringern.

Synthetische Datensätze werden künstlich aus Original-Datensätzen über echte Personen generiert. Sie enthalten keine Daten über natürliche Personen, besitzen aber dieselben statistischen Eigenschaften wie die Originaldaten. Deshalb kann man mit ihnen datenschutzfreundlich algorithmische Systeme trainieren.

Wer muss die Empfehlung umsetzen?

• Verfahren und Standards der Anonymisierung könnten durch die Unternehmen in Kooperation mit den Datenschutzaufsichtsbehörden festgelegt werden. Die Bundesregierung und die EU-Kommission sollten die Erarbeitung von solchen Standards unterstützen und fördern.
• Das Europäische Parlament und der Rat der Europäischen Union könnten nach einem Vorschlag der Europäischen Kommission weitere Schutzkonzepte für anonyme Daten beschließen, wie beispielsweise ein Verbot der De-Anonymisierung. Dies würde einen EU-weiten Flickenteppich an Regelungen verhindern.  
• Die Bundesregierung ist in der Pflicht, sich über den Rat der Europäischen Union für eine entsprechende europäische Regelung einzusetzen.
• Die Förderung der Forschung im Bereich synthetischer Daten kann sowohl auf nationaler als auch europäischer Ebene erfolgen: im Rahmen einer nationalen und europäischen Datenstrategie sowie über Programme zur Forschungsförderung.

Wie bewertet der vzbv die bisherige Umsetzung?

• In der Datenstrategie der EU-Kommission  werden Fragen rund um die Anonymisierung von personenbezogenen Daten nicht thematisiert. Es ist bedauerlich, dass hier weder eine Förderung der Forschung an Anonymisierungstechnologien, noch konkrete Anforderungen an die Anonymisierung sowie an die Verwendung anonymisierter Daten durch gesetzliche Vorgaben und die Entwicklung von Standards vorgesehen sind.
• In den bisher bekannt gewordenen Vorschlägen einer nationalen Datenstrategie  sowie in der KI-Strategie  greift die Bundesregierung Fragen zur Anonymisierung und Pseudonymisierung von Daten auf. Sie möchte die Forschung und Standardisierung in diesen Bereichen sowie im Gebiet der Erstellung synthetischer Trainingsdaten fördern. Auch möchte sie prüfen, wie die ungerechtfertigte Diskriminierung von Menschen durch die Auswertung aggregierter/anonymer/synthetischer Daten verhindert werden kann. Dies ist zu begrüßen und im Sinne der DEK. Der vzbv bedauert jedoch, dass ein Verbot von De-Anonymisierung bisher nicht in der Datenstrategie thematisiert wird.

Bewertung

** – 2 Sterne

Die Empfehlung wurde/wird kaum umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt die Förderung von Forschung und Entwicklung im Bereich von innovativen Datenmanagement- und Datentreuhandsystemen, wie Privacy Management Tools (PMT) und Personal Information Management Services (PIMS). Diese Einführung von Datenmanagement- und Datentreuhandsystemen sollte auf europäischer Ebene erfolgen. Dies könnte dem Schutz von Verbrauchern vor vermeintlich neutralen Interessenverwaltern, die tatsächlich jedoch wirtschaftliche Eigeninteressen am Betreiben der Systeme haben, dienen (DEK-Forderung Nr. 21).

Warum ist das wichtig?

Datenmanagement- und Datentreuhandsysteme reichen von technischen Dashboards bis hin zu Systemen zur Datenverwaltung und Einwilligungsmanagement. Sind diese nutzerfreundlich und datenschutzkonform gestaltet, können sie Verbraucher bei der Kontrolle über die Verwendung ihrer Daten unterstützen – etwa bei der Einwilligung in AGBs und Datenschutzerklärungen.

Eine Regulierung muss sicherstellen, dass die Rechte des Einzelnen geschützt werden, insbesondere muss ausgeschlossen sein, dass die Betreiber wirtschaftliche Eigeninteressen an den Daten haben. Wenn die Datentreuhänder im Interesse der Nutzer handeln, können sie eine Schnittstelle zwischen der Datenwirtschaft und den Nutzern bilden.

Wer muss die Empfehlung umsetzen?

• Eine Regulierung von Datenmanagement- und Datentreuhandsystemen sollte durch den europäischen Gesetzgeber erfolgen. Diese Systeme sind de facto mehrseitige Plattformen und unterliegen direkten und indirekten Netzwerkeffekten, sodass sie vermutlich Daten von Nutzern aus unterschiedlichen Mitgliedsstaaten der EU bündeln werden.
• Die Förderung zur Erforschung und Entwicklung von Datenmanagement- und Datentreuhandsystemen kann sowohl auf nationaler als auch europäischer Ebene erfolgen.

Wie bewertet der vzbv die bisherige Umsetzung?

• Die EU-Kommission prüft im Rahmen ihrer Datenstrategie, ob „Vorschriften für Anbieter von Anwendungen für personenbezogene Daten oder für neuartige Datenmittler, wie Anbieter persönlicher Datenräume“, erforderlich sind, wobei deren Rolle als neutraler Vermittler gewährleistet werden muss. Dies begrüßt der vzbv.
• Laut ersten Berichten zur nationalen Datenstrategie möchte die Bundesregierung Datentreuhänder etablieren. Sie möchte sich auf EU-Ebene für gesetzliche Regelungen einsetzen, die konkrete Qualitätskriterien definieren und die Unabhängigkeit von Datentreuhändern und deren Qualifikation gewährleisten sowie eine Akkreditierung/Zertifizierung von Treuhändern etablieren. Auch auf nationaler Ebene möchte die Bundesregierung im Rahmen des Telekommunikations-Telemedien-Datenschutz-Gesetzes (TTDSG) eine Regelung bezüglich der Anerkennung von Diensten zur Verwaltung persönlicher Informationen treffen („Personal Information Management System“ – PIMS).   Auch dies unterstützt der vzbv grundsätzlich. Jedoch ist nach Ansicht des vzbv das TTDSG nicht geeignet für eine solche Regelung, da dieses mit dem Fokus auf elektronische Kommunikationsdienste sowie Telemedien einen zu engen Anwendungsbereich umfasst. Daher sollte eine entsprechende Regelung im Bundesdatenschutzgesetz als horizontale Vorschrift erfolgen.

Bewertung

*** – 3 Sterne

Die Empfehlung wurde/wird teilweise umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Datenportabilität ist das Recht einer Person, personenbezogene Daten bei einem Anbieterwechsel mitzunehmen. Durch diese bessere Kontrolle der eigenen Daten wird das Recht auf informationelle Selbstbestimmung gestärkt. Die DEK empfiehlt, die Datenportabilität zu erleichtern und zu fördern. Nötig sind laut DEK dafür die Erarbeitung branchenbezogener Verhaltensregeln für Unternehmen und Standards für Datenformate. Sie fordert eine Evaluierung, wie sich das bestehende Portabilitätsrecht auf den Markt auswirkt und wie eine weitere Stärkung der marktmächtigen Player verhindert werden kann (DEK-Forderung Nr. 22).

Warum ist das wichtig?

Datenportabilität erleichtert Verbrauchern die Übertragung ihrer Daten von einem Anbieter zu einem anderen. Dies kann den Anbieterwechsel fördern und damit zu mehr Wettbewerb führen.

Wer muss die Empfehlung umsetzen?

Laut DSGVO sind Unternehmen aufgerufen, branchenbezogene Verhaltensregeln für interoperable Standards für Datenformate zu entwickeln, unter Einbeziehung der Datenschutzaufsichtsbehörden. Die Bundesregierung und die EU-Kommission sollten dies unterstützen und fördern.

Wie bewertet der vzbv die bisherige Umsetzung?

• Die EU-Kommission prüft im Rahmen ihrer Datenstrategie, ob es eines erweiterten Rechts des Einzelnen auf Datenübertragbarkeit gemäß Artikel 20 DSGVO bedarf. Dies ist zu begrüßen.
• Laut Eckpunktepapier zur Datenstrategie  plant die Bundesregierung, die Forschung zur Entwicklung einer praxistauglichen Datenportabilität zu fördern. In den bisher bekannt gewordenen Entwürfen zur Datenstrategie ist dieses Vorhaben jedoch nicht enthalten. Dies ist zu bedauern.

Bewertung

*** - 3 Sterne

Die Empfehlung wurde/wird teilweise umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Die DEK fordert mehr Kontrolle und eine nach Risiko gestaffelte Regulierung für algorithmische Systeme. Ein steigendes Schädigungspotenzial soll mit wachsenden Anforderungen und Eingriffstiefen der regulatorischen Instrumente einhergehen. Konkret empfiehlt die DEK fünf Regulierungsklassen. Algorithmische Systeme mit „unvertretbarem Schädigungspotenzial“ sollen sogar verboten werden können (etwa bestimmte autonome Waffensysteme). Bei der Risikobewertung sollen alle Komponenten, Entwicklungsschritte und ihre Implementierung im sozialen Kontext berücksichtigt werden (DEK-Forderung Nr. 36).

Warum ist das wichtig?

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können – absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen. Die Risiken umfassen beispielsweise Diskriminierungen, Verletzung von Persönlichkeitsrechten, gesundheitliche und wirtschaftliche Schäden, Ausschluss von Teilhabe und Autonomie jedes Einzelnen. Je höher das Schadenspotenzial einer Anwendung, umso wichtiger ist es, sicherzustellen, dass sie rechtskonform, gerecht und sicher funktioniert.

Wer muss die Empfehlung umsetzen?

Der abgestufte risikoadaptierte Regulierungsansatz für algorithmische Systeme muss durch den europäischen Gesetzgeber etabliert werden. Dies ist ordnungspolitisch sinnvoll, um eine Zersplitterung der Regulierungslandschaft in Europa zu vermeiden. Eine europaweit einheitliche Regelung schafft Rechtssicherheit für Unternehmen und Verbraucher. Zudem sollte über das Marktortprinzip der europäische Regelungsrahmen quasi zum internationalen Standard – ähnlich wie die DSGVO (der „Brussels Effect“) – werden. Gleichwohl muss sich die Bundesregierung über den Rat der Europäischen Union für einen europäischen risikoadaptierten Regulierungsansatz einsetzen.

Wie bewertet der vzbv die bisherige Umsetzung?

Der von der EU-Kommission im Weißbuch zur KI  und in der Folgeabschätzung zu ihrer Initiative für ethische und rechtliche Anforderungen für Künstliche Intelligenz  diskutierte risikoadaptierte Regulierungsansatz für KI bleibt in verschiedenen Aspekten hinter dem zurück, was die DEK empfiehlt.

Im Vordergrund des Vorschlags der EU-Kommission steht ein binärer Ansatz und kein abgestuftes Regulierungssystem mit mehreren Risikoklassen.

Die Definition des Risikos und potenziellen Schadens ist zu eng gefasst. Im Weißbuch zur KI und in der Folgeabschätzung thematisiert die EU-Kommission neben Schäden/Risiken für Einzelne auch Folgen für soziale Gruppen. Leider werden Auswirkungen auf die Gesellschaft sowie ökonomische Schäden allgemein (außerhalb von Schäden am Eigentum) nicht berücksichtigt, obwohl KI-Systeme darüber entscheiden können, ob und zu welchen Konditionen Nutzer Angebote erhalten oder an Märkten teilhaben können. Erfreulicherweise plädiert die Bundesregierung in ihrer Stellungnahe zum KI-Weißbuch für einen feiner ausdifferenzierten risikobasierten Ansatz. Der Empfehlung der DEK mit Blick auf fünf Risikostufen wird jedoch nicht gefolgt.

Leider begrenzt der Ansatz der EU-Kommission zur Definition von Hochrisiko-Anwendungen den Anwendungsbereich der KI-Regeln auf bestimmte Sektoren oder Anwendungskontexte Aber auch außerhalb dieser gibt es Anwendungen, die aufgrund ihrer Risiken strengerer Regeln bedürfen.

Bewertung

** – 2 Sterne

Die Empfehlung wurde/wird kaum umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt eine Kennzeichnungspflicht für algorithmische Systeme mit einem gewissen Risikopotenzial. Verbrauchern soll deutlich gemacht werden, ob und in welchem Umfang algorithmische Systeme zum Einsatz kommen. Unabhängig von den Risiken der Anwendung sollte immer eine Kennzeichnungspflicht gelten, wenn bei der Interaktion mit algorithmischen Systemen eine Verwechselungsgefahr zwischen Menschen und Maschine besteht. Ausnahmen wären Fälle, in denen man eine maschinelle Stimme erwartet, etwa bei Bahnhofsdurchsagen (DEK-Forderung Nr. 45).

Warum ist das wichtig?

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt. Manche Systeme sollen in Echtzeit Emotionen von Menschen erkennen und auswerten. Menschen sollten darauf aufmerksam gemacht werden müssen, dass sie mit einem algorithmischen System interagieren. Dann können sich Verbraucher beispielsweise für oder gegen einen Dienst entscheiden und/oder vor der Inanspruchnahme zusätzliche Informationen einholen und sich gegen Irreführungen wehren. Ebenso müssen Betroffene, wenn wichtige Entscheidungen über sie automatisiert vorbereitet oder getroffen werden, wissen, dass das passiert und in welchem Umfang. Nur dann können sie ihre entsprechenden Rechte ausüben und beispielsweise die Datengrundlage überprüfen und sich gegen Diskriminierung wehren.

Wer muss die Empfehlung umsetzen?

• Die Umsetzung einer Kennzeichnungspflicht muss durch den europäischen Gesetzgeber erfolgen. Mit der DSGVO liegt ein europäischer Rechtsrahmen vor, in dem bereits Informationspflichten im Bereich Datenschutz geregelt werden. Eine horizontal geregelte Kennzeichnungspflicht muss deshalb komplementär dazu auf europäischer Ebene angesiedelt werden.
• Gleichwohl muss sich die Bundesregierung über den Rat der Europäischen Union für eine entsprechende europäische Regelung einsetzen.

Wie bewertet der vzbv die bisherige Umsetzung?

Das KI-Weißbuch schlägt vor, eine Kennzeichnungspflicht für hochriskante Anwendungsfälle einzuführen. So soll sichergestellt werden, dass Verbrauchern bewusst ist, wenn sie mit einer Hochrisiko-Anwendung interagieren. Der bei der Kommission im Vordergrund stehende binäre Ansatz zur Definition von Hochrisiko-Anwendungen begrenzt den Anwendungsbereich einer Kennzeichnungspflicht auf hochriskante Anwendungen innerhalb vorab definierter Hochrisiko-Sektoren oder einzelner Anwendungsbereiche. Aber auch außerhalb dieser gibt es riskante KI-Anwendungen, die strengerer KI-Regeln bedürfen. Insofern ist der bislang im Weißbuch vorgeschlagene Ansatz zu eng gefasst und sollte erweitert werden. In ihrer Stellungnahe zum KI-Weißbuch  merkt die Bundesregierung lediglich an, dass Kennzeichnungspflichten für KI „erforderlich sein können“. Dies ist aus Verbrauchersicht zu unverbindlich.

Bewertung

** – 2 Sterne

Die Empfehlung wurde/wird kaum umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt, Betreiber von algorithmischen Systemen in bestimmten Bereichen zu verpflichten, betroffenen Personen eine individuelle Erklärung der konkreten Gründe der Entscheidung über sie zu geben. Dies soll zusätzlich zur allgemeinen Erläuterung der Logik (Vorgehensweise) und Tragweite des Systems erfolgen (DEK-Forderung Nr. 47).

Warum ist das wichtig?

Auskunftsrechte sind für Verbraucher zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können. Nur so können sie ihre – beispielsweise in der DSGVO festgelegten – Rechte wahrnehmen und eine Entscheidung fundiert anfechten. Etwa um sich gegen Diskriminierungen oder Fehlentscheidungen zu wehren. Wesentlich ist dabei, dass Verbraucher verständlich, relevant und konkret informiert werden und ihnen das Ergebnis für den Einzelfall erläutert wird (anders als bei der allgemeinen Informationspflicht nach DSGVO, bei der die Funktionsweise eines algorithmischen Systems allgemein dargelegt wird).

Wer muss die Empfehlung umsetzen?

• Die Umsetzung einer Pflicht für Betreiber zur individuellen Erklärung muss durch den europäischen Gesetzgeber erfolgen. Mit der DSGVO liegt ein europäischer Rechtsrahmen vor, in dem bereits Informationspflichten und Auskunftsrechte im Bereich Datenschutz geregelt werden. Eine horizontal geregelte Pflicht für Betreiber zur individuellen Erklärung sollte komplementär dazu auf europäischer Ebene angesiedelt werden.
• Gleichwohl muss sich die Bundesregierung über den Rat der europäischen Union für eine entsprechende Regelung einsetzen.

Wie bewertet der vzbv die bisherige Umsetzung?

• Das KI-Weißbuch schlägt verpflichtende Anforderungen für hochriskante algorithmische Systeme vor (unter anderem zu Transparenz gegenüber Aufsichtsbehörden, Dokumentationspflichten und eine Kennzeichnungspflicht). Bedauerlicherweise ist eine Pflicht für Betreiber der Systeme, Betroffenen eine individuelle Erklärung für die konkreten Gründe einer Entscheidung zu mitzuteilen, jedoch nicht vorgesehen.
• In der KI- und Datenstrategie der Bundesregierung findet sich kein klares Bekenntnis zu einer Verpflichtung der Betreiber algorithmischer Systeme, Betroffenen die getroffene Entscheidung individuell zu erklären. Laut KI-Strategie will die Bundesregierung lediglich prüfen, inwieweit Transparenz, Nachvollziehbarkeit und Überprüfbarkeit von KI-Systemen hergestellt werden können. Dies ist aus Verbrauchersicht zu wenig und zu unverbindlich.

Bewertung

* – 1 Stern

Die Empfehlung wurde/wird nicht umgesetzt.

Was empfiehlt die Datenethikkommission?

Die DEK will Betreiber von algorithmischen Systemen (ab einem gewissen Schädigungspotenzial) zur Veröffentlichung einer Risikofolgenabschätzung verpflichten. Diese sollte auch bei der Verarbeitung nicht-personenbezogener Daten greifen und Risiken außerhalb des Datenschutzes berücksichtigen: Risiken für die Selbstbestimmung, Privatheit, körperliche Unversehrtheit, persönliche Integrität sowie das Vermögen, Eigentum und Diskriminierung. Zudem soll die Risikofolgenabschätzung neben den zugrundeliegenden Daten und der Logik des Modells auch Qualitätsmaße und Fairnessmaße zu den zugrundeliegenden Datenmodellen berücksichtigen: etwa zu Bias (Verzerrungen) oder (statistischen) Fehlerquoten, die ein System bei der Vorhersage oder Kategorienbildung aufweist (DEK-Forderung Nr. 49).

Warum ist das wichtig?

Die in der DSGVO vorgesehene Folgenabschätzung (Art. 35 Abs. 1 DSGVO) umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Vertrauen in algorithmische Systeme kann nur auf Grundlage einer informierten öffentlichen Debatte und Bewertung um die Chancen und Risiken dieser Systeme entstehen.

Um diese Debatte führen zu können, müssen die grundlegenden Eigenschaften und potenziellen Risiken algorithmischer Systeme öffentlich zugänglich sein. Dafür muss etwa bekannt sein, auf welcher allgemeinen Datengrundlage ein Machine-Learning-basiertes algorithmisches System trainiert wurde, welche Datenkategorien einbezogen werden oder mit welchen Kriterien das System optimiert.

Wer muss die Empfehlung umsetzen?

• Die Einführung einer Pflicht für Betreiber von algorithmischen Systemen zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung muss durch den europäischen Gesetzgeber erfolgen: Eine Regelung der Risikofolgenabschätzung sollte in diesem Rahmen erfolgen, um eine europaweit einheitliche Regelung zu erhalten, die Rechtssicherheit für Unternehmen sowie hohe Schutzstandards für alle Verbraucher in Europa sicherstellt.
• Gleichwohl muss sich die Bundesregierung über den Rat der Europäischen Union für eine entsprechende Regelung einsetzen.

Wie bewertet der vzbv die bisherige Umsetzung?

• Das KI-Weißbuch schlägt lediglich vor, Entwickler von hochriskanten Systemen zu verpflichten, den Betreibern der Systeme oder Behörden Informationen bezüglich der Fähigkeiten und Grenzen des Systems vorzulegen. Etwa der Zweck des Systems, die Bedingungen, unter denen es bestimmungsgemäß funktionieren sollte, und Genauigkeitsmaße. Es handelt es sich dabei um keine umfassende Risikoanalyse, die auch Systemrisiken im sozioökonomischen Kontext betrachtet. Vor allem ist keine Pflicht zur Veröffentlichung der Folgenabschätzung vorgesehen, so wie von der DEK gefordert. Dies ist aus Verbrauchersicht nicht ausreichend und sollte dringend nachgebessert werden.
• Der vzbv bedauert, dass die Bundesregierung in ihrer Stellungnahme zum KI-Weißbuch nicht darauf hinarbeitet, eine Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung auf europäischer Ebene voranzutreiben.

Bewertung

* – 1 Stern

Die Empfehlung wurde/wird nicht umgesetzt.

Was empfiehlt die Datenethikkommission?

Die DEK fordert eine Pflicht zur Dokumentation und Protokollierung der Programmabläufe der Software bei sensiblen Anwendungen, die nachhaltige Schäden verursachen können. Die dabei verwendeten Datensätze und Modelle sollen so dokumentiert und protokolliert werden, dass Aufsichtsbehörden diese im Rahmen einer Kontrolle nachvollziehen können. Zudem sollen Anforderungen an die Dokumentation und Protokollierung konkretisiert werden, um Rechtssicherheit für die verantwortlichen Betreiber/Entwickler zu schaffen (DEK-Forderung Nr. 50).

Warum ist das wichtig?

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden. Die Dokumentationspflicht muss dabei den gesamten Prozess der Entscheidungsfindung beziehungsweise Entscheidungsvorbereitung eines algorithmischen Systems umfassen (etwa das Trainingsmodell und Trainingsdaten, Entscheidungen über die Kriterien, nach denen ein Modell optimiert wurde). Nur dann kann eine externe Aufsicht effektiv kontrollieren, ob ein System rechtskonform ist, beispielsweise hinsichtlich des Diskriminierungsverbots.

Wer muss die Empfehlung umsetzen?

• Eine Regelung zur Dokumentation und Protokollierung sowie ein Anforderungskatalog an eine rechtssichere Dokumentation und Protokollierung müssen in einen europäischen Rechtsrahmen Eingang finden.
• Gleichwohl muss sich die Bundesregierung über den Rat der Europäischen Union für eine entsprechende Regelung einsetzen. Anforderungen an die Dokumentation und Protokollierung werden auch über nationale Normungsgremien (in Deutschland zum Beispiel das DIN) etabliert. In dieser Hinsicht sollte auch die Bundesregierung aktiv werden.

Wie bewertet der vzbv die bisherige Umsetzung?

• Das KI-Weißbuch schlägt Pflichten zur Aufbewahrung von Daten und Aufzeichnungen vor. Im Falle einer Kontrolle sollen Entscheidungen von KI-Systemen damit zurückverfolgt und überprüft werden können. Die Pflicht zur Aufbewahrung und Dokumentation umfasst unter anderem: Informationen zu Trainingsdaten, Trainingsmethoden, Methoden für Programmierung, Training, Erprobung und Validierung der Systeme. Der vzbv bedauert, dass die Datensätze an sich nur in bestimmten Fällen vorgehalten werden sollen. Problematisch ist, dass aufgrund des vorgesehenen zu engen Anwendungsbereichs viele relevante Systeme nicht erfasst wären. In ihrer Stellungnahme zum KI-Weißbuch unterstützt die Bundesregierung die Vorschläge der EU-Kommission zur Dokumentation, Aufzeichnung und Aufbewahrung von Daten.
• Es ist zu begrüßen, dass die Bundesregierung gemeinsam mit dem DIN Projekte zur Entwicklung von Normungs-Roadmaps im Bereich KI initiiert hat. Diese beschäftigen sich auch mit dem Thema der Dokumentation und Protokollierung von Methoden, Programmabläufen und Datengrundlagen algorithmischer Systeme.

Bewertung

*** - 3 Sterne

Die Empfehlung wurde/wird teilweise umgesetzt.

Status

Begonnen

Was empfiehlt die Datenethikkommission?

Die Datenethikkommission fordert die Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme. Dieses soll die bestehenden Aufsichtsbehörden unterstützen, vor allem durch methodisch-technischen Sachverstand. Insbesondere bei der Kontrolle, inwieweit algorithmische Systeme Recht und Gesetz einhalten (DEK-Forderung Nr. 56).

Warum ist das wichtig?

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden. Eine technisch versierte „Unterstützungseinheit“ ist nötig. Die Durchsetzung gesetzlicher Rahmenbedingungen würde damit weiter bei den bisher zuständigen Behörden liegen.

Wer muss die Empfehlung umsetzen?

Die Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme zur Unterstützung der nationalen Aufsichtsinstitutionen muss durch die Bundesregierung erfolgen.

Wie bewertet der vzbv die bisherige Umsetzung?

• Das KI-Weißbuch diskutiert eine europäische Governance-Struktur für KI. Diese soll aber vor allem die Koordination und Zusammenarbeit der nationalen und europäischen Aufsichtsbehörden unterstützen. Eine Unterstützung der Aufsichtsbehörden bei ihrer Aufsichtstätigkeit im Sinne der DEK ist leider nicht vorgesehen.
• Zwar kündigt die Bundesregierung in ihrer KI-Strategie an, die „Einrichtung beziehungsweise den Ausbau von staatlichen Stellen und privaten Prüfinstitutionen zur Kontrolle algorithmischer Entscheidungen“ zu prüfen. Bisher ist aber keine Initiative der Bundesregierung zur Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme im Sinne der DEK bekannt. Im Rahmen der KI-Strategie wurde zwar das „Observatorium Künstliche Intelligenz in Arbeit und Gesellschaft“ geschaffen. Eine direkte Unterstützung bestehender Aufsichtsbehörden lässt sich jedoch aus dessen Aufgabenbeschreibung nicht erkennen.

Bewertung

* – 1 Stern

Die Empfehlung wurde/wird nicht umgesetzt.

Status

Begonnen