"KI macht vieles leichter – leider auch Diskriminierung." So schätzt Ferda Ataman, die Unabhängige Bundesbeauftragte für Antidiskriminierung, das Potenzial von künstlicher Intelligenz (KI) ein. Deshalb hat sie in Berlin ein von ihr beauftragtes Gutachten vorgestellt. Das Ziel: Menschen sollen künftig besser vor möglichen Benachteiligungen durch selbstlernende Algorithmische Entscheidungssysteme (ADM) geschützt werden.

Die Abkürzung ADM stammt aus dem Englischen und steht für "algorithmic decision making systems". Dabei handelt es sich um Maschinen oder Software, die, basierend auf Daten, eine Zahl berechnen, auf Grund derer eine Entscheidung getroffen werden kann. Ferda Ataman nennt typische Beispiele für den Einsatz dieser Art von KI: Bewerbungsverfahren, Kredite bei Banken, Versicherungen oder die Vergabe staatlicher Leistungen wie Sozialhilfe.

KI kann Vorurteile und Stereotype reproduzieren

"Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen", beschreibt die Antidiskriminierungsbeauftragte die Arbeitsweise von Maschinen. Aber: "Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen", betont Ferda Ataman.

Wozu der fehlerhafte Einsatz vermeintlich unbestechlicher Technik führen kann, erlebten 2019 mehr als 20.000 Menschen in den Niederlanden: Sie wurden zu Unrecht unter Androhung hoher Strafen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, betroffen waren vor allem Menschen mit doppelter Staatsbürgerschaft.

Daten und Funktionsweise sind eine "Black Box"

Um solche diskriminierenden Fälle zu verhindern, verlangt Ferda Ataman von Unternehmen mehr Transparenz. Wer KI anwendet, soll künftig Einblick in die genutzten Daten und die Funktionsweise des Systems ermöglichen. Im Gutachten, das die Rechtswissenschaftlerin Indra Spiecker und ihr Kollege Emanuel V. Towfigh verfasst haben, wird der Charakter KI-basierter Systeme als "Black Box" bezeichnet. Für Betroffene sei es praktisch unmöglich, den Ursachen einer Benachteiligung auf die Spur zu kommen.

"Ein spezifisches Phänomen des Einsatzes von ADM-Systemen ist, dass ihr Diskriminierungspotenzial bereits im System selbst angelegt sein kann", heißt es in dem Gutachten. Ursache könne ein qualitativ minderwertiger, fehlerhafter, für den beabsichtigten Zweck ungeeigneter oder ein verzerrter Datensatz sein.

Potenzielles Diskriminierungsmerkmal: die Postleitzahl

Was damit gemeint ist, wird im Gutachten mit typischen Beispielen illustriert: "Das für sich genommen nicht diskriminierende Merkmal der Postleitzahl etwa wird zum Stellvertreter für das verbotene Diskriminierungsmerkmal der Herkunft, weil etwa in einem bestimmten Stadtviertel aus historischen Gründen viele Migrant*innen leben." 

Das kann für dort lebende Menschen negative Folgen haben, weil sie zum Beispiel bei der Kreditvergabe pauschal als finanzielle Risiken betrachtet werden, die womöglich ihre Schulden nicht zurückzahlen können. Die Folge: Sie bekommen oft erst gar keinen Kredit: "Diskriminierung durch Statistik" nennen Fachleute diese Praxis einer mit statistischen Mitteln gewonnenen Zuschreibung von Merkmalen, die auf tatsächlichen oder angenommenen Durchschnittswerten einer Gruppe beruhen.

Ataman fordert eine Schlichtungsstelle

Für solche und andere Fälle will die Unabhängige Bundesbeauftragte für Antidiskriminierung in ihrer Behörde eine Schlichtungsstelle einrichten. Außerdem verlangt Ferda Ataman, das Allgemeine Gleichbehandlungsgesetz (AGG) durch ein verpflichtendes Schlichtungsverfahren zu ergänzen.

Um den aus ihrer Sicht dringenden Handlungsbedarf zu verdeutlichen, erwähnt sie noch weitere abschreckende Beispiele aus anderen Ländern: In den USA benachteiligten demnach fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe. Und in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssysteme hunderttausende Betroffene die ihnen zustehende Sozialhilfe zurückzahlen.

"Digitalisierung darf nicht zum Albtraum werden"

Ferda Atamans Fazit, das sie aus dem Gutachten zieht: "Digitalisierung gehört die Zukunft. Sie darf aber nicht zum Albtraum werden. Menschen müssen darauf vertrauen können, dass sie durch KI nicht diskriminiert werden." Und dass sie sich wehren könnten, wenn es doch passiere. Deshalb brauche man klare und nachvollziehbare Regeln, betont die Unabhängige Bundesbeauftragte für Antidiskriminierung.