Nach dem Tod von George Floyd, der zum Opfer eines wiederholten Falles von Polizeigewalt in den USA wurde, verschärft sich die Debatte rund um Rassismus auch hierzulande. Dies bezieht sich nicht nur auf menschliches Verhalten, sondern zunehmend auch auf strukturelle und institutionelle Diskriminierung. Die digitalpolitische Komponente von Diskriminierung hat allerdings in der breiten Öffentlichkeit bisher relativ wenig Aufmerksamkeit erhalten. Dabei können Algorithmen, bei denen meist per se angenommen wird, sie seien besonders objektiv und neutral, Diskriminierung reproduzieren und verschärfen. Die Beispiele dafür sind zahlreich und die Folgen können gravierend sein.

Ein prominentes Beispiel ist eine von vielen US- Richterinnen und Richter benutzte Software, welche die Wahrscheinlichkeit, dass ein vorzeitig erlassener Häftling wieder straffällig wird, ermittelt. Eine Untersuchung des Journalistenverbundes ProPublica wies eine Diskriminierung aufgrund der Hautfarbe nach. Der Algorithmus bewertete das Risiko bei dunkelhäutigen Straftätern systematisch höher, während weiße Häftlinge in der Regel häufiger fälschlich mit einem geringen Risiko eingestuft wurden. Neben der Diskriminierung durch diese Software ist zudem problematisch, dass weder den Betroffenen noch den Richterinnen und Richter die genauen Regeln zur Ermittlung der Wahrscheinlichkeit bekannt waren.

Die Ungleichbehandlung nach ethnischer Herkunft bei Spracherkennungssystemen ist ein weiteres Beispiel von Diskriminierung durch Künstliche Intelligenz (KI). Untersuchungen haben ergeben, dass Assistenzsysteme (z. B. Siri, Alexa, Amazon Echo), Chatbots oder automatisierte Telefonsysteme eine höhere Genauigkeit in der Spracherkennung von Weißen im Vergleich zu afroamerikanischen Sprecherinnen und Sprechern haben. Akzente und Dialekte von Minderheiten werden durch diese Anwendungen schlechter erkannt.

Auch Online-Suchmaschinen können Diskriminierung reproduzieren und verschärfen. Dies wird durch Untersuchungen der Suchergebnisse in Hinblick auf dargestellte Bilder und automatische Vervollständigungen verdeutlicht. Besonders bei Eingaben mit konkretem Bezug zu schwarzen Frauen wurden viele Ergebnisse aus pornografischen und anderen stereotypischen Bereichen gefunden. Weitere Beispiele, wie die Google Foto-App, bei welcher der Algorithmus Bilder von schwarzen Menschen mit „Gorilla“ betitelte, verdeutlichen die Dimension der Diskriminierung.

--

Algorithmen suchen nach statistischen Zusammenhängen in Datensätzen und leiten daraus selbständig Regeln ab. Diskriminierung wird in der Regel durch Verzerrungen (Bias) in Datensätzen verursacht. Dies entsteht, wenn es eine bewusste oder unbewusste Über- oder Unterrepräsentation von Bevölkerungsgruppen in den verwendeten Trainingsdaten gibt. Daten sind ein Abbild von gesellschaftlichen Situationen in denen möglicherweise Diskriminierung vorliegt. Darüber hinaus werden Daten häufig über Aktivitäten erhoben, die von einer bestimmten Bevölkerungsgruppe überproportional häufig getätigt werden. Schließlich kann es auch aufgrund von Effizienz und Kostenersparnis sowie fehlender Sensibilität von Entwicklern zur Nutzung von verzerrten Trainingsdatensätze kommen.

Wenn dunkelhäutige Menschen in den USA häufiger verhaftet und verurteilt werden, sind sie aufgrund dessen überproportional in den Trainingsdaten der Algorithmen vertreten. Allerdings heißt das nicht, dass sie per se eine größere Gefahr für die Gesellschaft darstellen wie von der Software vorhergesagt

wird. Vielmehr spiegeln die Daten die Diskriminierung des US-Justizsystems, welches durch die Prognose der Software reproduziert und verschärft wird, wider.

Die Ungleichbehandlung bei Spracherkennungssystemen basiert darauf, dass die Algorithmen mit unzureichenden Datensätzen antrainiert wurden, in denen bestimmte Bevölkerungsgruppen kaum vertreten waren. Dementsprechend konnten die Dialekte oder Akzente von dunkelhäutigen Menschen nicht ausreichend erlernt werden und werden somit in der Anwendung vom Algorithmus schlechter erkannt und verstanden. Ähnlich verhielt es sich mit der automatischen Verschlagwortung von Bildern durch die Google Foto-App.

--

Um KI diskriminierungsfrei zu gestalten bedarf es folgende Maßnahmen: Regularien sowie Prüf- und Kontrollmechanismen. Antidiskriminierungsgesetze müssen mit dem technologischen Fortschritt Schritt halten. Wir benötigen nicht nur Regeln für die analoge Welt, sondern auch Regularien um Diskriminierung in der digitalen Welt zu vermeiden. Die Empfehlungen der Datenethikkommission und der Europäischen Kommission sind vielversprechend. Zudem vernetzen sich zunehmend Digitalunternehmen in Verbänden und entwickeln Leitlinien für die Entwicklung und den Einsatz von KI. Diese Regularien gilt es nun konsequent umzusetzen.

Des Weiteren bedarf es einer besseren Prüfung und Bewertung von KI-Modellen hinsichtlich Robustheit, Schutz der Privatsphäre und Freiheit von diskriminierenden Verzerrungen. So könnte man beispielweise mit der Beratung von Entwicklerinnen und Entwicklern durch Antidiskriminierungsstellen gewährleisten, dass ethische Standards im Produktentwicklungsprozess explizit berücksichtigt werden. Sinnvoll wäre es, Programme vor ihrem Einsatz testen und soweit modifizieren, dass sie "diskriminierungsfrei by design" sind. Ein weiterer prominenter Vorschlag ist die Errichtung eines „Algorithmus-TÜV“ als unabhängige Aufsicht, welche die Einhaltung der gesetzlichen Vorgaben an Algorithmen überprüft.