Algorithmen fallen nicht vom Himmel, sie sind Machtinstrumente

Foto: x6e38

Algorithmen berechnen nicht nur die Preisgestaltung von Flügen, sie können auch über den Verlust des Arbeitsplatzes, über die Haftdauer von straffällig gewordenen Personen, über Kreditwürdigkeit – und manchmal über Leben und Tod entscheiden. Julia Brandstätter über die Macht der Algorithmen im digitalen Kapitalismus.

Algorithmen sind ein fester Bestandteil des alltäglichen Lebens. Wir benützen Algorithmen, wenn wir uns einen Weg von Google Maps anzeigen lassen, sie entscheiden darüber, welche Werbeeinschaltungen wir auf unserem Smartphone sehen und welche Ergebnisse unsere Google-Suche anzeigt.

Ein Algorithmus ist nichts anderes als ein Berechnungsverfahren. Dadurch erwecken Algorithmen den Eindruck, rationales und objektives Urteilsvermögen zu besitzen: Sie können innerhalb kurzer Zeit eine riesige Datenmenge systematisch durchforsten und analysieren, um vermeintlich unfehlbare Lösungen für Probleme anzubieten.

Das macht den Einsatz von Algorithmen besonders dort heikel, wo Computerprogramme menschliche Entscheidungen ersetzen. Doch das passiert immer häufiger. Mächtige Akteur*innen übertragen Entscheidungsfindungen auch in sensiblen politischen und gesellschaftlichen Feldern solchen Algorithmen – mit drastischen Konsequenzen, wie die folgenden Beispiele zeigen.

Algorithmen entscheiden

Hinter der vermeintlich neutralen und objektiven Entscheidungsfindung von Computerprogrammen verbirgt sich oft politisches Kalkül und unternehmerische Verantwortungslosigkeit. In den USA werden Algorithmen eingesetzt um „schlechte“ Lehrer*innen zu entlassen, die Rückfälligkeit von Straftäter*innen (und damit die Dauer der Inhaftierung) oder die Lebenserwartung von Kranken (und damit eine mögliche Behandlung) zu berechnen.

Währenddessen baut China sein „Sozialkredit-System“ aus: totale Überwachung, Sanktionierung von sozialem Fehlverhalten, Stigmatisierung und Exklusion. Anhand dieser Beispiele können die gesellschaftlichen Folgen der Etablierung digitaler Kontroll- und Entscheidungsapparate nachvollzogen werden.

Rassistische Algorithmen? 

In mehreren US-Bundesstaaten werden bereits Algorithmen eingesetzt, um das Risiko für die Strafrückfälligkeit von Verurteilten zu berechnen. Die Programme werden mit Fragebögen und Daten gefüttert, um Straftäter*innen in „Low Risk“- und „High Risk“-Täter*innen einzuteilen. Diese Klassifizierung wird dann zur Bemessungsgrundlage herangezogen, um die Länge der Haft zu bestimmen. Wer ein höheres Rückfallrisiko hat, muss länger ins Gefängnis.

Das Ergebnis: Schwarze Angeklagte werden mit besonders hoher Wahrscheinlichkeit als zukünftige Kriminelle eingestuft und müssen daher länger im Gefängnis ausharren. Das hat eine Studie der Stiftung ProPublica ergeben. Der vermeintlich neutrale Algorithmus entpuppt sich als Rassist.

Computer berechnet Entlassung von Lehrerin

In Washington, D.C. beauftragte die Stadtverwaltung ein externes Beratungsunternehmen, um das Lehrpersonal der städtischen Schulen mithilfe von Algorithmen zu bewerten. Sarah Wysocki, von Eltern, Schüler*innen und dem Rektorat hoch geschätzt, wurde aufgrund ihrer schlechten Bewertung entlassen. Der Grund? Die Leistungstests ihrer Schüler*innen wurden von einem Kollegen manipuliert – aus Angst, der Algorithmus würde sonst ihn treffen. Algorithmen sind also nicht nur anfällig für Manipulationen. Entlassungen werden quasi unanfechtbar gemacht, weil die Entscheidung an eine vermeintlich objektive technische Instanz delegiert wurde.

Wysocki wechselte an eine Privatschule, die keine komplexen statistischen Instrumente zur Leistungsbewertung des Lehrpersonals verwendet. Damit verlor die McFarland Middle School, die in einem sozial schwächeren Bezirk Washingtons liegt, eine engagierte Lehrerin an eine Privatschule.

Algorithmen entscheiden über Leben und Tod

Ebenfalls in den USA bietet das Start-Up Unternehmen Aspire Health, mitfinanziert von der Google-Holding Alphabet, einen Algorithmus an, der die verbleibende Lebensdauer schwerkranker Patient*innen voraussagt. Sensible Gesundheitsdaten werden auf lukrative Weise gesammelt und verwertet. Anschließend entscheidet der Computer, ob eine Behandlung „sinnvoll“ – sprich: profitabel – ist oder nicht.

Die neoliberale Ausgestaltung des Gesundheitswesens fokussiert auf Einsparung und Effizienz: Kostspielige Untersuchungen und Behandlungen werden ausgesetzt, wenn der/die Patient*in als Risikopatient*in gilt.

Computergestützter Totalitarismus in China

Der bislang umfassendste Einsatz von Algorithmen im gesellschaftlichen Leben wird in China geplant. Dort soll bis 2020 ein „gesellschaftliches Bonitätssystem“ installiert werden, das Menschen nach ihrem Wohlverhalten bewertet. Diese von Algorithmen gesteuerte Überwachungsmaschinerie wurde bereits in einigen chinesischen Städten als Pilotprojekt umgesetzt (beispielsweise in der Stadt Rongcheng mit über einer Milllion Einwohner*innen).

Gefüttert wird der Apparat mit privaten und staatlichen Daten: Informationen der Regierung (wie Strafregisterauszüge) werden mit personenbezogenen Daten der Kreditanstalten und Internetkonzerne verknüpft.  Einen Punkteabzug vom „Sozialkredit-Konto“ gibt es etwa für den Konsum von Pornographie.

Ergänzt wird die „Benotungsgrundlage“ von Gesichtserkennungskameras, die jeden Schritt der Menschen im öffentlichen Raum aufzeichnen. Geht man bei Rot über die Ampel, werden Punkte abgezogen; ist man mit einer straffällig gewordenen Person befreundet, werden Punkte abgezogen.

Die Beurteilung des Verhaltens reicht von „AAA“ bis „D“. Kreditwürdigkeit (als ökonomischer Indikator) und Glaubwürdigkeit (als moralischer Indikator) werden von Algorithmen berechnet – und veröffentlicht. Die sogenannte „Schwarze Liste“ erfasst verschuldete Personen und dient unverhohlenem naming and shaming. Armut wird nicht nur staatlich sanktioniert, indem man Schuldner*innen beispielsweise Tickets für Flüge verwehrt; verschuldete Personen werden als Stigmatisierte an den gesellschaftlichen Rand getrieben.

Wer profitiert im digitalen Kapitalismus?

Angesichts der immer stärkeren Einbindung von computerbasierten Entscheidungsmechanismen in das alltägliche Leben, werden wir die Verfasstheit von Algorithmen hinterfragen müssen. Zudem werden, mithilfe scheinbar neutraler Computerprogramme, politische Entscheidungen maßgeblich verhüllt – das suggeriert vermeintliche Objektivität und Natürlichkeit und erschwert potenziell den Widerstand.

Die effektive computerbasierte Diskriminierung von „schlechter qualifizierten“ oder ärmeren Bevölkerungsteilen befeuert die Reproduktion von strukturellen Ungleichheiten, soziale Spaltung und Stigmatisierung. Wenn Technik versagt, ist in vielen Fällen nicht nur unklar, wer die rechtliche Verantwortung trägt. Es stellt sich die Frage, wer von der „digitalen Revolution“ überhaupt profitiert und wer verliert. Die gesellschaftliche Debatte und das Recht hinken den Entwicklungen hier weit hinterher.

Kommentare

Kommentare