Wie wir lernten, wegzuschauen

Inhalt

Vor zwei Jahren habe ich einen Blogartikel darüber geschrieben, dass es keinen unpolitischen Raum gibt. Der Auslöser war damals eine Fernsehsendung über die Gaming-Szene. Heute brauche ich keine Sendung mehr als Anlass. Es reicht ein Blick in die Nachrichten, in die Kommentarspalten, auf die Entlassungswellen bei großen Unternehmen oder auf die Förderprogramme, die gerade weltweit gestrichen werden, um festzustellen, dass etwas ganz gewaltig aus dem Ruder läuft. Der aktive Demokratie- und Sozialabbau ist längst kein schleichender Prozess mehr, den man nur mit geübtem Blick erkennt. Er ist offen, laut und wird von vielen Menschen mitgetragen, die sich selbst für tolerant und aufgeklärt halten.

Diesmal will ich nicht bei der allgemeinen Beobachtung stehen bleiben. Ich möchte wissen, welchen Anteil unsere IT-Branche daran hat. Nicht die Politik im Allgemeinen, nicht die Wirtschaft im Allgemeinen, sondern wir. Die Admins, die Berater:innen, die Entwickler:innen, alle, die tagtäglich Systeme entwerfen, bauen, warten und verkaufen. Systeme, die längst über das Leben von Menschen entscheiden, ohne dass diese je mit uns gesprochen haben.

Wie hat das angefangen

Bei der (Weiter-)Entwicklung von IT-Systemen stand Effizienz stets im Mittelpunkt. Automatisierung sollte Fehler verringern, Prozesse beschleunigen und Kosten senken. Niemand hat jemals in einem Projektantrag erwähnt, dass ein System bewusst Menschen ausgrenzen soll. Das war nie Absicht. Zumindest ist dies meine inständige Hoffnung. Dennoch zeigt uns die Praxis täglich, wie schnell Ausgrenzung entstehen kann, wenn man nicht aktiv dagegen vorgeht.

Vier alarmierende Beispiele aus der Vergangenheit zeigen die gravierenden Folgen fehlerhafter automatisierter Systeme.

In den Niederlanden hat ein Betrugserkennungsalgorithmus der Steuerbehörde tausende Familien fälschlich als Betrüger eingestuft, viele davon mit Migrationshintergrund, weil genau dieses Merkmal als Risikofaktor im Modell verankert war. Familien haben ihre Häuser verloren, Kinder wurden in Pflegefamilien gegeben, Regierungen sind gestürzt.
In Australien hat das automatisierte Robodebt-System Sozialleistungsempfängerinnen und -empfänger auf Grundlage fehlerhafter Durchschnittsberechnungen zur Rückzahlung angeblicher Überzahlungen gezwungen. Menschen haben sich das Leben genommen.
Im US-Bundesstaat Michigan hat ein System namens MiDAS über Jahre hinweg zehntausende Menschen zu Unrecht des Arbeitslosenbetrugs bezichtigt.
In Großbritannien hat die fehlerhafte Buchhaltungssoftware Horizon der Post hunderte Postangestellte fälschlich der Unterschlagung beschuldigt. Manche kamen ins Gefängnis, manche haben sich das Leben genommen, bevor der Fall aufgeklärt wurde.

Das ist kein Zufall, sondern ein konsistentes Muster. Jedes Mal handelt es sich um ein System, das auf dem Papier neutral wirkt. Menschen vertrauten diesem System, weil es doch nur Zahlen verarbeitet. Jedoch konnten Betroffene, die ohnehin nur wenig gesellschaftliche Stimme hatten, kaum Widerstand leisten, wenn die Maschine gegen sie entschied.

Vom Werkzeug zur Waffe, langsam und dann plötzlich

Was als Effizienzversprechen begann, ist heute etwas anderes geworden. Content-Moderation-Teams von Social-Media-Plattformen werden abgebaut, während gleichzeitig behauptet wird, KI könne das übernehmen. Diversity- und Inclusion-Programme in großen Tech-Unternehmen werden gestrichen, teils sogar als notwendiges Statement gegen eine angeblich woke Vergangenheit verkauft. Plattformen, die einmal als Werkzeuge für Vernetzung und Sichtbarkeit von Minderheiten galten, ändern ihre Regeln so, dass Hassrede leichter durchkommt und Fakten schwerer zu finden sind. Gesichtserkennung, ursprünglich für Komfortfunktionen im Smartphone verkauft, findet heute Eingang in Verträge mit Grenzschutzbehörden, um mehr Sicherheit zu suggerieren. Und doch geht es nur um Ausgrenzung.

Der Übergang war schleichend. Jeder einzelne Schritt ließ sich rechtfertigen.

Skalierung braucht Automatisierung.
Automatisierung braucht Daten.
Daten brauchen Vorhersagemodelle.
Vorhersagemodelle brauchen Kategorien.
Kategorien schließen jemanden aus.

Am Ende dieser Kette stehen fast immer dieselben Gruppen: Menschen ohne Papiere, Menschen mit Behinderung, Menschen mit wenig Einkommen, Menschen mit anderen Meinungen, Menschen, deren Sprache das Systemmodell nicht kennt.

Wie man uns verführt und abgelenkt hat

Die eigentliche Frage ist nicht nur, was gebaut wurde, sondern auch, warum so wenige von uns aufgestanden sind. Ich glaube, es gibt keine einzelne Antwort auf dieses Dilemma, sondern nur ein Zusammenspiel unterschiedlicher Faktoren.

Der Komfort
Wir genießen gut bezahlte Positionen, interessante Aufgaben, Homeoffice-Möglichkeiten und einen Obstkorb. Zufriedene Menschen hinterfragen das große Ganze seltener.
Die Komplexität als Schutzschild
Heutzutage sind Systeme so verteilt, dass kaum jemand die volle Verantwortung übernimmt. Die Entwicklerin hat nur eine einzelne Komponente erstellt. Der Berater hat lediglich eine Empfehlung ausgesprochen. Das Unternehmen hat nur eine Lizenz verkauft. Die Verantwortung geht in der Architektur verloren.
Die Ablenkung durch das Neue
Kaum ist eine Debatte über die Auswirkungen der Automatisierung auf Arbeitsplätze in Gang gekommen, folgt schon der nächste Hype-Zyklus, der alle Aufmerksamkeit bindet. Metaverse, dann generative KI, nun Agenten. Jeder Zyklus verspricht, alles zu verändern, und lässt uns immer weniger Zeit, über die Folgen des vorherigen Zyklus nachzudenken.
Die schleichende Normalisierung der Ausgrenzung selbst
Wenn ein Algorithmus erst einmal entschieden hat, dass eine bestimmte Personengruppe ein höheres Risiko darstellt, wird diese Einstufung zur scheinbar objektiven Tatsache. Sie wird von niemandem mehr hinterfragt.

Aus einem Vorurteil wird eine Kennzahl.
Aus einer Kennzahl ein Standard
Aus einem Standard eine Selbstverständlichkeit.

Mehrheitsfähig wird Ausgrenzung genau dann, wenn sie nicht mehr wie eine Entscheidung aussieht, sondern wie ein neutrales Systemergebnis.

Warum wir von der Couch aus zuschauen

Ich stelle mir die gleiche Frage, die ich schon früher aufgeworfen habe: Warum ist Zuschauen so viel bequemer als Aufstehen? Ein Grund dafür liegt in den Produkten, die wir entwickeln.

Empfehlungsalgorithmen sind darauf optimiert, uns bei guter Laune zu halten, nicht aufzuwühlen. Wer wütend wird, klickt zwar oft, aber wer dauerhaft wütend ist, wandert irgendwann ab. Also wird Empörung dosiert, kanalisiert, in kleine, leicht verdauliche und schmackhafte Häppchen verpackt, die genauso schnell wieder verschwinden, wie sie aufgetaucht sind.

Wir selbst haben diese Maschinerie gebaut.
Wir kennen ihre Mechanik.

Und trotzdem lassen wir uns von ihr beruhigen (sedieren?), weil sie eben auch für uns funktioniert. Das ist die bitterste Pointe der ganzen Geschichte.

Was IT, Beratung und Entwicklung tatsächlich tun können

Ich möchte konkreter werden, da bloßes Klagen keine Veränderungen herbeiführen kann.

Wer Software entwirft, kann in jedem Projekt fragen, wer durch dieses System schlechter gestellt wird, bevor das erste Sprint-Planning beginnt. Diese Frage gehört aus meiner Sicht in Lastenhefte und Angebote, nicht nur in Ethikseminare.

Wer berät, kann Aufträge ablehnen. Das mag wie ein Luxus erscheinen, ist aber in unserer Branche mit ihrem Fachkräftemangel oft realistischer als viele denken. Ein Beratungshaus, das öffentlich erklärt, bei welchen Projekten es sich nicht beteiligt, zum Beispiel an Überwachungslösungen gegen Geflüchtete oder an Systemen zur automatisierten Sanktionierung von Sozialleistungen, setzt ein klares Zeichen, das über das eigene Unternehmen hinaus wirkt und strahlt.

Wer Lösungen entwickelt, sollte Zugänglichkeit von Anfang an als Grundprinzip einbeziehen, nicht nur als optionalen Zusatz. Barrierefreiheit ist keine Sonderleistung für wenige Randgruppen, sondern ein Maßstab dafür, ob ein System wirklich für alle Nutzenden geeignet ist. Ganz im Gegensatz zur bloßen Mehrheit im Abstimmungsmeeting.

Wer Daten verarbeitet, kann Datensparsamkeit tatsächlich leben und nicht nur in der Datenschutzerklärung zitieren. Jedes Datenfeld, das wir nicht sammeln, kann später auch nicht gegen jemanden verwendet werden. Es gilt, den alten Jäger- und Sammlerinstinkt aus grauer Vorzeit zu überwinden.

Wer im Unternehmen Einfluss hat, kann intern für Diversität und Inklusion einstehen, gerade jetzt, wenn Konzerne diese Programme aus Bequemlichkeit oder politischem Kalkül zurückfahren. Wer schweigt, wenn ein Programm gestrichen wird, das gerade jetzt mehr denn je gebraucht wird, trägt die Entscheidung mit.

Wer öffentlich schreibt, spricht oder podcastet, kann genau das tun, was ich mit diesem Artikel versuche. Verantwortung sichtbar machen. Zusammenhänge benennen. Und zwar, bevor der nächste Hype-Zyklus alle Aufmerksamkeit an sich reisst.

Wer Verbände, Netzwerke oder Communities mitgestaltet, kann dafür sorgen, dass ethische Standards nicht nur Absichtserklärungen bleiben, sondern auch Teil der Aufnahmebedingungen und Zertifizierungen werden und gelebt werden.

Keiner dieser Schritte rettet die Welt allein. Aber jeder Einzelne von uns entscheidet mit darüber, ob Ausgrenzung entsteht oder nicht.

Warum wir Technologie überhaupt bauen sollten

Am Ende bleibt die Frage, die mich seit dem ersten Artikel begleitet. Wofür nutzen wir eigentlich unsere Fähigkeiten? Technologie ist kein Naturgesetz, das über uns hereinbricht. Sie ist das Ergebnis tausender einzelner Entscheidungen von Menschen wie uns. Wenn wir diese Entscheidungen treffen, tragen wir auch die Verantwortung dafür, wohin sie führen. Es gibt keine Entschuldigung.

Eine plurale, sozial gerechte Gesellschaft entsteht nicht, weil ein Algorithmus sie vorhersagt oder ein KPI sie belohnt. Sie entsteht, weil genug Menschen in genug Momenten die unbequemere Entscheidung treffen. Wir in der IT haben mehr solcher Momente, als uns oft bewusst ist. Jede Codezeile, jedes Angebot, jede Architekturentscheidung ist ein solcher Moment.

Vor zwei Jahren habe ich geschrieben, dass es kein unpolitisches Handeln gibt. Heute möchte ich hinzufügen: Auch kein (IT-) System ist wirklich neutral. Bei jedem System, das wir entwickeln, stehen wir vor der Wahl zwischen mehr Gerechtigkeit und mehr Ausgrenzung. Die entscheidende Frage ist nur, ob wir diese Wahl bewusst treffen oder aus Bequemlichkeit dem bestehenden Status quo folgen.

Steh auf. Frag nach, wer durch das, was du gerade baust, verliert.
Und wenn du die Antwort nicht ertragen kannst, ändere das Projekt, nicht deinen Anspruch.