Rezension „Weapons of Math Destruction“ von Cathy O’Neil

image_pdfimage_print

weapons9780553418811

Die Autorin bloggt unter mathbabe.org – sie ist Mathematikerin und data scientist mit einem Ph.D. (Dr.) von Harvard. Das bringt ihr hohe scores bei der Bewertung, wenn's um einen Job geht. Genau das ist ihr Thema, die scores, die den Menschen von den Maschinen verpasst werden.

O'Neil hat ein bemerkenswertes, wichtiges und gutes Buch geschrieben, das sogar gut geschrieben ist. Nachdem das vorweggenommen ist, darf auch ein Hauch Kritik sein:

Der Titel ist zwar witzig, aber er trifft nicht so recht. "Weapons of math destruction" ist von den "weapons of mass destruction" abgeleitet, den Massenvernichtungswaffen. Schwer zu übersetzen. "Waffen der Mathematik-Zerstörung" ist falsch, aber "Waffen der mathematischen Zerstörung" ist auch nicht richtig. Es geht nämlich um Computerprogramme, die Daten analysieren und scores herausfiltern. Dabei kann Mathematik im Spiel sein, muss es aber nicht. Die vielfach im Buch verwendete Abkürzung WMD überzeugt nicht. Schade dass kein einprägsameres Wort gefunden wurde – das Thema ist wichtig.

Damit hat sich's mit dem Herumkritteln, ab jetzt wird nur noch informiert und gelobt. Das Buch verläuft analog zu einem virtuellen Leben, es befasst sich mit der Schule, dem College, dem Knast, dem Arbeitsplatz und sogar den Wahlen. Überall deckt die Autorin das zerstörerische Wirken von WMDs auf. Eigentlich sind diese Computermodelle dafür gemacht worden, Effizienz und Fairness zu bringen. Sie sind deshalb überall präsent, auch wo man es nicht annehmen möchte – und sie wirken oft zerstörerisch.

Es ist das Verdienst der Autorin, diese zerstörerischen Wirkungen auf den Punkt genau zu beschreiben. Meistens weiß man gar nicht, dass diese Algorithmen im Einsatz sind, aber sie laufen ständig ab und schaffen Probleme. Aus der Sicht der Hersteller sind sie allerdings ein gutes Geschäft, weil Firmen sie landauf, landab kaufen und einsetzen. Aus der Sicht der Anwender sind sie auch prima, weil sie ihnen aufwendige persönliche Bewertungen abnehmen:

  • ob ein Schullehrer gut unterrichtet – das wird automatisch am Notenerfolg seiner Schüler gemessen
  • ob ein College oder eine Uni gut ist – das wird mit einem komplizierten Ranking beurteilt, in das Unmengen von Daten einfließen
  • ob jemand einen Kredit bekommt – das wird aus seinen statistischen Daten berechnet
  • wo eine Versicherung abgeschlossen wird – erst ist ein immer tiefer schürfender Datencheck fällig
  • wo die Polizei Menschen aufgreift und überprüft – dazu geben computermäßig erstellte Delikt-Häufungen die Grundlage
  • wer einen qualifizierten Job sucht – der wird auch gescannt und nach allen Regeln der Kunst durchleuchtet
  • sogar die Wahl-Spender werden computermäßig angegangen – ihre Ansprache erfolgt aufgrund von Daten-Checkerei

Das hört sich erstmal unproblematisch an, bis O'Neil auf die Probleme hinweist. Die Ansprache ist nämlich jetzt computergeneriert auf das Zielobjekt hin fokussiert und optimiert. Wer nicht für Wahlen spendet, bleibt unbehelligt. Wer gleich sein Maximum gibt, auch. Aber der Computer erkennt immer besser, bei wem noch was zu holen ist, und der wird dann entsprechend gebauchpinselt.

Im Fall der payday loans (Schnellkredite) geht solches Verhalten ins Kriminelle über. Es sind ja meist Bedürftige, die dringend auf einen Kredit angewiesen sind. Sobald die sich auf einer Homepage von loan sharks (Kreditwucherern) melden, läuft die Computeranalyse los. Die bringt heraus, wie dringend der Betroffene das Geld braucht, und je ärmer er ist und je nötiger er das Geld braucht, desto teurer machen sie es für ihn. Und es werden unglaublich hohe Zinsen verlangt und gezahlt.

Da entstehen böse Rückkopplungen. Leute aus armen Umgebungen werden schon mal schlechter gerated, d.h. für sie sind Kredite teurer. So ist es auch für welche, die einen schlechten Record beim Zurückzahlen haben, für die wird es noch teurer. Je teurer es ist, desto eher geraten die Leute in neue Kalamitäten, und das verschlechtert ihr Rating dann noch mehr.

Dafür wird sogar per microtargeting aktiv geworben. Wer als möglicher Bedürftiger herausgefiltert wird, bekommt predatory ads (räuberische Werbeanzeigen) auf seinem Bildschirm zu sehen. Die Anzeigen sind speziell auf die Person zugeschnitten, um sie auf die Seiten der Geldverleiher zu locken.

Mehr noch, ein großer Teil des Bildungswesens hängt daran, nämlich die for-profit schools (kommerzielle Schulen und Ausbildungsstätten, auch "diploma mills"). Die locken Millionen Arme mit dem Argument, bessere Bildung bedeutet Aufstieg. So wird ihnen eine oft wertlose Ausbildung angedreht, die vor allem teuer ist. Die Ausbilder sind bestens informiert, wieviel sie abzocken können (bis zum "pain point"). Das entnehmen ihre Computer den Datenbergen.

Wer bessergestellt ist, zahlt weniger Versicherung. Sein Umfeld bringt ihm gute scores, und das senkt die Prämien. Umgekehrt ist es bei den Ärmeren. Je schlechter ihre Randbedingungen sind, desto teurer wird's für sie. Für die Bedürftigen gehen die Prämien ins Uferlose. Genauso ist es bei den Ignoranten, die nicht vergleichen. Die werden computermäßig erkannt und mit besonders hohen Gebühren belastet.

Bei Krankenversicherungen zählt jetzt der health score, die Gesundheitsbewertung. Da greift die Verordnung von Fitnessprogrammen und -trackern um sich, die den Leuten mit immer mehr Druck auferlegt werden. Ansonsten werden Strafzahlungen fällig, oder die Firma lehnt es ab, die Leute zu versichern.

Wenn's um Autoversicherungen geht, haben sie keine Wahl. In den USA brauchen sie das Auto, um zum Arbeitsplatz zu kommen, der dann oft prekär ist. D.h. schlecht bezahlt, aber dafür mit unregelmäßigen Arbeitszeiten. Wie der Arbeitgeber es eben benötigt. Auch diese Arbeitsplanung nach aktuellem Bedarf kommt aus dem Computer.

Hier wird eine ein unrühmliche Spitzenleistung des Kapitalismus' entblättert, von der viele Nichtbetroffene kaum etwas ahnen. Doch auch in Deutschland gibt es schon diese prekären Arbeitsplätze, wo die Jobber antanzen müssen, wenn der Arbeitgeber sie ruft. Auch hier machen sich Planungs- und Optimierungsprogramme breit, und die Leute werden mit perfider Finesse und Computerunterstützung abgezogen.

Für die Loser bedeutet es, sie werden aus guten Jobs rausgehalten und mangels score gar nicht erst zur Vorstellung gebeten. Sie verdienen weniger, sie zahlen bei Versicherungen und Krediten drauf. In ihrer Wohngegend kontrolliert die Polizei am meisten – und erwischt dann auch mehr Leute bei (oft geringfügigen) Verstößen. Das bringt wiederum mehr Punkte auf den Bildschirm und folglich noch mehr Kontrollen dort: eine Endlosspirale.

Umgekehrt erscheint die Kriminalität der Bessergestellten gar nicht auf dem Bildschirm, denn Betrug und Korruption entziehen sich der polizeilichen Erfassung (finance is underpoliced). Dabei ist der Gebrauch der WMDs selbst oft kriminell. Es geht nur ums Abkassieren. Ob die Abgezockten die Dienstleistung wirklich brauchen, die ihnen aufgenötigt wird, interessiert die Manager nicht. Ob jemand in eine falsche Bewertungsgruppe gerät (behavioral bucket), ist ihnen auch egal. Da herrscht der Raubtierkapitalismus. Und man kann sich nicht dagegen wehren (no bargaining power).

Was die Autorin als Gegenmittel vorschlägt, nimmt nur ein paar Seiten ein, gegenüber der langen und detailreichen Aufzählung von Sündern und Sünden. Die Modelle können evaluiert werden, also Rückkopplungen haben, inwieweit sie zutreffend sind. So etwas geht, das gibt es im amerikanischen Sportgeschehen, wo alles und jedes computermäßig erfasst wird. Die Modelle könnten auch nach moralischen Maßstäben angelegt werden, statt allein auf Profitmaximierung (the biggest bang for their buck). Man könnte den Menschen die Verfügungsgewalt über ihre Daten zusprechen und Alarm geben, wenn die Daten ihre scores vermasseln, so dass sie's überprüfen können.

Aber wie oft am Tag soll das sein? In den USA sind schon einige Zugriffe verboten (Konto-Daten, "Redlining" bei Wohngebieten). Das reicht offensichtlich nicht, um den Missbrauch einzudämmen. Weitere Vorschläge: Man könnte audits abhalten, ehe Programme eingeführt werden, man könnte ethische Regeln für die Programme vorschreiben.

Mathematical models should be our tools, not our masters.

Mathematische Modelle (gemeint Computerprogramme) sollten unsere Werkzeuge sein, nicht unsere Herren. Das ist allerdings blauäugig angesichts des Vordringens der Künstlichen Intelligenz. Da gibt es keine Programme mehr, wo alles fixiert ist, sondern da wird auf nicht nachvollziehbare Weise entschieden. Ein Benutzer tut sich schwer, wenn er da Moral reinzwingen will.

Eine Anmerkung am Rande: Bei O'Neil hätte dieser Satz gelautet, "wenn sie da Moral reinzwingen will." O'Neil nimmt immer das weibliche Pronomen, wo das Geschlecht undefiniert ist, wie bei user (Benutzer). Außer wenn vom banker die Rede ist wie auf S. 145 – das ist ein Er. Bei aller correctness unterläuft ihr auf S. 177 ein kleiner Lapsus, wo sie speziell von schwarzen Frauen redet, die oft einen hohen BMI haben (fett sind).

Das ist aber keine Kritik, sondern ein Hinweis darauf, dass auch im besten Text nicht alles perfekt sein kann. Ein besonderes Lob gibt's für die Insider-Beschreibung vom Bankencrash 2008 im 2. Abschnitt Shell Shocked. Da hat die Autorin bei einem Wall-Street-Hedge-Fond gearbeitet und dumb money (Trottel-Geld) eingesammelt. O'Neil beschreibt, wie das mutual back-scratching and pocket-filling (gemeinsames Rückenkratzen und Taschenfüllen) in einem Betrug von nie dagewesenem Ausmaß endete, der auch die selbsternannten Superschlauen in den Hedge-Fonds viel Geld kostete.

Das Buch deckt einen wichtigen Beitrag zur finanziellen Ungleichheit auf. Die Autorin nennt es micromanagement, was die fehlgeleiteten Computeralgorithmen weitgehend unbeachtet tun. Dessen Beschreibung erlaubt einen tiefen Einblick in die dark side of Big Data. Das Fazit könnte sein: Die Gewinner sind die Bescheißer, die Verlierer die Beschissenen (wb frei nach the winners in our system vs. the people their models prey upon). Hoffentlich gibt es das Buch bald auf deutsch.

 

Wilfried Müller

WEAPONS OF MATH DESTRUCTION by Cathy O’Neil, How Big Data Increases Inequality and Threatens Democracy, Crown

Weitere Links dazu:

 

Mehr zum Thema:
Dieser Beitrag wurde unter Buch veröffentlicht. Setze ein Lesezeichen auf den Permalink.

Eine Antwort auf Rezension „Weapons of Math Destruction“ von Cathy O’Neil

  1. Wilfried Müller sagt:

    Hier erlaube ich mir einen Nachtrag aus persönlicher Betroffenheit. Das Fachgebiert, über das O'Neil berichtet, heißt Operations Research (OR), und das ist auch meins. Bei meiner Promotion habe ich über Transportprobleme gearbeitet. So nennt man die Optimierungsprobleme bei großen Erdbewegungen. Da ging es z.B. um den Tana river dam in Kenia, ein Milliardenprojekt. Die Kosten werden hauptsächlich vom Erdtransport verursacht. Wenn man durch geschickte Wegeplanung die durchschnittliche Transportentfernung von 2,5 km auf 2,4 km senkt, spart man Millionen.

    Das ist eine uneingeschränkte Verbesserung. Problematischer wird es bei anderen Aspekten von OR, z.B. der Kapazitätsplanung. Man organisiert das Projekt so, dass man mit den Arbeitskräften und Maschinen auskommt, die man hat. Man will sie auch nicht untätig rumstehen lassen, denn die Kosten laufen so oder so. Bei den Maschinen ist das wieder eine uneingeschränkte Verbesserung. Bei den Menschen nicht unbedingt. Einerseites kann man hochbezahlte Fachkräfte nicht rumtrödeln lassen, sonst wird das Projekt unbezahlbar. Andererseits sieht das bei schlechtbezahlten Jobbern viel kritischer aus. 

    Hier setzt zurecht die Kritik von O'Neil ein: Wenn man denen einen Stundenplan verpasst, der sie immer nur zu pausenloser Arbeit ranholt, beutet man sie aus. Einmal durch die unmöglichen Zeiten, wo sie herbeitelefoniert werden, und dann nimmt man ihnen auch noch die Ruhezeiten. In dem Fall ist die computermäßige Optimierung einseitig zum Nutzen der Arbeitgeber und zum Schaden der Jobber.

    Noch schlimmer sind die Umstände bei den weiteren Optimierungen, die O'Neil beschreibt. Das computermäßige Rating befreit die Auftraggeber von sorgfältiger Prüfung des Einzelfalls. Meistens passt es ja, aber ein gewisser Anteil von Fehl-Ratings ist immer dabei. Und der trifft meist diejenigen, die sowieso schon schlechtergestellt sind; und das wird nicht korrigiert.

    Am schlimmsten ist die überall etablierte kriminelle Variante, wo die Benachteiligten gezielt angesprochen werden, um ihnen unerfüllbare Versprechen zu verkaufen. Das kostet sie so viel Geld, dass sie ihr Leben lang Schulden haben. Den Betrügern beschert es einen Reibach, genauso wie die ganze persönlich justierte Abzocke, die computerberechnet so viel rausholt, wie nur möglich ist. Diese Geschäftsmethoden verlassen allerdings das Gebiet der OR. Im Grunde ist das flächendeckender Computerbetrug, was O*Neil beschreibt.

     

Schreibe einen Kommentar