Umfragen: dreimal selbe Frage, dreimal andere Antwort

image_pdfimage_print

hand-982058_1280

Statistik ist das bessere Lügen – so sehen das viele Leute. Im Bereich zwischen Korrelation und Kausalität sind schon manche gescheitert (Bild: geralt, pixabay).

Wenn einem beim Kaffeetrinken immer das Auge wehtut – findet man da eine Korrelation oder eine Kausalität? Das klärt sich schnell, wenn man den Kaffeelöffel aus der Tasse nimmt …

So sieht also unser eleganter Einstieg in das Reich von Stichproben (!) aus, und von Populationsgrößen, Konfidenzintervallen und Normalverteilungsquantilen. Was die Statistik sonst noch zu bieten hat, kümmert uns nicht weiter, denn jetzt geht es um die Anzahl der Leute, die man befragen muss, um eine belastbare Aussage über die Allgemeinheit zu treffen.

Dies Thema wird immer mal wieder diskutiert, wenn eine Umfrage auf den Tisch kommt, die aus wenigen Befragten auf die schweigende Mehrheit schließt. Wenn man mal die absichtlichen oder fahrlässigen Fehler weglässt, die man durch Befragen von Nichtrepräsentativen produziert (z.B. die Knastbelegschaft oder den Yachtclub), dann läuft es auf statistische Überlegungen hinaus. Vom Gefühl her ist das nämlich nicht zu entscheiden.

Die Problematik wird durch 3 verschiedene Umfragen veranschaulicht, die im Sommer 2018 präsentiert wurden. Gemeinsam ist ihnen, dass die Quellen weder angegeben noch aufspürbar sind. Die Stichprobengröße kennt man, aber die Fragenstellung nur teilweise (1., 2., 3.).

Frappierend ist die Divergenz: Jede Umfrage kriegt was anderes raus. Die Zustimmung zur Seenotrettung ist demnach 3/4, 1/2 oder 1/3, je nachdem. Die Konfidenzintervalle für Konfidenzniveaus von 80%, 95% und 99% sind durch die Stichprobengröße aber ziemlich klein, so dass sich die Streubereiche nicht überschneiden, wie sie eigentlich sollten. Ja, sie berühren sich noch nicht mal im 99%-Fall:

Umfrage von-bis 80% von-bis 95% von-bis 99% Befragte
1. 72%…78% 71%…79% 69%…81% 505
2. 49%…51% 48%…52% 47%…53% 2032
3. 33%…35% 33%…35% 32%…36% 5076

Wie kann das sein? Irgendwie verlockt die kleine Tabelle zur Folgerung, je mehr Leute befragt werden, desto mehr sind gegen Seenotrettung – aber das wäre grob statistikwidrig. Wie kommt man überhaupt zu solchen Konfidenzintervallen, sprich Fehlerspannen?

Je kleiner die Fehlerspanne, desto mehr Vertrauen kann man in die Ergebnisse haben. Das kann man numerisch kontrollieren mit dem Fehlerspannenrechner (4.). Dort gibt man die Populationsgröße ein (83 Mio.), das gewünschte Konfidenzniveau (z.B. 95%) und die Stichprobengröße (z.B. 505). Das Ergebnis ist die gerundete Fehlerspanne (das Konfidenzintervall ist dann Mittelwert +-Fehlerspanne).

Die Mathematik dahinter beruht auf der Standard-Normalverteilung, von der man die Quantilen bezieht. Ein Teil der Werte ist kleiner als das Quantil, der Rest ist größer. Im Bild (Uni Freibug, Stochastik) ist in etwa das 90-%-Quantil dargestellt, der blaue Bereich enthält ca. 90% der Werte. Der weiße Bereich zeigt das, was außerhalb der 90% liegt – das sind die gesuchten Außreißer, sprich die Fehler.

unifreiburgstochastikquantilenormalverteilungDer Link (5.) liefert numerische Werte für die Quantile, z.B.  z0,95 ≈ 1,6449. Die 95%-Fehlerspanne ist 95%-Quantile mal Standardabweichung durch Wurzel Stichprobengröße: e = z0,95 σ /  √¯ n mit der Standardabweichung aus

σ2 = (x – µ)2 f(x) dx

und mit der Normalverteilung f(x), deren Mittel µ und x von -∞ bis +∞ (wiki).

Wie ist die Tabelle nun zu erklären, wo dasselbe Thema so divergente Ergebnisse hervorbringt?

  • Die schöne Mathematik wird wohl nicht schuld sein, oder treten da die ganz, ganz unwahrscheinlichen Fälle ein? Und gleich mehrmals? Oder nimmt man Normalverteilungen an, wo gar keine sind? Selbst wenn es die umgekehrte Pinkelpottverteilung wäre, ließen sich die Divergenzen wohl nicht mathematisch erklären (Bild: Inductiveload, Wikimedia Commons, und anaterate, pixabay).
  • Die Meinungsforscher betonen bei jeder Gelegenheit, wie repräsentativ sie ihre Befragten aussuchen. Aber warum antworten die dann so unterschiedlich? Kann man denen nicht mal sagen, dass sie … ähem, das nehmen wir zurück.
  • Wenn man annimmt, dass die Verhältnisse sich nicht innerhalb von ein paar Tagen umkehren, bleibt nur noch die Fragestellung. Die sieht ziemlich gleich aus, soweit das sichtbar ist. Aber hat die vielleicht doch so eine durchschlagende Wirkung? Tja, dreimal andere Frage, dreimal selbe Antwort …

1081px-Normal_Distribution_PDF

Medien-Links:

  1. Mehrheit der Deutschen unterstützt private Seenotrettung (Zeit Online 21.7., die Zeit zitiert eine Emnid-Umfrage mit 505 Teilnehmern für die Bild-Zeitung, die weder bei Emnid, Bild oder Zeit aufzuspüren ist. Die Fragen sind unbekannt, aber es wird wohl nicht sowas sein wie Finden Sie Seenotrettung richtig, oder sind sie so ein Halunke, der die Leute ertrinken lassen will? Ergebnisse:

    • 75% finden die Arbeit der Seenotretter richtig, 20% nicht.
    • 38% finden, dass die Retter das Geschäft der Schleuser unterstützten, 56% nicht.
  2. Exklusiv: Mehrheit der Deutschen für private Seenotrettung auf dem Mittelmeer (Huffpost 12.7., Huffpost zitiert eine YouGov-Umfrage mit 2032 Teilnehmern, die auch nirgends aufzuspüren ist. Immerhin erfährt man die Aussagen, denen man zustimmen oder nicht zustimmen sollte:

    • Nicht-Regierungsorganisationen (NGOs) sollen weiterhin Flüchtlinge im Mittelmeer retten (50% Ja, 34% Nein).
    • In der Flüchtlingsfrage verabschiedet sich Europa gegenwärtig von seinen humanitären Werten (44% Ja, 39% Nein).
  3. Umfrage – Fall "Lifeline": Mehrheit der Deutschen ist gegen private Seenotrettung (Augsburger Allgeimeine (18.7., die AA zitiert eine Civey-Umfrage mit 5076 Teilnehmern aus dem Internet, die auch nirgends aufzuspüren ist.

    • Wie beurteilen Sie die Arbeit privater Rettungsschiffe, die Geflüchtete im Mittelmeer aufnehmen? (32% positiv, 54% negativ, Trend zum Negativen).
  4. Fehlerspannenrechner (SurveyMonkey): Berechnen Sie Ihre Fehlerspanne (bei der Eingabe ist das Feld 3 für die Stichprobengröße falsch beschriftet).
  5. Quantile der Standardnormalverteilung (Uni Freiburg, Stochastik): Für 95% wird das Quantil 1,6449 abgelesen.z1α/2=z0.9751.

Links zu wissenbloggt-Artikeln:

Mehr zum Thema:
Dieser Beitrag wurde unter Wissenschaft veröffentlicht. Setze ein Lesezeichen auf den Permalink.

Eine Antwort auf Umfragen: dreimal selbe Frage, dreimal andere Antwort

  1. Saco sagt:

    Vor gut 15 Jahren gab es eine Studie über weibliche Homone in der Menopause. Danach wurden sie verdammt. Sie sollten Brustkrebs auslösen. In erheblichem Maß. Lauter Aufschrei bei den Geschädigten.

    Doch man hatte am falschen Kollektiv untersucht. Heute weiß man es besser. Diese Hormone schützen die Gefäße vor Verkalung, Haut und Schleimhäute bleiben geschmeidig, die Knochenentkalkung wird vermindert. Wenn man 2x im Jahr zum Busenabtasten geht, ist das zusätzliche Risiko des Brustkrebses gering. so siehts man heute. 

    Schlimm wird es in der Medizin, wenn man vorher ein Ergebnis festlegt, also auf ein Ergebnis fixiert ist, und es mit einer "Studie" "belegt". Das gibt es häufiger in der Medizin. 

Schreibe einen Kommentar