Wirteverband Basel-Stadt

Resultate stets kritisch hinterfragen!

Wissenschaft verliert an Glaubwürdigkeit…

Statistiken und Studien können verdreht und manipuliert werden, um fast jedes erwünschte Ergebnis zu erzielen. Aber wer einmal weiss, wie Zahlen schön gerechnet werden, wird Unehrlichkeit einfacher erkennen.

Im Bereich der Gesundheit, z.B. bei Untersuchungen zum Passivrauchen, wird fast immer die Epidemiologie genutzt, um zu Ergebnissen zu kommen. Deshalb ist das Verständnis ihrer Vorgehensweise der einzige Weg, um Fakten von Täuschungen zu unterscheiden. Das Ziel von epidemiologischen Studien ist es, das relative Risiko (RR) zu ermitteln. Ein RR von 1 bedeutet, dass das Risiko einer Gruppe gleich gross ist wie bei der Gesamtbevölkerung. Werte unter 1 deuten auf einen schützenden Effekt hin, Zahlen darüber bedeuten erhöhtes Risiko.

Die meisten Forscher halten ein RR von mindestens 2 für erforderlich, um einen klaren Ursache-Wirkungs-Zusammenhang aufzuzeigen. Diese Anforderung wird oft ignoriert: Wenn jemand von einem 20% grösseren Risiko spricht (RR 1.2), so ist das nicht sehr aussagekräftig. Wichtig ist es im übrigen auch, die genauen Zahlen zu kennen: Ein hohes RR ist kein Grund zur Sorge, wenn die absoluten Zahlen sehr tief sind.

Um die Genauigkeit des RR zu bestimmen, wird eine Spannweite von gültigen Werten verwendet, das so genannte Konfidenzintervall (CI). Je enger das CI, desto genauer ist die Studie. Das CI wird normalerweise mit einer statistischen Sicherheit von 95% berechnet. Studien mit höherer Fehlertoleranz sind wertlos.

Zahlreiche Störfaktoren (Confounder) können Ergebnisse beeinflussen. So muss beispielsweise eine Untersuchung über Passivrauchen folgendes berücksichtigen, wenn sie genau sein will: Alter, Geschlecht, Ausbildung, Beruf, Allergien, Nationalität, Rasse, Medikamenteneinnahme, Einhalten ärztlicher Verschreibungen, sozioökonomischer Status, Belastung durch andere Chemikalien, Alkoholkonsum, Drogenkonsum, Ernährung, familiäre Historie, häusliche Belastung durch Radon und vieles andere mehr.

Die wichtigste Lektion im Umgang mit Statistiken: Eine Korrelation zwischen zwei Dingen beweist nicht, dass eine eindeutige Kausalbeziehung besteht. So deuteten frühe epidemiologische Studien von Brustkrebs an, dass mehrfache Schwangerschaften einen schützenden Effekt haben, in Wahrheit ist es aber das Alter der Frau bei der ersten Schwangerschaft. Die Studien wurden sorgfältig durchgeführt, vor der Veröffentlichung kritisch überprüft, weithin anerkannt – und dennoch waren sie falsch. Ein einziger übersehener Confounder führte dazu. Die Epidemiologie kann deshalb nichts beweisen oder widerlegen! Sie kann nur als Richtschnur für die Menschen in den Labors dienen, die die wirkliche Forschung betreiben.

Achtung vor kleinen Samples: Alles, was weniger als einige Hundert Menschen beinhaltet, sollte kritisch betrachtet werden. Doch auch ein grosses Sample ist keine Garantie für Genauigkeit, wenn die Studie schlecht durchgeführt wurde. So können Umfragefehler zu erheblichen Verzerrungen führen. Bei retrospektiven Studien werden Teilnehmer nach Dingen gefragt, die vor langer Zeit stattfanden. Solche Daten sind nicht sehr verlässlich. Wer beispielsweise eine Krankheit hat, die mit dem Konsum von Fleisch zusammenhängt, wird sich wahrscheinlich an einen häufigeren Fleischkonsum "erinnern". Dieses Erinnerungsvorurteil nennt man Recall Bias.

Hinzu kommt, dass manche Menschen in einer Umfrage absichtlich lügen. Diesen Hang zur Falschangabe nennt man Misclassification Bias. Es gibt mathematische Methoden, um die Höhe dieser Fehler zu schätzen, aber der einzig saubere Weg ist es, die Daten zu verifizieren.

Frageformulierungen können das Ergebnis einer Umfrage stark verändern. Aus diesem Grund ist es wichtig, die tatsächlichen Fragen und deren Reihenfolge zu kennen.

Das Risiko sollte mit zunehmender Belastung anwachsen. Sonst ist es unwahrscheinlich, dass Ursache und Wirkung miteinander in Verbindung stehen. Diese Dosis-Wirkungs-Beziehung wird in einer grossen Anzahl von Studien einfach ignoriert, genauso wenig wie die biologische Plausibilität zu interessieren scheint.

Eine weitere Verfälschung geschieht durch den so genannten Publication Bias. Studien, die signifikante Risikoerhöhungen aufzeigen, werden nämlich häufiger veröffentlicht als Studien, die das nicht tun.

Um den Wert von Informationen einzuschätzen, müssen wir die Agenda der Forscher und der finanzierenden Organisationen kennen. Den Einfluss dieser Ziele nennt man Researcher Bias. Die meisten Menschen haben wohl zu recht kein Vertrauen gegenüber der Tabakindustrie, denn schliesslich will diese bloss sich selbst und die eigenen Produkte schützen. Aber auch Amtsstellen und Non-Profit-Organisationen verfolgen Ziele, weshalb sie zu selektiver Datenauswahl und unsachlicher Information neigen. Neben ihrer offiziellen Agenda wollen Regierungsstellen ihr Budget und ihren Einfluss erhöhen. Auch Wohlfahrtsorganisationen haben eine Agenda jenseits ihrer öffentlich verbreiteten Ziele: Sie wollen mehr Spenden sammeln und sich gegen die Konkurrenz behaupten.


Studienarten

Kohortenstudien folgen über einen bestimmten Zeitraum einer Gruppe von Menschen, die einer Substanz in verschiedener Häufigkeit ausgesetzt sind. Menschen bereits zu beobachten, bevor gesundheitliche Auswirkungen auftreten, reduziert die Gefahr systematischer Fehler und erhöht die Genauigkeit der Studie. Die Methode ist aber sehr teuer, weshalb sie selten angewendet wird.

Fall-Kontroll-Studien untersuchen zwei Gruppen von Menschen: Diejenigen, die bereits eine Krankheit haben, und eine Kontrollgruppe. Sie sind oft der einzig gangbare Weg, um seltene Krankheiten zu untersuchen.

Meta-Studien sind Analysen bereits bestehender Studien. Forscher sammeln Daten von anderen Studien, suchen sich die passenden heraus, fassen sie zusammen und kommen dann zu eigenen Ergebnissen. Genaue Ergebnisse erreicht man kaum und es ist sehr einfach, Resultate in eine gewünschte Richtung schön zu rechnen. Das simple Weglassen einiger Daten genügt. Ergebnisse von Meta-Studien sind mit höchster Vorsicht zu geniessen.

Dieser Text basiert auf einem englischsprachigen Artikel von Dave Hitt.


Wie seriös sind Studien?

Zahlreiche systematische Fehler können die Genauigkeit von Studien beeinträchtigen. Seien Sie stets kritisch und stellen Sie sich die folgenden Fragen:
• Um welche Art von Studie handelt es sich?
• Bei Meta-Analysen: Welche Agenda hat die finanzierende Einrichtung?
• Wie hoch ist das relative Risiko? Ist es höher als 2.0?
• Wie wurden die Daten gesammelt und verifiziert?
• Bei Umfragen: Wie lauteten die tatsächlichen Fragen?
• Wie gross war das Sample? Wie wurden die untersuchten Personen ausgewählt?
• Gibt es eine Dosis-Wirkungs-Beziehung?
• Welche Confounder wurden berücksichtigt?
• Welches Interesse könnte der Forscher oder der Auftraggeber am Ergebnis haben?

Weit schlimmer als einzelne manipulierte Studien ist der Versuch, die Meinung zu einem Thema zu monopolisieren und die Diskussion als abgeschlossen zu erklären. So reklamieren beispielsweise Gesundheits- und Umweltorganisationen oft für sich das gesicherte Wissen – und wer dieses anzweifelt, wird als "Leugner" diffamiert. So sollen Meinungen gleichgeschaltet werden, um politische Ziele zu erreichen (z.B. ein Rauchverbot). Dabei wäre es gerade ein Grundsatz seriöser Wissenschaft, dass alles kritisiert werden darf, denn Wissen muss revidierbar bleiben.