Das Forschungsteam X testet die Hypothese, Medikament M sei wirksamer als ein Placebo. Das Experiment ergibt aber keinen Wirkungsunterschied. Wird es diese Studie in einer Fachzeitschrift veröffentlichen (A) oder in der Schublade verschwinden lassen (B)?
Das Forschungsteam X hat sich entschlossen, das negative Ergebnis zu publizieren und reicht die Studie bei einer Fachzeitschrift Y ein. Wird das Journal die Untersuchung akzeptieren (A) oder verwerfen (B)?
Das Forschungsteam X schickt eine Pressemeldung über das negative Ergebnis der M-Studie an eine Tageszeitung Z. Wird die Tageszeitung darüber berichten (A) oder wird sie diese Meldung als nicht interessant verschmähen (B).
Es versteht sich von selbst, dass der Erkenntnisstand der Wissenschaft in Fachzeitschriften und in den Publikumsmedien nur dann unverzerrt dargestellt wird, wenn stets die Alternative A gewählt wird. Im Extremfall ist Folgendes denkbar: Es werden hundert Studien durchgeführt. In Wirklichkeit gibt es keinen realen Effekt in den untersuchten Bereichen. Aber nach den Gesetzen der Wahrscheinlichkeitslehre wird sich, in Abhängigkeit vom gewählten Signifikanzniveau, ein Teil der Studien als “statistisch signifikant” erweisen. Bei einer Irrtumswahrscheinlichkeit von fünf Prozent darf man erwarten, dass eine von zwanzig oder fünf von hundert Studien scheinbar “statistisch signifikant” sind, obwohl in Wirklichkeit kein Effekt existiert. Wenn nur signifikante Ergebnisse veröffentlicht werden, führt dies naturgemäß in diesem Fall dazu, dass die Fachliteratur eine Beziehung zwischen Variablen (also beispielsweise zwischen einem Medikament und dem Zustand der Patienten) vorgaukelt, die in Wirklichkeit nicht vorhanden ist.
Dieses Phänomen wird als “Publikation Bias” bezeichnet: Untersuchungen, die eine Hypothese bestätigen, haben eine größere Veröffentlichungschance als Studien, die keine der erwarteten oder gar erhofften Zusammenhänge entdecken konnten. Der “Publication Bias” ist umso größer, je wahrscheinlicher B und je unwahrscheinlicher A ist. Es ist schwierig, das Ausmaß dieses Phänomens abzuschätzen, da die Entscheidungen zur Veröffentlichung oder Nicht-Veröffentlichung ja in der Regel im “stillen Kämmerlein” gefällt werden. Dennoch gibt es zahllose Hinweise, teilweise auch hieb- und stichfeste Beweise, dass der “Publication Bias” existiert, eine erhebliche Rolle spielt und in Psychiatrie, Psychologie sowie kognitiver Neurowissenschaft besonders ausgeprägt ist.
X, Y und Z sind im Übrigen nur Beispiele für die Akteure, die bei diesem Phänomen eine Rolle spielen. Es gibt weitere, beispielsweise ein Gremium (W), das über Forschungsmittel entscheidet und eventuell dazu neigt, den Antrag des Forschungsteams X abzulehnen, weil es sich Jahre lang mit der Überprüfung einer Hypothese beschäftigt hat, die sich nicht bestätigen ließ. Nicht zu vergessen ist auch der Sponsor der Studie, V, der nicht das geringste Interesse an der Veröffentlichung eines Experiments hat, bei der sich beispielsweise das Medikament M nicht gegen ein Placebo durchsetzen konnte.
Der “Publication Bias” entsteht aber nicht nur dadurch, dass man Studien, die nicht ins Konzept passen, klammheimlich verschwinden lässt, sondern auch dadurch, dass Forschungsergebnisse einer Studie nur selektiv berichtet werden. Resultate, die den Hypothesen widersprechen, lässt man dabei untern Tisch fallen. Häufig werden auch die ursprünglichen Hypothesen nach Verwirklichung der Studie so verändert, dass sie zu den Daten passen (was man als wissenschaftliche Todsünde bezeichnen muss).
Es dürfte sich von selbst verstehen, dass durch den “Publication Bias” der Nutzen von Medikamenten, Therapien und sonstigen Maßnahmen übertrieben und die Schäden verharmlost werden. Im Folgenden werde ich einige Fälle referieren, in denen der Publication Bias nachgewiesen werden konnte.
Das Problem, dies sei vorausschickend noch einmal mit Nachdruck betont, beschränkt sich keineswegs auf die klinische Psychologie und Psychiatrie; es offenbart sich auch nicht nur in der Medizin, jedoch ist es in den genannten Disziplinen besonders ausgeprägt und schwerwiegend.
- In einer Studie von Fujian Song und Mitarbeitern zeigte sich, dass statistisch signifikante Ergebnisse medizinischer Kohortenstudien mit bis zu 2,4-mal größerer Wahrscheinlichkeit publiziert wurden als nicht signifikante (1).
- In seriösen Fachzeitschriften geben Gutachter Empfehlungen zur Veröffentlichung eines Artikels (peer review). In einer Studie wurde deutlich, dass Gutachter dazu neigten, Artikel zur Publikation vorzuschlagen, deren Ergebnisse ihrer eigenen Sichtweise entsprachen. Sie entdeckten auch häufiger Fehler in Studien, deren Resultate sie nicht mochten und wenn ihnen die Ergebnisse gefielen, beurteilten sie die Methodik der jeweiligen Studie auch positiver (2).
- H. Edmond Pigott und seine Mitarbeiter stellten einen grundlegenden “Publication Bias” in der Forschung zur Wirksamkeit von Antidepressiva fest. Grundlage ihrer Schlussfolgerung waren vier Meta-Analysen und die Daten der größten Studie zur Effizienz von Antidepressiva, die jemals verwirklicht wurde (STAR*D). Es zeigte sich zudem ein besonders krasses Phänomen: Forscher tendierten dazu,
- nicht jene Resultate zu berichten, die mit dem zuvor definierten Meßinstrument für den Erfolg gewonnen wurden, sofern diese negativ waren, sondern stattdessen
- mit einem anderen, sekundären oder neu eingeführten Meßinstrument erhobene positive Resultate zu veröffentlichen (3).
Eine unvollständige Berichterstattung über Resultate, verbunden mit einer Tendenz, nicht-signifikante Ergebnisse auszulassen, zeigte sich auch in einer Analyse von randomisierten Kontrollgruppen-Studien (4).
Erik H. Turner und Kollegen untersuchten den “Publication Bias” bei Forschungsberichten über Antidepressiva, die als Basis zur Zulassung bei der “Food and Drug Administration” (FDA), der in den Vereinigten Staaten dafür zuständigen Behörde, eingereicht worden waren. Sie identifizierten 74 Prä-Marketing-Experimente, die bei der FDA registriert worden waren. Durch Recherchen in den einschlägigen Datenbanken konnten sie nun die entsprechenden Veröffentlichungen in Fachzeitschriften identifizieren. Das Ergebnis:
Von den 74 registrierten Studien wurden 31 Prozent, die für 3449 Studienteilnehmer standen, nicht veröffentlicht. Ob und wie die Studien publiziert wurden, war mit dem Studienergebnis assoziiert. Insgesamt wurden 37 Studien, die von der FDA als positiv gesehen wurden, publiziert; eine Studie, die als positiv gesehen wurde, blieb unveröffentlicht. Studien, deren Ergebnisse die FDA als negativ oder fragwürdig einschätzte, wurden, mit drei Ausnahmen, entweder nicht veröffentlicht (22 Studien) oder in einer Weise veröffentlicht, die, nach unserer Auffassung, den Eindruck eines positiven Ergebnisses vermittelte (elf Studien). Gemessen an der publizierten Literatur, waren scheinbar 94 Prozent der Studien positiv. Im Kontrast dazu zeigte die FDA-Analyse, dass 51 Prozent positiv waren. Getrennte Meta-Analysen der FDA- und der Zeitschriften-Daten zeigten, das die Steigerung der Effektstärken (5) zwischen elf und 69 Prozent für die einzelnen Medikamente schwankte und insgesamt bei 32 Prozent lag (6).
Die obigen Beispiele sind nur eine kleine Auswahl aus der empirischen Literatur zum “Publication Bias” und verwandter Verzerrungen der Veröffentlichungspraxis. Einen guten Überblick zum Stand der Dinge in der Psychiatrie und Psychopharmakologie vermittelt Eric H. Turner in der Zeitschrift CNS Drugs. Seine Schlussfolgerung lautet:
“Der Publication Bias kompromittiert die Integrität der evidenz-basierten Medizin, weil er zu einer Überschätzung der Vorzüge von Medikamenten und zu einer Unterschätzung der Gefahren führt. Er wurde durchgängig in der von Experten begutachteten (peer-reviewed) medizinischen und naturwissenschaftlichen Literatur im Allgemeinen gefunden, deswegen sollte kein Medikament als frei von seinem Einfluss betrachtet werden. Jedoch müssen Psychiater sich dieses Problems besonders bewusst sein, weil die Medikamente, die sie verschreiben, zu den am meisten betroffenen zählen könnten (7).
In meinem Tagebuch-Eintrag vom 18. Juli 2014 habe ich hervorgehoben, dass einzelne Studien, für sich genommen, aus methodischen Gründen nicht als beweiskräftig betrachtet werden können und betont, dass erfolgreiche Replikationsversuche das Vertrauen in die Gültigkeit der Ergebnisse berechtigterweise steigern. Dies gilt aber nur unter der Voraussetzung, der der “Publication Bias” keine oder keine bedeutende Rolle spielt. Denn wenn ein erfolgreicher Replikationsversuch eine größere Wahrscheinlichkeit der Veröffentlichung hat als ein gescheiterter, verzerrt sich naturgemäß wieder das Bild.
Es dürfte sich von selbst verstehen, dass unser schärfstes Schwert zur Analyse der Standes der Forschung, nämlich die vollständige Erfassung und Bewertung aller zu einer Frage publizierten empirischen Arbeiten, durch die Existenz des “Publication Bias” und verwandter Verzerrungen stumpf werden kann, und das Ausmaß dieses Einflusses ist schwer abzuschätzen.
Es handelt sich hier keineswegs um ein ausschließlich wissenschaftliches Problem. Ein Beispiel, das der britische Psychiater Ben Goldacre in seinem Buch “Bad Pharma” vorträgt, beleuchtet dessen praktische Bedeutung:
Reboxetin ist ein Medikament zur Behandlung von Depressionen. Goldacre verschrieb es einst einem Patienten, bei dem sonst nichts half. Der Arzt hatte die Literatur zu dieser Substanz konsultiert und nur gut geplante Studien mit überwältigend positiven Ergebnissen gefunden. Jahre später allerdings stellte sich heraus, dass er und viele andere Ärzte in die Irre geführt worden waren.
Eine gründliche Meta-Analyse, die auch nicht veröffentlichte Studien einbezog, zeigte ein ernüchterndes Bild (9): Sieben Studien hatten Reboxetin mit einem Placebo verglichen. Nur eine davon, die mit 254 Patienten verwirklicht wurde, zeigte ein positives Ergebnis. Und genau diese Studie wurde in einem akademischen Journal publiziert. Doch bei den sechs weiteren Studien, die fast zehnmal so viele Patienten umfassten, ergab sich, dass dieses “Medikament” nicht besser war als ein Placebo. Keine dieser wenig schmeichelhaften Untersuchungen wurde veröffentlicht.
Doch es kam noch schlimmer. Reboxetin wurde auch mit anderen Antidepressiva verglichen. In drei kleineren Studien mit insgesamt 507 Patienten stellte sich die Substanz als gleichwertig heraus. Diese Studien erschienen in Fachzeitschriften. Doch Experimente mit 1657 Patienten erblickten niemals das Licht der Fachöffentlichkeit, und diese Experimente zeigten, dass Patienten, die Reboxetin erhielten, schlechter abschnitten als Patienten, die mit anderen Antidepressiva versorgt wurden.
Ein Blick auf die unveröffentlichten Daten ließ noch in weitere Abgründe blicken: Das “Medikament” hatte mit größerer Wahrscheinlichkeit Nebenwirkungen und deswegen beendeten auch mehr Patienten ihre Teilnahme an den Experimenten als Versuchsteilnehmer, die andere Antidepressiva erhielten.
Goldacre findet folgende starke Worte:
“Wenn Sie jemals in Zweifel sein sollten, warum mich die Geschichten in meinem Buch zornig machten, … dann müssen sie sich nur diese Geschichte anschauen. Ich tat alles, was von einem Arzt erwartet wird. Ich las alle Artikel, ich bewertete sie kritisch, ich verstand sie, ich besprach sie mit dem Patienten, wir fällten gemeinsam eine Entscheidung, die auf der Evidenz basierte. In der veröffentlichten Literatur war Reboxetin ein sicheres und effektives Medikament. In Wirklichkeit war es nicht besser als eine Zuckerpille, und schlimmer, es schädigte mehr als es nutzte. Als Arzt tat ich etwas, auf Grundlage aller Evidenz, was meinem Patienten schadete, einfach darum, weil die nicht schmeichelhaften Daten nicht veröffentlicht wurden (8).”
Goldacre bezieht sich auf eine Studie (9), die im Übrigen keinen Zweifel daran lässt, dass sein Zorn gerechtfertigt ist:
“Unsere Analyse einer umfassenden Evidenzbasis publizierter und nicht-publizierter Experimente zu Reboxetin verglichen mit Placebo oder SSRI bei Erwachsenen mit einer Major Depression besagt, dass Reboxetin, insgesamt, ein ineffektives und potenziell schädigendes Antidepressivum ist. Die veröffentlichte Evidenz zu Reboxetin wurde substanziell durch den Publication Bias beeinträchtigt…”
Es ist traurig, aber unvermeidlich, aus den geschilderten Sachverhalten folgende Schlussfolgerungen zu ziehen:
- Auch wenn der Arzt gut informiert ist und den Patienten sachgerecht, dem Stand seiner Kenntnisse entsprechend informiert, kann der Patient nicht darauf vertrauen, ein wirksames Medikament zu erhalten.
- Er muss sogar damit rechnen, dass ihm das verschriebene Medikament mehr schadet als vergleichbare Medikamente.
- Er muss es generell für wahrscheinlich halten, dass auch sachgerechte, dem Stand der veröffentlichten Literatur entsprechende Informationen den potenziellen Nutzen des Medikaments übertreiben und den möglichen Schaden verharmlosen.
PS: Besonders Gewitzte könnten einwenden, dass die Literatur zum Nachweis des “Publication Bias” vielleicht ebenfalls einem “Publication Bias” unterliege und deswegen skeptisch betrachtet werden müsse. Diese Argumentation setzt aber genau das Phänomen als existierend voraus, dessen Existenz bezweifelt werden soll.
Anmerkungen
(1) Song, F. et al. (2010). Dissemination and publication of research findings: an updated review of related biases. Health Technol Assess, 14 (8), Seite 12
(2) Emerson, G. B. et al. (2010). Testing for the Presence of Positive Outcome Bias in Peer Review. Arch Int. Med. Nov 22; 170 (21): 1934-1939
(3) Pigott, H. E. et al. (2010). Efficacy and Effectiveness of Antidepressants: Current Status of Research. Psychother Psychosom 2010;79:267–279
(4) Chan A. W. & Altman, D. G. (2005). Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors. BMJ, Apr 2;330(7494):753
(5) Die Effektstärke ist in diesem Zusammenhang ein Maß für das Ausmaß der Überlegenheit des Antidepressivums gegenüber einem Placebo.
(6) Turner, E. H. et al. (2008). Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy. N Engl J Med, 358:252-60
(7) Turner, E. H. (). Publication Bias, with a Focus on Psychiatry: Causes and Solutions. CNS Drugs (2013) 27:457–468
(8) Goldacre, B. (2012). Bad Pharma. London: Fourth Estate
(9) Eyding, D. et al. (2010). Reboxetine for acute treatment of major depression: systematic review and meta-analysis of published and unpublished placebo and selective serotonin reuptake inhibitor controlled trials, BMJ, Oct 12, 341:c4737
The post Publication Bias appeared first on Pflasterritzenflora.