Statistik, Wahn und Wirklichkeit

Big Bad Pharma

Dank vorgerückten Alters kommt es nur noch selten vor, dass mich Bücher wütend machen. Unlängst las ich eins, das mich rasend wütend machte: Ben Goldacres “Bad Pharma” (1). Der Autor, ein britischer Psychiater und Philosoph, weist akribisch nach, dass große Teile der empirischen medizinischen Forschung die elementaren Grundsätze der Statistik missachten; und dies ist durchgängig vor allem dann der Fall, wenn es um Medikamente geht und der Geldgeber dieser Forschungen die Pharma-Wirtschaft ist.

Es handelt sich hier nicht etwa um Grundsätze, die nur die Spitzen der mathematischen Wissenschaft verstehen und richtig einordnen können. Ganz und gar nicht. Studenten einschlägiger Disziplinen, die diese Grundsätze nicht verinnerlicht haben und zu erklären vermögen, dürfen ihr Studium getrost in den Wind schreiben. Auffällig ist auch, dass die Verstöße gegen diese Grundsätze keineswegs willkürlich erfolgen, sondern sich in aller Regel zugunsten der Auftraggeber dieser Studien auswirken; beispielsweise, wenn die Zulassung von (angeblichen) Heilmitteln auf dem Spiel steht.

Ben Goldacre nimmt kein Blatt vor den Mund. Medikamente würden, so schreibt er, von Leuten getestet, die sie herstellen. Die entsprechenden Versuche beruhten auf miserablen Versuchsplänen, die Versuchspersonen seien untypisch, nicht repräsentativ. Die Ergebnisse würden mit unangemessenen statistischen Methoden ausgewertet. Die Vorteile der getesteten Medikamente würden maßlos übertrieben und wenn die Ergebnisse den Herstellern nicht passten, dann würden sie schlicht und ergreifend unter den Teppich gekehrt. Verzerrt positive  Einschätzungen von Medikamente, die in angesehenen Fachzeitschriften unter dem Namen respektabler Wissenschaftler veröffentlicht werden, stammten sehr häufig aus der Feder von Ghostwritern, die auf der Gehaltsliste von Pharmaunternehmen stehen.

Goldacre gibt ein Beispiel: Ein Antidepressivum wurde siebenmal mit einem Placebo verglichen. Nur eine dieser Studien, mit 254 Patienten, zeigte ein positives Ergebnis. Nur diese Studie wurde in einer Fachzeitschrift veröffentlicht. Die restlichen Studien, die zehnmal so viel Patienten umfassten und keine Überlegenheit gegenüber dem Placeboeffekt nachweisen konnten, fielen unter den Tisch. Drei Studien verglichen dieses Antidepressivum mit bereits zugelassenen Medikamenten. Sie zeigten eine Überlegenheit des neuen gegenüber den vorhandenen und wurden publiziert. Sie bezogen sich aber insgesamt nur auf 507 Versuchspersonen. Die Auswertung der Daten von 1657 Patienten jedoch, bei denen schlechtere Resultate erzielt wurden als bei Versuchspersonen mit den alten Medikamenten, wurde nicht veröffentlicht (1).

Der irische Psychiater David Healy, der in seinen Studien zu ähnlichen Ergebnissen gelangt wie Goldacre, sprach unlängst auf einer Tagung der American Psychiatric Association. Er sagte, dass die Psychiatrie gerade dabei sei, professionellen Suizid zu begehen, da sie sich nicht mit der verhängnisvollen Beziehung zwischen Psychiatrie und Pharmaindustrie auseinandersetze. Was er seinen Kollegen vorwerfe, sei nicht, dass viele sich von der Pharmaindustrie bestechen, sondern dass sie sich von ihr, zum Schaden der Patienten, zum Narren halten ließen (7).

Hatte Churchill recht?

Bildnachweis: S. Hofschlaeger / pixelio.de

Vielen wird angesichts solcher Fakten Churchills berüchtigter Spruch in den Sinn kommen: “Ich glaube an keine Statistik, die ich nicht selbst gefälscht habe.” Es scheint sich dabei, was den Urheber betrifft, zwar eher um ein Gerücht, als um ein Zitat zu handeln; Fakt aber ist, dass es vielen Leuten aus der Seele spricht – und zwar vor allem jenen Leuten, die an Statistik glauben müssen, weil sie darüber nichts wissen.

Wer nämlich etwas von den mathematischen und logischen Grundlagen der Statistik und Forschungsmethodik versteht, der erkennt mitunter sehr schnell, ob die Schlussfolgerungen, die in Forschungsberichten aus statistischen Daten gezogen werden, angesichts der Stärken und Schwächen des Studien-Designs gerechtfertigt sind oder nicht. Wenn beispielsweise zu Beginn eines Artikels über eine Studie nicht der bisherige Forschungsstand aufgelistet wird (wobei dann auch eventuelle Studien mit entgegengesetzten Resultaten aufgeführt werden müssten), dann darf man sich zu Misstrauen durchaus berechtigt fühlen.

Die Tatsache, dass statistische Methoden missbraucht, Daten gefälscht oder verfälscht und dass Zahlen, die nicht ins Konzept passen, unter den Teppich gekehrt werden, sollte nicht dazu verführen, statistische Methoden in Bausch und Bogen zu verdammen. Stimmig eingesetzt und mit Bedacht interpretiert, ist die Statistik ein unverzichtbares Hilfsmittel jeder Forschung, die sich mit menschlichem Verhalten und Erleben auseinandersetzt.

Alternative?

Was wäre denn auch die Alternative zur Statistik? Ein Beispiel: Alle Menschen haben ein mehr oder weniger ausgeprägtes Interesse daran, nicht Opfer von Gewalttaten zu werden. Nun wird die Hypothese vorgetragen, dass Menschen mit “Wahnerkrankungen” besonders gefährlich seien. Wie will man diese Frage klären, ohne Statistiken zu erheben und diese zufallskritisch auszuwerten? Alle denkbaren Alternativen hierzu wollen mir nicht so recht behagen:

• Man könnte Psychiater fragen, die als Experten für “Wahnerkrankungen” und psychogene Gewalttätigkeit gelten. Wenn es aber keine Statistiken gibt, auf die sie sich berufen könnten, dann bliebe nur nur ihr theoretisches Wissen, ihre Berufs- und Lebenserfahrung als Grundlage ihrer Einschätzung übrig. Wer sich nicht darauf beschränken will, den Experten ehrfurchtsstarr Glauben zu schenken, der muss sich fragen, wie man die Expertenmeinung wissenschaftlich überprüfen könnte. Mir fällt kein anderes Mittel als die Statistik ein.
• Man könnte auf Volkes Stimme hören. An Stammtischen finden sich zum Thema “Wahn und Gewalt” sicher zahllose Experten, unter denen möglicherweise eine größere Einigkeit besteht als unter den Fachleuten der Psychiatrie. Allein: obwohl ich leidenschaftlicher Demokrat bin, will ich mich der Einsicht nicht verschließen, dass man über die Wahrheit nicht abstimmen kann. Die Hypothese, dass “Wahnsinnige” gefährlicher seien als andere Leute, wird nicht dadurch bewiesen, dass eine Mehrheit davon überzeugt ist. Schließlich glaubte ja auch einmal eine Mehrheit der Deutschen, dass Hitler der Retter Deutschlands sei. Die Realität widerlegte diesen Glauben.

“Ein empirisch-wissenschaftliches System muss an der Erfahrung scheitern können (2).” Diese Forderung des Philosophen und Wissenschaftstheoretikers Karl Popper halte ich für elementar. Wenn eine Theorie aus prinzipiellen Gründen nicht widerlegt werden kann (weil sie selbstimmunisierend formuliert wurde), dann kann sie nicht den Anspruch erheben, empirisch-wissenschaftlich zu sein.

Was bedeutet dies nun für die Hypothese, dass “Wahnsinnige” gefährlicher seien als normale Leute? Zunächst einmal brauchen wir eine Theorie des Wahns und seiner Beziehung zur Gewalttätigkeit, die sich empirisch testen lässt. Dies ist aber nur möglich, wenn wir zunächst definieren, was wir unter Wahn und Gewalttätigkeit verstehen wollen.

Dies scheint bei der Gewalttätigkeit auf den ersten Blick einfacher zu sein als beim Wahn; schaut man aber genauer hin, dann wird es gleich komplizierter: Soll nur physische Gewalt berücksichtigt werden oder auch verbale? Soll auch der Kontext der Tat berücksichtigt werden? Schließlich kommt es beispielsweise auf das Verhältnis zwischen “Täter” und “Opfer” an, ob ein Puff in die Rippen als Aggression oder als freundschaftliche Geste empfunden wird.

Um “Wahn” und “Gefährlichkeit” miteinander korrelieren zu können, brauchen wir Maßstäbe, mit denen wir die Ausprägung dieser beiden Phänomene bei einem Menschen feststellen können. Damit wir einen solchen Maßstab für den Wahn entwickeln können, benötigen wir zunächst einmal eine wissenschaftlich tragfähige Definition des Wahns.

Das DSM IV, die Vorläufer-Version des derzeit aktuellen Diagnosemanuals der “American Psychiatric Association” DSM-5, definiert den Wahn wie folgt:

Delusion. A false belief based on incorrect inference about external reality that is firmly sustained despite what almost everyone else believes and despite what constitutes incontrovertible and obvious proof or evidence to the contrary. The belief is not one ordinarily accepted by other members of the person’s culture or subculture (e.g., it is not an article of religious faith). When a false belief involves a value judgment, it is regarded as a delusion only when the judgment is so extreme as to defy credibility (3).

Diese psychiatrische Definition wirft einige Fragen auf:

1. Wie stellt man fest, dass eine Überzeugung auf einer falschen Schlussfolgerung über die externe Realität beruht?
2. Warum ist der Widerspruch zwischen der eigenen Meinung und der Mehrheitsmeinung ein Kriterium für Wahn?
3. Was lässt sich eigentlich in unserer realen Welt unwiderlegbar beweisen?
4. Warum sind angeblich Überzeugungen nicht wahnhaft, wenn sie, wie beispielsweise religiöse Glaubensartikel, von einer Mehrheit in der jeweiligen Bezugsgruppe geteilt werden?
5. Wann sind Werturteile so extrem, dass sie unglaubwürdig sind?

Die Autoren der aktuellen Version des DSM, DSM-5 waren sich dieser Schwierigkeiten wohl bewusst. Nach dieser Version wird dem Psychiater nicht mehr abverlangt zu entscheiden, ob der Patient im Sinne der Definition des DSM IV einem falschen Glauben anhängt. Entscheidend ist nunmehr nicht, was er glaubt, sondern wie er es glaubt. Es geht vor allem darum, wie er mit Gegenargumenten umgeht und ob er bereit ist, aus guten Gründen Bezweifelbares auch in Zweifel zu ziehen. Wer von klaren Beweisen oder plausiblen Erwägungen unbeeinflusst starr an seinen Überzeugungen festhält, leidet aus dieser neuen Sicht an einem Wahn, unabhängig davon, dass sich dieser Glaube als wahr herausstellen könnte (8).

Wenn ein Psychiater, der einst Gustl Mollath als wahnhaft einstufte, weil er seine Schwarzgeldgeschichten für frei erfunden und nicht plausibel erachtete, den knorrigen Franken heute nach wie vor für verrückt hält, obwohl dessen Geschichten im Licht neuer Fakten durchaus plausibel erscheinen, so kann er sich auf dieses neue Verständnis des Wahns berufen. Schließlich hält Mollath ja immer noch unbeirrbar an ihnen fest und riskiert dadurch etwaigen weiteren Ärger (wenn das nicht verrückt ist).

Nach Sichtung der einschlägigen psychiatrischen Literatur zu diesem Thema musste ich feststellen, dass sich die von mir gesichteten Wahndefinitionen auf dem Niveau der alten DSM-Definition bewegen – und wenn mir hier nichts entgangen sein sollte, dann genügen sie durchgängig den Erfordernissen empirischer Forschung nicht. Sie sind nicht operationalisierbar. Die Anwendung solcher diagnostischen Kriterien wird stets hochgradig subjektiv sein; sie konterkarieren also das Streben der empirischen Forschung nach Objektivität. Wenn empirische Forschung nicht Objektivität zum Ziel hätte, dann wäre sie überflüssig.

Was sagt der Psychologe dazu?

Kein Psychologe besteht auch nur das Vordiplom, wenn er nicht die Grundsätze der empirischen Forschung beherrscht und die Voraussetzungen für die Anwendung statistischer Methoden kennt. So jedenfalls war es zu meiner Zeit dort, wo ich studiert habe (PI der TU Braunschweig). Diese auf (selektiver) Erfahrung beruhende Überzeugung gab mir Hoffnung, in psychologischen Texten eine besser geeignete Wahndefinition zu finden.

Auf der Website des Psychologen Rudolf Sponsel habe ich folgende Definition des Wahns entdeckt:

“Wahn liegt vor, wenn mit rational unkorrigierbarer Gewissheit ein falsches Modell der Wirklichkeit oder ein falscher Erkenntnisweg zu einem richtigen oder falschen Modell der Wirklichkeit vertreten wird.”

Sponsel ist Psychotherapeut und forensischer Sachverständiger. Was er hier zum Wahn schreibt, wirft drei Fragen auf:

1. Wie unterscheidet man richtige von falschen Modellen der Wirklichkeit?
2. Wie unterscheidet man richtige von falschen Erkenntniswegen zu Wirklichkeitsmodellen?
3. Ist die Dimension “richtig – falsch” überhaupt geeignet, um Wirklichkeitsmodelle zu unterscheiden?

Die hier genannte dritte Frage ist die entscheidende, denn wir können uns die Auseinandersetzung mit den ersten beiden ersparen, wenn wir die dritte verneinen müssen.

Die Frage des Verhältnisses von Modell und Wirklichkeit ist Gegenstand philosophischer Debatten. Es stehen sich zwei Grundpositionen gegenüber. Die Realisten behaupten, tragfähige Modelle seien Annäherungen an die Wirklichkeit, wohingegen die Anti-Realisten davon überzeugt sind, Modelle hätten sich in einem quasi-darwinistischen Prozesse gegen andere durchgesetzt, weil sie sich zur Bewältigung bestimmter Aufgaben als nützlicher erwiesen hätten. Aus dieser Sicht geht es also nicht um Wahrheit oder Falschheit, sondern um die Angemessenheit von Modellen, in Abhängigkeit von ihrer jeweiligen Zielsetzung.

Das realistische Modell-Konzept setzt eine exakte empirische Überprüfbarkeit der Modellannahmen voraus, denn anders könnte man ja eine Annäherung des Modells an die Wirklichkeit gar nicht feststellen. Man muss also durch empirische Untersuchungen überprüfen können, ab eine Modellannahme wahr oder falsch ist. Sponsel ist demnach (implizit) ein Modell-Realist.

Das anti-realistische Modell-Konzept verzichtet demgegenüber auf die Unterstellung, dass ein Modell eine Annäherung an die Wirklichkeit sei oder sein könne. Ein nützliches Modell der Wirklichkeit muss keineswegs wahr sein. Das Ptolemäische Weltbild hat zweifellos der empirischen Überprüfung nicht standgehalten. Es wäre aber durchaus nützlich, wenn man damit den Kurs einer Rakete zum Mond berechnen wollte. Das Gefährt würde nur unweit von der Stelle landen, wo es bei einer Kursbestimmung auf moderner Grundlage aufsetzen würde. Im Ptolemäische Weltbild dreht sich die Sonne um die Erde; es ist heutiger Anschauung also fundamental entgegengesetzt.

Nun gilt es zu bedenken, dass Sponsel keine Definition für den Wahn von Wissenschaftlern vorschlagen möchte, sondern eine allgemein gültige. Im Alltag lassen wir uns aber von Wirklichkeitsmodellen leiten, die allenfalls zu einem sehr geringen Teil empirisch überprüft wurden und die sich teilweise auch gar nicht überprüfen lassen, jedenfalls nicht mit vertretbarem Aufwand. Es ist daher nicht sinnvoll, auf derartige Wirklichkeitsmodelle das realistische Modellkonzept anzuwenden.

Sponsels Wahn-Definition taugt daher nicht für die empirische Forschung und auch nicht zur Überprüfung des Zusammenhangs von Wahn und Gefährlichkeit, weil sie ihren Gegenstand verfehlt (6). Beispiel: Ein Mensch fühlt sich von einem Geheimdienst verfolgt. Wie will man überprüfen, ob dies stimmt? Findet man keine Anzeichen geheimdienstlicher Tätigkeit, dann gibt es diverse Interpretationsmöglichkeiten, beispielsweise: Der Geheimdienst interessiert sich gar nicht für diesen Menschen (a); wir haben gründlich genug gesucht (b); der Geheimdienst versteht sein Handwerk und tarnt seine Überwachung besonders gut (c).

Meine Durchsicht der relevanten psychologischen Literatur zu diesem Thema zeigte ein ähnliches Ergebnis wie meine Analyse vergleichbarer psychiatrischer Arbeiten: Sponsels Definition ist durchaus repräsentativ für das, was sich Psychologen zum Wahn haben einfallen lassen. Weder die psychologischen, noch die psychiatrischen Wahndefinitionen eignen sich zur Konstruktion von geeigneten Messinstrumenten. Dies ist besonders betrüblich angesichts der Tatsache, dass Psychologen während ihres Studiums mit den Essentials empirischer Forschung vertraut gemacht werden.

Konsequenzen

Was immer ein Wahn sein mag: Es kann wohl nicht daran gezweifelt werden, dass man ihn nicht direkt beobachten kann. Bisher jedenfalls wurden noch keine Hirnprozesse identifiziert, die man eindeutig für einen Wahn, was immer das sein mag, verantwortlich machen kann (5). Ein Wahn kann also nur als eine dem Verhalten und Erleben zugrunde liegende Dimension betrachtet werden, deren Ausprägung durch Indikatoren erschlossen werden muss. Welche Indikatoren verraten mir also, dass jemand unkorrigierbar an etwas erwiesenermaßen Falsches glaubt, dass er sich hartnäckig weigert, von einem falschen Modell der Wirklichkeit Abstand zu nehmen?

Ob jemand prinzipiell einer Korrektur falscher Auffassungen nicht zugänglich ist oder ob er bisher nur unzulänglichen Korrekturversuchen widerstanden hat, ist zweifellos eine nicht leicht zu entscheidende Frage. Und ob wir nicht am Ende als die Blamierten dastehen, weil der Wahnsinnige, wie beispielsweise im Fall Mollath, tatsächlich recht hatte, können wir auch nicht sicher wissen.

Man muss kein ausgefuchster Statistiker sein, um zu erkennen, dass man “empirischen” Studien zum Zusammenhang zwischen Wahn und Gefährlichkeit angesichts solcher offenen Fragen mit äußerster Skepsis begegnet werden muss. Der mathematische Apparat arbeitet, regelgerecht eingesetzt, präzise wie ein Uhrwerk. Doch wenn er mit unzulänglichen Daten gefüttert wird, dann kommt dennoch nichts Gutes dabei heraus. Dies gilt grundsätzlich für alle Forschungen mit vagen Konzepten und unreliablen sowie invaliden Messinstrumenten. Garbage in – garbage out.

Nehmen wir einmal an, jemand möchte ein Medikament zur Dämpfung von Gewaltneigungen bei “Wahnkranken” auf den Markt werden. Dieses Mittel wird bei 50 “Wahnkranken” getestet; weitere 50 erhalten ein Placebo. Wir überprüfen die Hypothese, dass das Medikament besser wirkt als ein Placebo, anhand von 20 Indikatoren für Gewaltneigung mit einer Irrtumswahrscheinlichkeit von 5 Prozent (also dem üblichen Risiko). Nach den Gesetzen der Wahrscheinlichkeit müssen wir auch dann mit einem scheinbar signifikanten Unterschied bei den zwanzig Kriterien rechnen, wenn das Medikament de facto nicht wirksamer ist als ein Placebo. Nehmen wir einmal an, der irrtümlich signifikante Indikator sei “verbale Aggression nach Stressinduktion”. Vergessen wir alles, was wir über Statistik und Wahrscheinlichkeitstheorie gelernt haben; behaupten wir frech: “Das neue Medikament wirkt. Statistisch signifikant reagieren die Medikamentierten seltener verbal aggressiv in Stress-Situationen als die Teilnehmer einer Placebo-Kontrollgruppe.”

Und so kann ein neues, “effektives” Medikament für “Wahnkranke” seinen Siegeszug auf dem Markt antreten. Es ist wissenschaftlich erwiesen, so lautet unsere Werbebotschaft, dass dieses neue Medikament die Aggressivität von paranoiden Schizophrenen senkt. Wirklich?

1. Da wir unsere “Wahnkranken” mit einem invaliden Messinstrument ausgewählt haben, wissen wir gar nicht, ob sie tatsächlich “wahnkrank” sind.
2. Da mit einem irrtümlich signifikanten Ergebnis zu rechnen war, wissen wir auch nicht, ob unser Medikament tatsächlich effektiver ist als ein Placebo.
3. Daher haben wir hier ein Medikament, dass bei mutmaßlichen Wahnkranken mutmaßlich die Wahrscheinlichkeit verbaler Aggression in experimentell hervorgerufenen Stress-Situationen vermindert.

• Wissenschaftlich korrekt wäre es gewesen, vor der Untersuchung die Hypothese aufzustellen, dass mein Medikament die verbale Aggression in induzierten Stress-Situationen reduziert und dann auch nur diesen Zusammenhang zu überprüfen.
• Wissenschaftlich korrekt wäre es gewesen, die “Wahnkranken” zunächst mit einem validen und reliablen Messinstrument auszuwählen.
• Wissenschaftlich korrekt wäre es gewesen, diese Studie mehrmals an Forschungsinstitutionen in unterschiedlichen Weltgegenden durchzuführen (Versuch der Replikation).
• Wissenschaftliche Korrektheit ist im heutigen Forschungsbetrieb allerdings eine nur sehr selten gelebte Tugend.

Unreliable und invalide Messinstrumente gleichen blinden Hühnern, die durchaus auch einmal ein Korn finden. Es ist aber hochgradig unwahrscheinlich, dass man mit derartigen Instrumenten eine tragfähige wissenschaftliche Grundlage für Maßnahmen schaffen kann, die Menschen in seelischen Notlagen tatsächlich helfen.

Dies scheinen allerdings inzwischen auch die klügeren Leute in der Pharma-Wirtschaft einzusehen. Der Neurowissenschaftler und Top-Pharma-Manager H. Christian Fibiger unterzieht die psychiatrische Forschung im Schizophrenia Bulletin (4) einer scharfen Kritik und schreibt:

“Given that there cannot be a coherent biology for syndromes as heterogeneous as schizophrenia, it is not surprising that the field has failed to validate distinct molecular targets for the purpose of developing mechanistically novel therapeutics.”

Die psychiatrische Diagnose der “Schizophrenie” ist so heterogen, würfelt Menschen mit dem unterschiedlichsten Eigenarten wahllos zusammen, dass sie weder einer “kohärenten Biologie” entspricht, noch eine Grundlage dafür bietet, neue, effektive Medikamente zu entwickeln. Dies gilt im Grunde für alle psychiatrischen “Syndrome”.

Und wo bleibt das Subjektive

Manche werden nun einwenden, dass sich “psychische Krankheiten” eben nicht so trennscharf voneinander abgrenzen ließen, wie dies aus wissenschaftlicher Sicht wünschenswert wäre. Gut, gesetzt den Fall, das wäre so: Was wollen wir dann abschaffen? Die Wissenschaft? Oder die psychiatrischen Diagnosen? Die psychiatrischen Diagnosen sind eindeutig ein Hemmschuh des wissenschaftlichen Fortschritts. (Dass sie vor allem auch diskriminierend und stigmatisierend sind, sei, da nicht Gegenstand dieses Eintrags, nur am Rande erwähnt.)

Vage Konstrukte mögen sich für hochgeistige Diskussionen und flammende Reden eignen; für die empirische Forschung taugen sie nichts. Empirisch kann man nur erforschen, was entweder direkt beobachtbar oder durch unzweifelhafte Indikatoren erschließbar ist. Begriffe wie “Wahn”, “psychische Krankheit”, “Schizophrenie”, “Depression”, “Multiple Persönlichkeit”, “Identitätsstörung” etc. sind Lichtjahre von wissenschaftlich brauchbaren Konzepten erfernt.

Dem Einwand, dass im menschlichen Seelenleben nun einmal nicht alles wissenschaftlich erforschbar sei, kann ich vollen Herzens zustimmen. Zum Glück. Die menschliche Subjektivität entzieht sich der Objektivierung. Wohl dem, der hier zu unterscheiden vermag. Doch leider können viele, viel zu viele dies nicht. Oder sie wollen es nicht. Ein forensischer Gutachter, der einem Angeklagten einen Wahn unterstellt und sich dabei im Brustton der Überzeugung auf wissenschaftliche Erkenntnisse beruft, kann oder will offenbar die momentanen und die grundsätzlichen Grenzen objektiven Wissens nicht zur Kenntnis nehmen.

Methodische Strenge

Statistische und andere mathematisch fundierte Methoden sind gerade deswegen auch so wichtig, weil sie uns die Grenzen dessen aufzeigen, was hinsichtlich menschlichen Verhaltens und Erlebens mit dem Anspruch auf Objektivität erfasst werden kann. Diese Funktion erfüllen diese exakt-wissenschaftlichen Methoden aber nur, wenn man sie fachgerecht einsetzt.

Wie ernst statistisch-methodische Strenge in der medizinischen Forschung genommen werden muss, demonstrierte vor einigen Jahren ein renommierter Medizin-Statistiker in einem viel beachteten Aufsatz.

Es gibt gute Gründe anzunehmen, dass die meisten veröffentlichten Forschungsergebnisse, die auf statistischen Auswertungen beruhen, falsch sind, obwohl die Resultate signifikant erscheinen. Dies hat John P. A. Ioannidis in einem methodisch sehr solide argumentierenden Artikel nachgewiesen, der von PLOS Medicine veröffentlicht wurde.

Die Sachverhalte, auf die sich seine Erwägungen beziehen, sind nicht neu; sie wurden schon während meiner Statistikausbildung vor rund vierzig Jahren diskutiert (allerdings hinter vorgehaltener Hand). Interessant ist, dass sie nunmehr auch öffentlich angesprochen werden. Nicht nur Psychiatrie und Psychologie sind ins Wanken geraten, sondern auch der methodologische Apparat, auf dem diese Disziplinen fußen.

Die Auseinandersetzung mit diesem schwierigen Stoff setzt statistische Grundkenntnisse und ein entsprechendes Interesse voraus. Ich habe zunächst erwogen, die wichtigsten Gedanken hier in einer möglichst auch für interessierte Laien verständlichen Form vorzutragen, mich dann aber doch dagegen entschieden, weil der im Netz vorliegende Artikel im Grunde bereits die verständlichste und kürzeste Abhandlung dieses Themas darstellt, die ich mir vorstellen kann. Man möge dies also an Ort und Stelle nachlesen und nachvollziehen.

Replikation

Es gibt allerdings einen Ausweg aus diesem Dilemma, den Ramal Moonesinghe, Muin J Khoury, A. Cecile und J. W Janssens, ebenfalls in PLOS Medicine,  aufzeigen. Dieser Weg ist die Wiederholung von Experimenten mit unterschiedlichen Stichproben durch voneinander unabhängige Forscher. Es lässt sich nachweisen, dass die Wahrscheinlichkeit eines nicht nur scheinbar, sondern tatsächlich wahren Befundes mit der Zahl methodisch sauberer Replikationen steigt.

Auch dieser Ausweg ist im Übrigen keine neue Idee. Die mathematisch-statistischen Grundlagen dieser Erkenntnis sind Jahrzehnte alt.

Soweit die Theorie.

Leider sind Replikationsstudien in den Psycho-Wissenschaften nicht besonders populär. Matthew C. Makel, Jonathan A. Plucker und Boyd Hegarty untersuchten die 100 einflussreichsten Psychologie-Journale hinsichtlich der Anzahl veröffentlichter Replikationsstudien. Der durchschnittliche Prozentsatz betrug, sage und schreibe, nicht mehr als 1,07 Prozent. Davon allerdings war die der Mehrheit der Replikationen erfolgreich, vor allem dann, wenn die Autoren der Original- und der Replikationsstudie identisch waren (9).

Neurowissenschaften

Der Mangel an Replikationsstudien zeigt sich im Übrigen nicht nur in der Psychologie, sondern auch in den Neuro-Wissenschaften. Besonders betroffen sind hier die Forschungen zum Zusammenhang zwischen der Aktivität bestimmter Hirnregionen und menschlichem Verhalten und Erleben durch bildgebende Verfahren (Neuroimaging).

Hier scheinen sich viele Forscher des Problems noch nicht einmal bewusst zu sein, obwohl sie, folgt man den Überlegungen von Ioannidis, davon ganz besonders betroffen sind. In diesem Bereich enthalten die meisten Forschungsartikel noch nicht einmal alle relevanten Informationen, die für eine Replikation zwingend erforderlich sind.

Der interessierte Zeitungs- und Zeitschriftenleser wird tagtäglich mit Berichten über bahnbrechende neue Erkenntnisse in den Neuropsychowissenschaften überschwemmt. Pausenlos werden angeblich neuronale Korrelate normalen und abnormen menschlichen Verhaltens und Erlebens entdeckt – dank moderner Hightech-Apparate, rasend schneller Computer und präziser Auswertungsmethoden.

Der interessierte Zeitungs- und Zeitschriftenleser sollte sich jedoch klarmachen, dass die meisten dieser Erkenntnisse falsch sind. Die Medien sind nicht willens und angesichts der Personalnot wohl auch nicht in der Lage, die Pressemeldungen der Universitäten und Forschungsinstitute kritisch zu hinterfragen. Sie drucken sie einfach ab, wenn sie aktuell und interessant erscheinen.

Der Neurowissenschaftler Felix Hasler sagte in einem Spiegel-online-Interview (16.12.2012):

“Einige Hirnforscher reklamieren umfassende Welterklärungsansprüche, dabei sind ihre empirischen Daten zu komplexen Bewusstseinsvorgängen kaum belastbar. Die Wiederholbarkeit vieler Studien ist gering. Gerade bei der funktionellen Magnetresonanztomografie (fMRT) liegt die Überschneidung der Bildgebungsdaten bei Messwiederholung oft unter 30 Prozent. Kaum ein anderer Wissenschaftszweig würde damit durchkommen. Aber die Öffentlichkeit lässt sich gerne vom Neuroglamour blenden.”

Die Marketing-Maschine der Psychiatrie beruft sich exzessiv auf die neuesten Befunde der neurowissenschaftlichen Forschung zur Rechtfertigung psychiatrischer Behandlungsmethoden und insbesondere der Psychopharmakatherapie. Dass es sich hierbei tatsächlich um Marketing und nicht um wissenschaftliche Information handelt, kann angesichts des oben geschilderten Forschungsstandes wohl nicht ernsthaft bestritten werden.

Am 26. und 27. Oktober 2012 fand in Hamburg das “2. Symposium Bildgebung und Therapie in der Psychiatrie” statt. Folgt man Ioannidis und anderen Kennern der einschlägigen Forschungsmethodologie, so waren die meisten der dort vorgetragenen Erkenntnisse falsch, schlicht falsch. Neuroglamour?

PS: Ich plädiere keineswegs dafür, auf statistische Verfahren zu verzichten. Im Gegenteil. Man kann sie durchaus ertragreich einsetzen, wenn man sich klarmacht, was sie nicht leisten können. Sie sind keine Beweisverfahren; man kann mit ihnen aber Thesen erhärten, wenn sie sich in Replikationsstudien bewähren. Sie dienen vor allem der Orientierung im Dschungel der Daten. Verirren kann man sich dort aber auch mit den allerbesten Statistiken.

Anmerkungen

(1) Goldacre, B. (2012). Bad Pharma: How drug companies mislead doctors and harm patients. Fourth Estate: London (UK)

(2) Popper, K. (10. Aufl. 1994). Die Logik der Forschung. Tübungen: J.C. B. Mohr, Seite 15

(3) Diagnostic and Statistical Manual of Mental Disorders, DSM-IV 2000, p. 76

(4) Fibiger. H. C. (2012). Psychiatry, The Pharmaceutical Industry, and The Road to Better Therapeutics. Schizophrenia Bulletin, vol. 38 no. 4 pp. 649–650

(5) Kognitive Störungen mit wahnhaften Zügen bei bekannten neurologischen Erkrankungen sind ein anderes Thema.

(6) Meine These: Menschen sind von ihren Wirklichkeitsmodellen überzeugt, weil sie sich als nützlich erwiesen haben, und zwar nützlich hinsichtlich bestimmter, relevanter Ziele. Diese müssen den Anwendern dieser Modelle nicht unbedingt bewusst sein. Mitunter wäre es sogar peinlich, sie offen einzuräumen oder sie auch nur sich selbst heimlich einzugestehen. Dies trifft auch auf “wahnhafte” Wirklichkeitsmodelle zu.

(7)Szalavitz, M. (2012). Psychiatrist contends the field is ‘committing professional suicid’. Time (Health and Family), 5. Oktober 2012

(8) Bell, V. (2013). You needn’t be wrong to be called delusional. The Guardian (online) 4. August

(9) Matthew C. Makel, Jonathan A Plucker & Boyd Hegarty (2012). Replications in Psychology Research: How Often Do They Really Occur? Perspectives on Psychological Science, 7(6) 537­–542<