10 Gründe, warum wissenschaftliche Studien überraschend ungenau sein können

Unsere Gesellschaft feiert die Wissenschaft wegen ihrer Genauigkeit und Objektivität, und die breite Öffentlichkeit hält Beweise, die in wissenschaftlichen Fachzeitschriften veröffentlicht wurden, für unbestreitbar. Es gibt jedoch eine Reihe alarmierender Studien, die sich insbesondere auf die Life-Science-Forschung konzentrieren und darauf schließen lassen, dass wissenschaftliches Publizieren möglicherweise nicht so zuverlässig ist, wie wir glauben möchten.

10Viele präklinische Studien können nicht reproduziert werden

Derzeit wird viel über die Mechanismen von Krebs geforscht. Leider hat es sich als schwierig erwiesen, diese Forschung in die Suche nach Zielen für die Behandlung umzusetzen, wobei die Ausfallrate klinischer Studien in der Onkologie höher ist als in den meisten anderen Bereichen. Und es scheint, dass viele dieser Ausfälle auf Probleme mit der vorklinischen Forschung zurückzuführen sind, auf denen sie basierten.

Eine Überprüfung ergab, dass nur sechs von 53 vorklinischen Krebspapieren des Landes reproduzierbar waren. Viele der Studien, die nicht reproduziert werden konnten, verwendeten keine Blindversuche, dh die Tester wussten, ob sie sich mit der Kontrollgruppe oder der Experimentalgruppe beschäftigten, was möglicherweise zu einer Befangenheit der Forscher führte. Es wurde festgestellt, dass andere Studien nur die Ergebnisse präsentiert haben, die ihre Hypothese stützten, selbst wenn sie den Datensatz insgesamt nicht gut darstellen. Erstaunlicherweise gibt es keine spezifische Regel, die dies verhindert, und Papiere werden regelmäßig zur Veröffentlichung angenommen, ohne den gesamten erhaltenen Datensatz vorzulegen.

Eine andere Studie untersuchte 67 Studien, hauptsächlich auf dem Gebiet der Onkologie, und stellte fest, dass weniger als 25 Prozent der veröffentlichten Daten im Labor ohne größere Inkonsistenzen reproduziert werden konnten. Dies ist mittlerweile ein so häufiges Problem, dass Risikokapitalunternehmen offenbar eine unausgesprochene Regel haben, wonach rund 50 Prozent der akademischen Studien in ihren Industrielabors nicht reproduzierbar sein werden.

9Negative Ergebnisse werden häufig nicht veröffentlicht

Ein negatives Ergebnis tritt auf, wenn Forscher die Hypothese aufstellen, dass etwas passieren wird, sie dann aber feststellen, dass sie dieses Ergebnis nicht erzielen können. In einer Studie wurden zwischen 1990 und 2007 über 4.600 Artikel aus allen Disziplinen untersucht. Dabei wurde festgestellt, dass die Veröffentlichung positiver Ergebnisse in diesem Zeitraum um 22 Prozent zugenommen hatte. Bis 2007 berichteten erstaunliche 85,9 Prozent der Zeitungen über positive Ergebnisse. Dies wird durch Studien belegt, die zeigen, dass negative Sätze wie „keine signifikanten Unterschiede“ in der Nutzung zurückgegangen sind, während signifikante Ergebnisse mit größerer Wahrscheinlichkeit vollständig gemeldet werden. Wenn sie veröffentlicht werden, werden negative Ergebnisse wahrscheinlich nur in Zeitschriften mit geringen Auswirkungen angezeigt.

Dieser Publikationsbias wirft einige Probleme auf. Zunächst können Wissenschaftler oft nicht erkennen, ob bereits eine Studie durchgeführt wurde, was unnötige Wiederholungen bedeutet. Es kann auch Auswirkungen auf die Ergebnisse von Metaanalyse-Studien haben, in denen die gesamte Literatur zu einem bestimmten Thema verglichen wird. Publikationsbias führt auch zu einem erheblichen Druck, positive Ergebnisse zu erzielen, was zu überhöhten Ergebnissen, Fehlverhalten in der Forschung oder geringeren Risiken durch die Forscher führen kann. Wenn Ihre Karriere in der Zukunft hauptsächlich davon abhängt, ob Sie positive Ergebnisse für die Veröffentlichung erhalten können, hätte dies sicherlich Auswirkungen auf die Art und Weise, wie Sie Ihre Forschung gestalten und Ihre Ergebnisse interpretieren.

8Peer Review erkennt häufig keine großen Fehler

Das Bestehen des Peer-Review-Prozesses ist derzeit der Goldstandard für Forschungsarbeiten. Als Forscher jedoch absichtlich fehlerhafte biomedizinische Artikel an Peer-Reviewer eines großen akademischen Herausgebers übergaben, stellten sie fest, dass die Reviewer nur einen Durchschnitt von 2,58 von neun Hauptfehlern entdeckten. Noch beunruhigender war, dass das Training zur Verbesserung ihrer Leistung nur einen geringen Unterschied machte. Tatsächlich entdeckte ein Viertel der getesteten 607 Rezensenten einen oder weniger Fehler. (Aus Gründen der Fairness lehnten einige Rezensenten das Papier tatsächlich ab, ohne die Überprüfung abgeschlossen zu haben, was bedeutet, dass sie möglicherweise mehr Fehler gefunden hätten, wenn sie bis zum Ende fortgefahren wären.)

Reviewer waren besonders schlecht darin, Fehler im Zusammenhang mit der „Analyse von Daten und Inkonsistenzen bei der Berichterstellung von Ergebnissen“ zu entdecken. Dies hängt möglicherweise mit dem schlechten Verständnis von Statistiken unter Biologen zusammen. Der Bereich, der am wenigsten von Schulungen betroffen war, bestand darin, „die Studie in einen Kontext zu setzen, sowohl in Bezug auf die bereits bestehende Literatur als auch in Bezug auf die Auswirkungen der Ergebnisse auf Politik oder Praxis.“ Dies ist sinnvoll, wenn die Literatur zu einem bestimmten Thema gemeistert wird dauert lange zu erreichen.

Andere Studien kamen zu ähnlichen Ergebnissen. Einer stellte 221 Gutachtern ein zuvor veröffentlichtes Papier vor, das mit acht Fehlern modifiziert wurde. Im Durchschnitt haben die Prüfer nur zwei der neuen Fehler entdeckt. Ein anderer stellte fest, dass die Gutachter nicht mindestens 60 Prozent der Hauptfehler in einer Studie über Migräne aufgedeckt haben (obwohl die meisten Gutachter immer noch nicht empfohlen hatten, die Studie zur Veröffentlichung anzunehmen). Zusammenfassend deuten diese Arbeiten darauf hin, dass der Peer-Review-Prozess in den biomedizinischen Wissenschaften viel Raum für Verbesserungen bietet.

7Peer-Rezensenten werden im Laufe der Zeit schlechter

In einer 14-jährigen Studie wurden 2009 weitere Probleme mit dem Peer-Review-Prozess aufgezeigt. In der Studie, in der die Redakteure der Zeitschrift die Qualität der einzelnen Bewertungen einschätzten, ging die Peer-Reviewer-Leistung jedes Jahr um durchschnittlich rund 0,8 Prozent zurück. Diese Ergebnisse werden durch ein Papier von 2007 in gestützt PLOS-Medizin, die feststellten, dass keine Art von Ausbildung oder Erfahrung einen signifikanten Indikator für die Qualität der Prüfer darstellt, dass jüngere Wissenschaftler jedoch generell Bewertungen mit höherer Qualität zur Verfügung stellten. Eine Umfrage aus dem Jahr 1998 ergab auch, dass jüngere Wissenschaftler als Peer-Reviewer bessere Ergebnisse erzielten, während diejenigen in Redaktionen schlechter abschnitten.

Die Gründe für diesen Trend sind nicht klar, obwohl die Vorschläge einen kognitiven Rückgang, die Übernahme von Interessenkonflikten oder gestiegene Erwartungen an die Überprüfung beinhalten, wodurch die Arbeit im Laufe der Zeit schwieriger wird. Es gibt auch Hinweise darauf, dass ältere Gutachter eher vorzeitige Entscheidungen treffen, die Anforderungen für die Strukturierung einer Überprüfung nicht erfüllen und möglicherweise eine geringere Wissensbasis haben, wenn ihre Schulung veraltet ist. Dies ist besorgniserregend, da das zunehmende Alter oft mit zunehmender Autorität einhergeht.

6Meist abgelehnte Papiere werden eventuell an anderer Stelle veröffentlicht

Nach dem Peer-Review-Verfahren lehnen Zeitschriften ein Papier ab oder akzeptieren es zur Veröffentlichung. Aber was passiert mit diesen abgelehnten Papieren? Eine Studie folgte den von Arbeits- und Umweltmedizin54 Prozent von ihnen wurden schließlich an anderen Orten veröffentlicht. Interessanterweise wurde mehr als die Hälfte von einer Gruppe von sieben anderen wichtigen Zeitschriften auf demselben Gebiet veröffentlicht.

Eine ähnliche Studie ergab, dass 69 Prozent der von einer allgemeinen medizinischen Fachzeitschrift abgelehnten Artikel innerhalb von 552 Tagen an anderer Stelle veröffentlicht wurden, während bei einem anderen die Hälfte der Studien nachgelassen hatte Herz-Kreislauf-Forschung endete schließlich in einem anderen Journal. Eine vierte Studie zeigte, dass 56 Prozent der Papiere von der American Journal of Neuroradiology schließlich ein anderes Zuhause gefunden.

Bevor Sie in Panik geraten, kann dies einfach bedeuten, dass abgelehnte Papiere verbessert werden, bevor sie an andere Zeitschriften gesendet werden. Darüber hinaus werden nicht alle Papiere wegen schlechter Methodik abgelehnt. Populäre Zeitschriften sind aus Platzgründen oft schwer zugänglich, während viele Papiere abgelehnt werden, nur weil das Thema für die betreffende Zeitschrift möglicherweise nicht ganz richtig ist. (Das Herz-Kreislauf-Forschung Diese letzte Möglichkeit wurde von der Studie berücksichtigt, und es wurde festgestellt, dass die meisten später veröffentlichten Veröffentlichungen nicht aufgrund eines ungeeigneten Themas abgelehnt wurden.)

Studien haben gezeigt, dass die prestigeträchtigsten Zeitschriften einem viel höheren Grad der Prüfung unterzogen werden. In der Tat ziehen bekannte Zeitschriften mehr Papiere als ihre weniger angesehenen Kollegen zurück, nur weil sie nach der Veröffentlichung viel genauer geprüft werden. Das Problem ist also, dass ein fehlerhaftes Papier möglicherweise in verschiedenen Journalen eingekauft wird, bis eine Veröffentlichung zustimmt, die es erlaubt, in die wissenschaftlichen Aufzeichnungen zu gelangen. Daher deuten diese Studien auf eine Diskrepanz zwischen der Qualität der Arbeiten in verschiedenen wissenschaftlichen Zeitschriften hin.

5Praxis-Praktiken

Aufgrund des ständigen Drucks auf Wissenschaftler, positive Ergebnisse zu veröffentlichen, gibt es Hinweise darauf, dass Fälschungen und andere verdächtige Praktiken häufig vorkommen. Eine Meta-Analyse von 18 Umfragen ergab, dass 1,97 Prozent der Wissenschaftler gestanden haben, ihre eigene Arbeit zu verfälschen, 33 Prozent gaben andere verdächtige Praktiken zu, 14,1 Prozent gaben an, sie hätten Kenntnis von Kollegen, die ihre Arbeit fälschten, und 72 Prozent gaben an, dass sie auf andere verdächtige Praktiken von Kollegen kannten . Die wahren Zahlen könnten sogar höher sein als bei Umfrageteilnehmern. Forscher fanden heraus, dass ein größerer Prozentsatz bereit wäre, an solchen Praktiken teilzunehmen, selbst wenn sie nicht zugeben würden, sie bereits getan zu haben.

Zu den fraglichen fragwürdigen Praktiken zählten das „Ablegen von Datenpunkten aufgrund eines Bauchgefühls“, das Versagen, Daten zu veröffentlichen, die der bisherigen Forschung widersprechen, und „das Design, die Methodik oder die Ergebnisse einer Studie als Reaktion auf den Druck einer Finanzierung zu ändern Quelle. “Diese Handlungen können sehr schwer zu beweisen sein, und es wird wahrscheinlich unmöglich sein, sie vollständig zu verhindern, ohne sich von einem System zu entfernen, das von der Veröffentlichung positiver Ergebnisse besessen ist.

4Wissenschaftler teilen nicht genügend Informationen

In der Ausbildung wird den Wissenschaftlern beigebracht, dass Experimente so geschrieben werden sollten, dass sie aus den enthaltenen Informationen vollständig neu erstellt werden können. Eine Studie aus dem Jahr 2013, die sich mit der gemeinsamen Nutzung von Ressourcen in der biomedizinischen Forschung befasste, ergab jedoch, dass 54 Prozent der Forschungsressourcen (z. B. die Art von Antikörpern oder in Experimenten verwendete Organismen) nicht so detailliert beschrieben wurden, dass sie identifiziert werden konnten. Eine andere Studie zu Tierstudien ergab, dass nur 59 Prozent der Papiere die Anzahl und den Charakter der verwendeten Tiere einschlossen. Ohne diese Informationen ist es sehr schwierig, Experimente präzise zu reproduzieren und somit die Ergebnisse zu überprüfen. Es schafft auch ein Hindernis für die Erkennung methodischer Probleme mit einer bestimmten Ressource.

Es wurden einige Versuche unternommen, das Problem anzugehen, einschließlich der ARRIVE-Richtlinien, mit denen die Erfassung von Tiermodellen maximiert werden soll. Das Neuroscience Information Framework hat auch Antikörperregister erstellt, während das renommierte Journal Natur hat zu einer verstärkten Berichterstattung über Ressourcen aufgerufen.

Die Autoren der Studie von 2013 stellten jedoch fest, dass nur fünf von 83 biomedizinischen Zeitschriften eine strenge Berichterstattung hatten. Eine beunruhigende Umfrage zur biomedizinischen Forschung trägt zu diesen Nachweisen bei und zeigt, dass die Bereitschaft, alle Ressourcen mit anderen Forschern gemeinsam zu nutzen, zwischen 2008 und 2012 um 20 Prozent gesunken ist. Einige der befragten Forscher gaben an, dass sie Daten auf persönliche Anfrage gerne teilen würden, aber weniger zufrieden damit waren die Daten in eine Online-Datenbank stellen.

3Hoax-Papiere

1994 reichte der Physiker Alan Sokal einen Artikel an die Zeitschrift für Kulturwissenschaften ein Sozialer Text das er absichtlich mit unbegründetem "Unsinn" übersät, während er gleichzeitig "die ideologischen Vorurteile der Redakteure schmeicheln" wollte. Unter anderem verknüpfte Sokals Artikel die Quantenfeldtheorie mit der Psychoanalyse und behauptete, die Quantengravitation habe gravierende politische Auswirkungen.Sokal wollte beweisen, dass die postmodernistische Theorie von der Realität getrennt wurde: „Unverständlichkeit wird zur Tugend; Anspielungen, Metaphern und Wortspiele ersetzen Beweise und Logik. Mein eigener Artikel ist, wenn überhaupt, ein äußerst bescheidenes Beispiel für dieses etablierte Genre. “

Während Sokal sich auf Kulturwissenschaften konzentrierte, gab es auch in der Informatik Hoax-Papiere. Im Jahr 2014 wurden erstaunlich 120 Papiere aus den Publikationen von Springer und dem Institut für Elektro- und Elektronikingenieure entfernt, nachdem entdeckt wurde, dass es sich um computergenerierte Kauderwelsch handelt. Die Papiere wurden mit einer Software namens SCIgen erstellt, die ursprünglich am MIT im Jahr 2005 entwickelt wurde, um zu beweisen, dass Konferenzen nicht ordnungsgemäß geprüft wurden.

SCIgen kombiniert zufällige Wortfolgen, um Hoax-Papiere zu erstellen. Dazu gehört auch das Versprechen, „sich darauf zu konzentrieren, dass Tabellenkalkulationen wissensbasiert, mitfühlend und kompakt gestaltet werden können.“ Das Programm schien anscheinend beliebter zu sein, als es die Macher beabsichtigten - die 120 Die entfernten Papiere wurden erfolgreich bei chinesischen Konferenzen eingereicht und anschließend veröffentlicht. Springer merkte an, dass sie vor der Veröffentlichung ein Peer Review durchlaufen, was es noch merkwürdiger macht, dass sie 16 der gefälschten Papiere veröffentlicht haben.

Ein weiteres von John Bohannon entworfenes Hoax-Papier, das angeblich die Anti-Krebseigenschaften einer Flechtenart untersuchen soll, wurde von 157 Zeitschriften akzeptiert (98 lehnten es ab). Dies war trotz der Tatsache, dass „jeder Rezensent, der über mehr als ein Highschool-Wissen in Chemie verfügt und ein grundlegendes Datendiagramm verstehen kann, die Mängel des Papiers sofort hätte erkennen müssen.“ Bohannon wollte die Tatsache hervorheben, dass sich viele Open-Access-Zeitschriften konzentrieren zu viel Geld mit den Veröffentlichungsgebühren der Autoren zu verdienen, selbst wenn dies zu ungenauen Recherchen führen würde.

2Psychologie als Beispiel für die Probleme

Die Psychologie wird durch viele Probleme auf dieser Liste stark beeinträchtigt. Untersuchungen zufolge sind rund 97 Prozent der veröffentlichten Studien positiv, und das Problem besteht seit mindestens 1959. Darüber hinaus fand eine Umfrage, dass über 50 Prozent der Psychologen angaben, sie würden warten, bis sie positive Ergebnisse erhalten, bevor sie sich für eine Veröffentlichung entscheiden. Mehr als 40 Prozent gaben an, nur Studien gemeldet zu haben, die ein positives Ergebnis erzielten. Es wurde vermutet, dass dies darauf zurückzuführen ist, dass psychologische Zeitschriften dazu neigen, neuartige Ergebnisse gegenüber rigorosen vorzusehen. Was auch immer der Grund sein mag, die Psychologie wurde neben der Psychiatrie und der Volkswirtschaftslehre als Wissenschaftszweig eingestuft, die am ehesten unter Publikationsbias leiden wird.

Ein weiteres Problem besteht darin, dass Psychologiestudien selten repliziert werden - da viele Zeitschriften keine reinen Replikationen veröffentlichen, besteht für die Forscher kein Anreiz, die Anstrengungen zu unternehmen. Eine mögliche Lösung ist Psychfiledrawer, der Replikationsversuche veröffentlicht. Die Einreichung eines Antrags ist jedoch immer noch gering, und einige Forscher wurden durch das Risiko der Kritik von Kollegen abgeschreckt.

Positiver ist, dass es in letzter Zeit einen Schub für die Replikation von Studien gegeben hat und eine vielversprechende Studie, bei der 10 der 13 Studien, die sie zu replizieren versuchte, zu den gleichen Ergebnissen führten. Obwohl dies weder das Fehlen veröffentlichter negativer Ergebnisse noch die häufig genannten Probleme bei der statistischen Analyse löst, ist es ein Schritt in die richtige Richtung.

1Studien an Mäusen können für Menschen oft nicht extrapoliert werden

Viele Studien in den biomedizinischen Wissenschaften werden an Tiermodellen durchgeführt, insbesondere an Mäusen. Dies liegt daran, dass Mäuse tatsächlich viele Ähnlichkeiten mit Menschen haben, einschließlich ähnlicher biochemischer Wege. Etwa 99 Prozent der menschlichen Gene haben ein Maus-Homolog (Gen mit einem gemeinsamen Vorfahren).

Obwohl die Forschung an Mäusen zu beachtlichen Erfolgen geführt hat, gab es Probleme bei der Übertragung auf den Menschen in Bereichen wie Krebs, neurologischen Erkrankungen und entzündlichen Erkrankungen. Neuere Forschungen legen nahe, dass trotz der oben genannten genetischen Ähnlichkeiten die Gensequenzen, die für spezifische Regulationsproteine ​​kodieren, zwischen Mensch und Maus sehr unterschiedlich sind.

Die Unterschiede sind besonders wichtig im Nervensystem, wo es viele Unterschiede in der Gehirnentwicklung gibt. Der Neokortex der Maus, der stark mit der Wahrnehmung verknüpft ist, ist viel weniger entwickelt als das menschliche Äquivalent. Darüber hinaus haben die Symptome neurologischer Erkrankungen oft eine kognitive Komponente, und die Unterschiede in der Wahrnehmung zwischen Mäusen und Menschen sind eindeutig enorm.

Wenn Sie also das nächste Mal einen erstaunlichen medizinischen Durchbruch in den Nachrichten sehen, sollten Sie unbedingt prüfen, ob die Forschung an Mäusen oder Menschen durchgeführt wurde.