Wie der Sinn in der Paperflut versinkt
">Feed the web, don't read the web!<, das ist [...] eine Gefahr, dass man nur noch schreibt und nicht mehr liest. " (Roberto Simanowski) Wie soll man diese Unmenge an Text auch überhaupt noch lesen, wie diesem Wuchern des Diskurses noch Sinn abgewinnen. Vor lauter Kommunizieren und Selbstdarstellen, kommen wir ja eh kaum mehr dazu zu denken oder Andere zu verstehen und nach dem Sinn unserer Interaktion mit dem Netz und der Welt dort draußen zu fragen. (Zündfunk Generator vom 8. Februar 2009)
Mit diesem Radio-Zitat melde ich mich zurück nach längerer lebensumstandsbedingter Kreativpause. Ebenso wie für die digitale Welt der Blogs, gelten diese Worte mehr und mehr auch für der Wissenschaftsszene: Weit mehr Papers werden veröffentlich als irgendein Mensch noch lesen kann, im Akkord werden Manuskripte veröffentlicht, um Karriere und Finanzierung zu sichern. Vor den Experimenten kommen statt besonnener Vorüberlegungen immer häufiger Betrachtungen zur (wissenschaftsjournalistischen) Vermarktbarkeit, statt reiflicher Diskussion und Abwägung der Ergebnisse folgen unbedachte und immer öfter unhaltbare Schlussfolgerungen.
Hellseherisch schrieb der Psychologe Rainer Mausfeld schon vor sechs Jahren:
"Vermutlich werden [...] im Jahre 2010 Indizes wie eingeworbene Drittmittel, Publikationen oder Zitationen, die ursprünglich einmal Indikatoren für die Forschungsleistung waren, zu Indizes werden, die bei der Karriereplanung gleichsam direkt optimiert werden. Als Indikatoren der Forschungsleistung werden sie damit zunehmend unbrauchbar."
Er behält recht – leider! Dass der Forschungsbetrieb damit das ursprünglichen Ziel der Wissenschaft, der Suche nach Erkenntnis über die Welt, aufgibt, scheint Forschungsministerien und Universitäten bislang nicht sehr zu beunruhigen. Noch einmal Mausfeld:
"Ohnehin ist ja das nicht mehr recht im Zeitgeist liegende Erkenntnisideal der veritas nicht so bequem evaluationsfähig wie sein Nachfolger, die visibility."
Und ein weiterer Ausschnitt aus dem Zündfunk-Beitrag:
"In den letzten 50 Jahren wurde das Erleben des Momentes über das Denken gestellt, die Präsenzkultur über den Sinn. >Realität wird in all ihren Gesellschaftlichen Erscheinungsformen als Event inszeniert. [...] Schon lange geht es weniger um den Versuch die Welt zu verstehen [...] als darum das [...] Welttheater als Unterhaltungsmedium auszudeuten. Das Sinndefizit wird gefüllt mit Erlebnisintensität.< [Roberto Simanowksi, Digitale Medien in der Erlebnisgesellschaft]"
Solang Forschungsleistung an der Zahl der Publikationen gemessen wird, muss der Forscher (wie der Blogger) schlussfolgern "Feed the journals, don't read the journals." Auch in der Wissenschaft kommt so das Denken aus der Mode, zählt das "pop-scientific event", die Nature-Veröffentlichung, der Erwähnung in Spiegel-Online. Bleibt die Frage, wie viele Hähne in ein paar Jahren noch krähen nach den zigtausend Papers, die derzeit in die Welt geblasen werden.
Weiters gibt es bislang kaum Hoffnung, dass sich diese Perversion von allein auflöst. Denn die Mitspieler, die in diesem unglücklichen System gewinnen, steuern dann auch die zukünftigen Geschicke der Forschergemeinschaft – sie sitzen schließlich in den entscheidenden Gremien und editorial boards. Sollten ausgerechnet sie das System in Frage stellen, dem Sie ihren Erfolg verdanken?
Auch das – vorgeblich so strenge und objektive – Peer-Review-System gewährt diesem Trend gegen den Sinn und zum Ereignis bislang keinen Einhalt. Denn auch hiermit liegt einiges im Argen, trotz des nahezu blinden Vertrauens der Öffentlichkeit und vieler Wissenschaftsredaktionen: Angefangen von Forscher-Seilschaften, die sich gegenseitig Zitationen zuschanzen, von Zeitschriften die Referenzen zu eigenen Artikeln fordern (um ihr eigenes Rating zu fördern), zu Professoren, die die Prüfung ihren unerfahrenen Doktoranden überlassen. Allein die Tatsache, dass Journals (etwa Nature) den Autoren empfehlen, ihre Prüfer selbst zu wählen, schreit nach Skandal.
Vielleicht war all dies früher besser, mit Sicherheit aber war es anders: Denn es gab tatsächlich eine Zeit, in der wissenschaftlicher Fortschritt wunderbar ohne Peer Review funktionierte (vermutlich gerade ein einziges Manuskript Einsteins unabhängig geprüft, Physical Review Letters führte ein solches System formal Mitte der 30er Jahre ein, Nature sogar erst 1967), wo Editors mangels Veröffentlichungen um ihre Zeitschriften bangen mussten (für Science enstanden noch Ende der 30er Jahren die meisten Artikel nach Aufforderung durch den Chefredakteur) – sehr unterhaltsam lässt sich das in diesem Beitrag nachlesen.
Gleichwohl die Umstände heute natürlich andere sind, insbesondere was die Größe der Forschergemeinschaft angeht, es gilt das doppelte Fazit: Wissenschaft funktioniert auch ohne Peer Review großartig, umgekehrt kann sie selbst mit Peer Review ordentlich schief gehen. Beispiele für diesen letzten Fall gibt es ebenfalls zuhauf, es genügen allein die Dutzend Papers, die die – ach so harten und streng kontrollierten – Nature und Physical Review Letters nach dem Skandal um den Konstanzer Wunder-Physiker Jan Hendrik Schön zurückziehen mussten. Indes ist wohl damit zu rechnen, dass in veröffentlichten Manuskripten wesentliche methodische und logische Fehler eher die Regel als die Ausnahme bilden.
Und just während der Entstehung dieses Textes erreicht mich doch die Einladung zu einem Symposium über Peer Reviewing, mit dem Ziel den Sinn und Zweck des Peer Reviewing selbst der wissenschaftlichen Untersuchung zu unterwerfen. Dabei zitieren die Organisatoren David Horrobin (2001): "[Peer review] is a non-validated charade whose processes generate results little better than does chance. [...] Peer Review is central to the organization of modern science[…]why not apply scientific [and engineering] methods to the peer review process?" [Die Konferenzeinladung war leider Spam, wie in den Kommentaren bemerkt.] Und dass ich trotz der ernsten Bedenken das Bloggen ganz an den Nagel hänge, steht ebenfalls nicht zu befürchten, liebe geduldige Leser.
Es besteht also doch Hoffnung!
Quellen
Zündfunk – Generator Podcast, "Denken ist geil" (08.02.2009)
Rainer Mausfeld, "No Psychology In - No Psychology Out", Psychologische Rundschau (Juli 2003)
Michael Nielsen, "Three myths about scientific peer review"
..und?
Gehst Du zu dem Symposion in Orlando?
Ich bin dem Link zur Konferenz gefolgt - interessant, sicher berechtigt: aber hinterhältig, zumindest im Sinne Deiner Argumentation/Klage. Denn da werden wir jetzt ja alle aufgefordert, tüchtig Texte und Ideen zum Thema "peer review" zu produzieren, die (ihrerseits peer-reviewed?) dann wieder ein paar Regalmeter und einige Festplatten füllen, wenn das neue Forschungegebiet "Peer-Review-Research" erstmal so richtig in's Laufen gekommen ist.
*Seufzer*
Wenn der Sinn in der Paperflut versinkt
Sehr schöner, kritischer Beitrag!
Ich finde es wichtig, über die Probleme von Impact Factors und Peer Review nachzudenken; andererseits glaube ich aber auch, dass die Wissenschaft insgesamt und auch die Teildisziplinen so komplex und schwierig sind, dass man eine Begutachtung braucht, welche der Editor nicht alleine bewerkstelligen kann.
PLoS One ist ja ein alternativer Ansatz, in dem nur die methodische Richtigkeit, nicht die Interpretation bewertet wird. Wie oft kommt es vor, dass ein Paper nicht abgewiesen wird, weil es schlechte Wissenschaft ist, sondern weil die Schlussfolgerung nicht gefällt? Dann passieren aber solche Dinge, ich meine jetzt in PLoS One, dass Leute behaupten, sie hätten ein Gen für die Finanzkrise gefunden -- was dann wiederum von Journalisten (wie Florian Rötzer) als Unsinn kritisiert wird.
Ich denke, die Philosophen sind sowohl einen wichtigen Schritt weiter als auch einen wichtigen Schritt zurück: Einerseits ist das Peer-Review hier oft Doppelblind, sodass die Gutachter sich nicht allein auf den großen Namen verlassen können (oder den unbekannten Typen aus einem fernen Land abweisen); andererseits zählen hier auch Monographien noch mehr -- und für die gibt es keine Impact Factors. Man muss das Buch schon lesen, um zu wissen, ob es gut ist. Okay, dafür wird dann manchmal der Verlag als Qualitätsmerkmal genommen, was wiederum unpopuläre Ideen benachteiligt.
Wie wäre es aber deiner Meinung nach denn ideal?
Inhaltlich schließe ich mich der Antwort von Tobias Maier an (http://www.scienceblogs.de/weitergen/2009/03/wenn-der-sinn-in-der-paperflut-versinkt.php ).
Und zu der angesprochenen Konferenz: Das ist eine Art von Spam! Jedem wissenschaftlich Tätigen sollten inzwischen die von Nagib Callaos organisierten Konferenzen ein negativer Begriff sein! (siehe zB http://ogsandends.blogspot.com/2005/04/anyone-else-get-mails-from-nagib.html und weiteführende Links.)
Ich empfehle, den Verweis auf diese höchst ominöse Organisation aus dem Artikel herauszunehmen.
Vielen Dank für den Hinweis! Der Name war mir noch nicht geläufig und ist mir bisher auch nicht weiter aufgefallen. Dann besteht also doch keine Hoffnung?!
Insofern ein lustiger Zufall, weil ich erst gestern über den Scientific Paper Generator gestolptert bin: http://pdos.csail.mit.edu/scigen/
Es wundert mich, daß hier so wenig Widerspruch kommt. Dem Artikel liegt offensichtlich ein grundsätzliches Mißverständnis über die spezielle Funktion von Fachzeitschriften (etwa im Gegensatz zu Fachbüchern) zugrunde. Wer "Erkenntnis über die Welt" sucht, sollte Bücher lesen, keine Fachzeitschriften. Fachzeitschriften haben, wie Tobias geschrieben hat, die Aufgabe das vorhandene Wissen (in allen Details und Verästelungen) zu speichern, zum Beispiel damit es dann in "lesbaren" Fachbüchern weiter verarbeitet werden kann.
Konkret muß man sich das etwa so vorstellen: Wenn ich ein Gebiet neu lernen will, dann lese ich in der Regel Lehrbücher und keine Fachzeitschriften. Wenn ich dagegen für meine Arbeit irgendein spezielles Resultat brauche (das zu speziell ist, um in gängigen Lehrbüchern vorzukommen), dann suche ich zunächst in der Datenbank (in meinem Fall die Math Reviews, die alle ernstzunehmenden Fachartikel der letzten 100 Jahre erfaßt haben). Wenn ich die Suchbegriffe geschickt genug gewählt habe, bekomme ich nur 20 oder 30 Arbeiten mit diesen Begriffen angezeigt. Zu diesen schaue ich mir dann die Abstracts in der Datenbank an. In der Regel ergibt sich aus diesen recht schnell, ob sie für mein Problem relevant sind. (Die meisten sind es natürlich nicht.) Und falls ich dann glücklich ein Paper gefunden habe, das ich verwenden kann, dann besorge ich mir dieses aus der Fachbibliothek, schaue mir die für meine Arbeit relevanten Teile an und zitiere sie ggf. Manchmal liest man dann auch die ganze Arbeit, manchmal zitiert man nur den Punkt, den man braucht.
Sicher wird es da von Fach zu Fach Unterschiede geben, aber zumindest in meinem Fach würde niemand auf die Idee kommen, eine Fachzeitschrift von Anfang bis Ende zu lesen oder durchzublättern wie man es etwa bei einer Tages- oder Wochenzeitung tut. Man liest in der Regel nicht die jeweils aktuellen Ausgaben einer Fachzeitschrift, sondern man besorgt sich die (älteren oder aktuellen) Arbeiten, auf die man (durch Datenbanken oder natürlich durch Referenzierungen in anderen Arbeiten oder auch vom Hören-Sagen) aufmerksam geworden ist.
Und wie gesagt: wenn man nicht an Details, sondern am großen Ganzen interessiert ist, sollte man Bücher lesen.
Langfristig wird sich Qualität durchsetzen. Alle Moden kann auf die lange Sicht ausblenden.
Hallo herr Thilo, Sie schreiben "Wer "Erkenntnis über die Welt" sucht, sollte Bücher lesen, keine Fachzeitschriften. Fachzeitschriften haben, wie Tobias geschrieben hat, die Aufgabe das vorhandene Wissen (in allen Details und Verästelungen) zu speichern, zum Beispiel damit es dann in "lesbaren" Fachbüchern weiter verarbeitet werden kann.", aber ganu das Gegenteil lernt man in der UNI - Psychologie. Gerade in Fachzeitschriften werden die neueste Erkentnissen veröffentlicht.
Also, wie das Psychologiestudium aufgebaut wird, sollten die Psychologen unter sich klären :-)
Ich kann hier nur für mein Fach sprechen. Und da ist es so, daß von Erst- oder Zweitsemestern nicht erwartet wird, Fachzeitschriften zu nutzen, sondern alles in didaktisch aufbereiteten Lehrbüchern vorliegt. Später in fortgeschrittenen Seminaren oder beim Schreiben der Diplomarbeit werden dann natürlich auch Artikel aus Fachzeitschriften verwendet, wobei der betreuende Professor in der Regel aber Hinweise zur Quellenlage und zur Literatur geben wird.
Wer über das Studium hinaus Forschung betreiben will, wird natürlich nicht darum herumkommen zu lernen, wie man aus der Masse der Veröffentlichungen diejenigen findet, die es zu einem Thema gibt und die relevant sind. Das gehört heute einfach zu den Sekundärkompetenzen, die man lernen muß.
Ich finde die Argumentation des Artikels auch nicht recht nachvollziehbar, denn ohne Peer-review gäbe es doch noch viel mehr Veröffentlichungen und es wäre (gerade für angehende Doktoranden) noch viel schwieriger, sich in der Masse der Arbeiten durchzufinden und die Spreu vom Weizen zu trennen.
Noch ein Wort zur "früher war alles besser"-Mentalität des Artikels. Auch wenn es das Peer-Review in seiner formalisierten Form erst seit einigen Jahrzehnten gibt, heißt das nicht, daß früher jede Arbeit veröffentlicht wurde. Auch früher werden Herausgeber sich die Meinung von Experten eingeholt haben, ob ein Manuskript richtig und interessant ist. Nur gab es eben dafür noch keine formal geregelte Verfahrensweise.
Offenbar haben manche Leser diesen Beitrag in den falschen Hals bekommen. Und um die Diskussion auf der persönlich beleidigenden Ebene weiter zu führen, bin ich zu gut erzogen.
Mein Hauptpunkt ist nicht, dass Peer Review abgeschafft werden soll. Vielmehr kritisiere ich, dass der (Karriere- etc.)Druck (irgend)etwas zu schreiben so groß geworden ist, dass die Qualität wissenschaftlicher Arbeiten darunter leidet.
Auch Peer Review beschützt uns davor bislang nicht. Dass ich darauf so viel Gewicht gelegt habe, hat manche Leser wohl
in die Irre geführt, zu glauben ich sähe in Peer Review selbst das Problem. Keineswegs!
Eine der wesentlichen Ursachen des Übels ist vielmehr, dass die Qualität von Wissenschaftlern der Einfachheit halber an ein paar einfachen Zahlen (Anzahl Papers, Zitationen, Drittmittel) gemessen wird, wie es Mausfeld bereits im voraus (schwarz)sieht.
Schließlich ist es natürlich Unsinn zu meinen, jeder Wissenschaftler sollte alle veröffentlichten Paper lesen. Meine Sorge ist stattdessen, wie viele Paper überhaupt noch von irgendwem (gewinnbringend) gelesen werden und damit zum wissenschaftlichen Fortschritt beitragen, oder einfach nur um der Karriere willen produziert werden.
Regelmäßig stolpern meine Kollegen und ich im wöchentlichen Journal Club über Papers, die schon in den "Methods" zu viele Fragen aufwerfen, um sich noch mit den "Conclusions" ernsthaft auseinanderzusetzen.
>>Langfristig wird sich Qualität durchsetzen. Alle Moden kann auf die lange Sicht ausblenden.
Da bin ich ihrer Meinung. Die Frage ist nur wie lang wir brauchen, um uns wieder zu erinnern, worum es in der Wissenschaft geht – und wie viel öffentliche Gelder und Wohlwollen wir bis dahin verspielt haben.
Wissenschaft ist schließlich keine private Veranstaltung, sondern wird von der Allgemeinheit finanziert. Zu hoffen, dass schlechte wissenschaftliche Arbeit irgendwann vergessen und nur das Gute sich durchsetzen wird, genügt nicht – jederzeit müssen wir uns fragen, wie sinnvoll und effektiv ist das, was wir gerade tun.
In der Neurowissenschaft wird das Verhältnis von Aufwand und Nutzen zur Zeit wenig kritisch beäugt. Irgendwann aber wird sich der Hype legen, dann genügen die bunten Bildchen nicht mehr als Begründung für weitere Investitionen in Forschung. Wenn sich bis dahin keine Qualität durchgesetzt hat, wird es schnell sehr eng.