Es ist natürlich trivial, aber gelegentlich ist es gut, sich daran zu erinnern: Es gibt schlechthin keine Problemlösung, die nicht ihrerseits wieder Probleme aufwirft. Besonders wahrscheinlich ist das dann, wenn man ein zur Lösung eines ganz bestimmten Problems entworfenes Instrument für etwas ganz anderes einsetzt. Der Science Citation Index (SCI) ist da keine Ausnahme.
Es ist für Außenseiter heute auf allen Gebieten der Naturwissenschaften fast unmöglich geworden, die Qualität einer Veröffentlichung einzuschätzen. Eines aber lässt sich auch von außen leicht feststellen: Wie oft eine wissenschaftliche Arbeit von anderen Wissenschaftlern zitiert wird, weil sie zur Grundlage ihrer eigenen Arbeit geworden war. Es ist diese einfache und plausible Idee, auf der alle Versuche beruhen, die Datenbank des SCI dazu zu verwenden, die Qualität von Wissenschaftlern, Forschungsinstitutionen oder Wissenschaftsjournalen auch quantitativ zu charakterisieren.
Viele Zitate erwünscht
Oft zitierte Arbeiten haben sich offensichtlich für die Forschung als besonders fruchtbar erwiesen. Wissenschaftler, die oft zitierte Arbeiten produzieren, sind die besseren Wissenschaftler - anderen darin überlegen, wissenschaftliche Probleme aufzuspüren, die nicht nur wichtig, sondern auch lösbar sind. Die Qualität eines Wissenschaftlers oder einer Forschungsinstitution spiegelt sich daher auch in der Zahl der Zitationen, auf die sie hinweisen können. Eine Arbeit, die in einer viel gelesenen Wissenschaftszeitschrift veröffentlicht wurde, wird häufiger zitiert werden, als eine Arbeit, die irgendwo versteckt in einer abseitigen Zeitschrift zur Diskussion gestellt wurde. (Ein Vorläufer Darwins war sich darüber sichtlich nicht klar, als er die wesentlichen Grundzüge der Evolutionstheorie in einer Zeitschrift über Schiffsbau publizierte, wo sie niemand zu würdigen verstand.)
Die Zahl der Zitate, welche sich auf Arbeiten beziehen, die in einer bestimmten Zeitschrift veröffentlicht wurden, sagt etwas aus über die Qualität der dort zur Publikation akzeptierten Arbeiten und damit auch die Qualität der Zeitschrift. Um auch dafür ein quantitatives Maß zu haben, hat man so genannte Impakt-Faktoren definiert. Sie sind es, deren unkritische Verwendung jetzt so zugenommen hat, dass die Kritik in der letzten Zeit stark anschwillt, weil sie immer häufiger zur Bewertung selbst dort eingesetzt werden, wo sie eigentlich irreführende Indizien für Qualität liefern. Gerade das ist aber trotz aller Warnungen in den letzten Jahren immer wahrscheinlicher geworden, seit man sie sogar an Stelle der absoluten Zahl der Zitate dazu einsetzt, um ohne alle Fachkenntnis von außen die wissenschaftliche Leistung einzelner Wissenschaftler und Wissenschaftsinstitutionen zu bewerten.
Wiederum ist die Grundidee ganz plausibel und im wesentlichen auch zutreffend, solange diese so genannten ISI-Daten richtig angewandt werden. ISI hat im Kleingedruckten immer klar gemacht, wie irreführend eine unkritisch naive Registrierung von Impakt-Faktoren als alleiniger Qualitätsparameter werden kann. Man kann eine Zitationsanalyse der Arbeit einer Wissenschaftlerin oder eines Instituts auch von ISI oder einer darauf spezialisierten Firma kaufen, aber das droht teuer zu werden.
Da ist es viel einfacher, aus dem Internet die Impakt-Faktoren der Zeitschriften abzurufen, in denen die Publikationen erschienen sind: Viel zitierte Zeitschriften haben ein funktionierendes Gutachtersystem, welches Arbeiten ungenügender Qualität erst gar nicht erscheinen lässt. (In den renommiertesten Wissenschaftszeitschriften der Welt werden bis zu 90 Prozent der eingereichten Arbeiten abgelehnt.)
Eigentlich war die Zitationsanalyse anfangs ja gar nicht als Instrument zur quantitativen Bewertung von Veröffentlichungen gedacht, sondern dazu, sich in der explosiv anschwellenden Informationsflut schnell orientieren zu können und in dieser Funktion ist der Science Citation Index, die Datenbank des Institute for Scientific Information (ISI) in Philadelphia, aus der Arbeit der Wissenschaftler heute nicht mehr wegzudenken, ganz zu schweigen von der Arbeit etwa der Wissenschaftssoziologen, die anhand der Zitate die Existenz von wissenschaftlichen Gemeinschaften und die Bildung von wissenschaftlichen Schulen so schnell und gut belegen konnten wie nie vorher. Schon bald aber wurde die Zitationsanalyse immer mehr als Mittel zur Bestimmung einer Kennzahl für die Qualität wissenschaftlicher Arbeit eingesetzt, und das kann sehr irreführend sein, weil die Zahl der Zitate allein zur Bewertung nicht ausreicht.
Um ein immer wieder angeführtes, extremes Beispiel zu zitieren: Im Jahr 1905 veröffentlichte Albert Einstein, ein weithin unbekannter "mit Arbeit stark überladener" Experte 2. Klasse, am Patentamt in Bern drei Arbeiten, die er neben seiner amtlichen Tätigkeit geschrieben hatte: Eine davon behandelte die Brown'sche Bewegung, die zweite war die spezielle Relativitätstheorie und die dritte einer der Meilensteine in der Entwicklung der Quantentheorie. Hätte man seine Leistung damals allein an der Zahl der Veröffentlichungen einschätzen wollen, wäre Einstein wirklich nicht gut weggekommen.
Eines der Probleme ist auch heute noch, dass bei der Beurteilung von Wissenschaftlern die pure Zahl ihrer Veröffentlichungen heute vielfach noch ein zu hohes Gewicht hat. Das hat dazu geführt, dass immer mehr Wissenschaftler die Zahl ihrer Veröffentlichungen maximieren, wozu sich eine ganze Reihe von Strategien eingeschlichen haben, deren extremste die Ethik der Wissenschaft entschieden überschreiten.
"Ehrenautorschaften" breiten sich immer weiter aus, Seilschaften zur wechselseitigen Förderung der Eigeninteressen zitieren einander, wo immer sie etwas veröffentlichen. Was man in den Zeitschriften findet, sind immer häufiger Arbeiten, die ein Thema nicht umfassend behandeln, sondern nur die kleinste, gerade noch publizierbare Dosis an Neuigkeiten zu bieten haben. Man hat natürlich begonnen, dagegen anzugehen.
Forschungsförderungsinstitutionen, etwa die Deutsche Forschungsgemeinschaft, weisen in ihren Richtlinien zur Forschungsethik darauf hin, dass die Qualität eines Wissenschaftlers allein auf Grund der Zahl der Arbeiten, bei denen er als Autor angeführt wird, ebenso wenig möglich ist wie die Bewertung der Qualität einer wissenschaftlichen Arbeit allein auf Grund der Zahl der Zitationen. Man verlangt daher von den Antragstellern, von denen die Tüchtigsten - vor allem in der biomedizinischen Forschung - mit Hunderten von Arbeiten aufwarten können, dass sie selbst die ihrer Ansicht nach wichtigsten dieser Arbeiten auszeichnen, die dann in Bezug auf Autorschaft und Qualität eingehend bewertet werden.
Peter Weingart, renommierter Wissenschaftssoziologe an der Universität Bielefeld, sieht das Vordringen der quantitativen bibliometrischen Evaluationsverfahren als eine Komponente in einem allgemeinen Trend - nämlich des Trends, Wissenschaft nicht nur durch Wissenschaftler, sondern auch von außen bewerten zu lassen.
Wissenschaftler hatten lange Zeit dagegen eingewandt, dass durch Publikations- und Zitationsanalysen die vielen Faktoren, welche die Qualität einer Veröffentlichungen bestimmen, nicht wirklich erfasst werden könnten - dazu gehören auch Originalität, Qualität der handwerklichen Durchführung, Datenumfang und andere mehr. (Besonders Geisteswissenschaftler hielten und halten von derartigen Versuchen, immaterielle Qualitäten zu zählen und zu messen, wenig. Naturwissenschaftler hatten damit weniger Probleme.)
Weingart merkt dazu an, dass das Entscheidende dabei die Externalisierung des Bewertungsprozesses sei: "Der zuvor informelle Prozess wird nunmehr formalisiert und öffentlich, das heißt, für die Klienten Politik, Wirtschaft und Medien zugänglich, verwaltbar, erzwingbar, und er lässt sich an Ziele zurückbinden."
Das alles sind im wesentlichen schon Tugenden, die allerdings nur dann in Reichweite kommen, wenn man mit den Instrumenten der Zitationsanalyse kritisch umgeht. Wie notwendig das ist, zeigt die Diskussion um die Impakt-Faktoren, deren Einsatz in Finnland bereits gesetzlich vorgeschrieben ist und dort auch direkte Folgen hat. Ein Autor tut dort jedenfalls gut daran, genau zu erwägen, welcher Zeitschrift er seine Arbeit zur Publikation vorlegt. Kari Raivo, Rektor der Universität Helsinki hat dafür ein gutes Beispiel: Im Jahr 2000 hätte es einem Krankenhaus, aus dem Jahr für Jahr viele wissenschaftliche Arbeiten hervorgehen, um an die 6.000 Euro mehr Förderung eingetragen, wenn sich nur einer der vielen Autoren entschlossen hätte, seine Arbeit in einer Zeitschrift mit dem Impakt-Faktor 3 zu veröffentlichen, statt sich an eine Zeitschrift mit dem Impakt-Faktor 2 zu wenden.
Damit bekommen Impakt-Faktoren ein Gewicht, das nicht gerechtfertigt ist, wenn man sich ansieht, welche Faktoren ihre Höhe beeinflussen. Es ist im Interesse eines Herausgebers, seiner Zeitschrift einen möglichst hohen Impakt-Faktor zu verschaffen - legitimerweise etwa dadurch, dass er sich nach einem qualitativ hochwertigen Gremium von Gutachtern umsieht. Da ist es vielfach schon leichter, einen der auf einem Fachgebiet führenden Wissenschaftler dazu zu bewegen, einen Übersichtsartikel zu schreiben. Der wird dann sehr wahrscheinlich den Impakt-Faktor anheben und von all denen zitiert werden, die sich vom Wohlwollen der Fachkapazität etwas versprechen, etwa bei der Begutachtung eines der Projekte, die sie zur Finanzierung einreichen wollen.
Je mehr Übersichtsartikel eine Zeitschrift publiziert, desto höher ist jedenfalls im Allgemeinen ihr Impakt-Faktor. Der gravierendste Missbrauch von Impakt-Faktoren besteht allerdings in ihrer Verwendung zum Vergleich der Qualität von Arbeiten auf verschiedenen Gebieten, wovor ISI immer ausdrücklich gewarnt hat. Gerade das ist aber ein Problem, vor dem Wissenschaftsministerien und die Manager anderer Wissenschaftsinstitutionen immer wieder stehen.
Ursache dafür sind die verschiedenen Zitationsgebräuche auf verschiedenen Gebieten: In einer Arbeit aus dem Gebiet der Mathematik findet man selten mehr als ein oder zwei Zitate angeführt, während in einer typischen Arbeit von Molekularbiologen es auch mehrere Dutzend Zitate sein können. Das führt dann dazu, dass Zeitschriften, welche die Insider als Publikationen von vergleichbarer Qualität einstufen, ganz unterschiedliche Impakt-Faktoren haben.
Falsch interpretiert
Per Seglen, Bibliometrie-Experte am norwegischen Radium Hospital in Oslo, hat das schlagend dokumentiert, indem er sich die Impakt-Faktoren ansah, welche man für die auf verschiedenen Gebieten führenden Übersichtszeitschriften errechnet hat.
Da zeigt sich dann, dass die "Annual Reviews of Biochemistry" 1987 einen Impakt Faktor von 35,1 hatten, während es die "Annual Reviews of Microbiology" nur auf einen Impakt-Faktor von 6,4 brachten. So absurd das auch ist: Die Gefahr, dass ein Wissenschaftsadministrator daraus schließt, dass die Molekularbiologen eben mehr als 5-mal so gut sind wie die Mikrobiologen, ist jedenfalls nicht ganz auszuschließen. Das kann dann nicht nur für Wissenschaftsinstitutionen, sondern auch für die einzelnen Wissenschaftler Folgen haben, da solche Fehlinterpretationen unausgesprochen Entscheidungen beeinflussen können. Das betrifft besonders interdisziplinäre Arbeiten: Ein gewiefter Wissenschaftler, der zum Beispiel die Oberfläche eines Stoffes für einen bestimmten Zweck chemisch modifiziert hat, tut jedenfalls gut daran, sich die Impakt-Faktoren von Zeitschriften anzusehen, welche für die Publikation seiner Arbeit in Frage kommen: Der Sache nach würden die Resultate ja ebenso gut in eine Zeitschrift für "Festkörperchemie" wie für "Materialwissenschaften" passen.
Die ISI-Datenbank ist mittlerweile von seinem Gründer, Eugene Garfield, an die Thomson Corporation in Toronto verkauft worden. Seither hat man die kommerzielle Auswertung der Datenbank stark forciert. Letztes Jahr hat die Firma zum Beispiel begonnen, eine Software zu vermarkten, die unter dem Titel "Essential Science Indicators" verspricht, die Bewertung von potenziellen Angestellten, Mitarbeitern, Gutachtern und hierarchisch höheren "Peers" im Do-it-yourselfVerfahren möglich zu machen. Welche Fehler man dabei machen kann, steht zwar wieder im Kleingedruckten, aber bekanntlich kann man niemanden dazu zwingen, das auch zu lesen, bevor er, nunmehr mit einem Programm bewaffnet, zu einer Bewertung ausholt.
Literatur:
David Adams: The counting house. Nature, 14. Februar 2002; Peter Weingart: Die Stunde der Wahrheit. Zum Verhältnis der Wissenschaft zu Politik, Wirtschaft und Medien in der Wissensgesellschaft. Velbrück Wissenschaft, 2001.
Freitag, 01. März 2002