Reproduzierbar Wissen schaffen

Aktuell findet auf den Scilogs ein Bloggewitter statt, welches exakt das Thema aufgreift, das mich damals veranlasste, mit dem Bloggen anzufangen – die Frage nach der Bedeutung von Reproduzierbarkeit in der Wissenschaft. Ausgelöst wurde dieses Bloggewitter vom britischen Wissenschaftsautor Ed Yong, der in der aktuellen Ausgabe der Zeitschrift Spektrum der Wissenschaft in einem sehr lesenswerten Artikel¹ darlegt, dass eine der zentralen Forderungen der Wissenschaft – eben die Reproduzierbarkeit wissenschaftlicher Ergebnisse – zumindest für das von ihm betrachtete Gebiet der Psychologie eher die Ausnahme denn die Regel darstellt. Das führte zu einer ganzen Reihe von Reaktionen, die verschiedene Sichtweisen aus sehr unterschiedlichen – bisher zumeist naturwissenschaftlichen Bereichen – darlegen.

Die Bandbreite der Reaktionen macht deutlich, dass sich die einzelnen wissenschaftlichen Disziplinen (natürlich) nicht über einen Kamm scheren lassen und das Problem der (nicht-)Reproduzierbarkeit von Ergebnissen sehr unterschiedlich ausgeprägt ist. Gleichwohl lässt sich der Tenor wahrnehmen, dass das gegenwärtige wissenschaftliche System vor allem spektakuläre und dadurch manchmal auch spekulative Studien durch Veröffentlichung belohnt, während dröge Überprüfungen von Ergebnissen anderer kaum Beachtung in den angesehenen Zeitschriften finden. Veröffentlichungen in namhaften Journals sind aber weiterhin der wichtigste Treibstoff wissenschaftlicher Karrieren. Diese Konstellation verhindert momentan noch eine wissenschaftliche Kultur, in der die Überprüfung anderer Forscher Studien zum täglichen Geschäft gehört.

Abgesehen von diesem allgemeinen Konflikt ergeben sich je nach Gegenstandsbereich spezifischere Probleme, was die Reproduzierbarkeit von Studien bzw. derer Ergebnisse angeht. In der Atom- und der Astrophysik steht es damit offenbar ganz gut, weil die untersuchten Stoffe bzw. beobachteten Weltraumphänomene entweder öffentlich zugänglich oder einfach beschaffbar sind. In der organischen Chemie ist die Reproduktion von Synthesen offensichtlich gang und gäbe, es hapert aber daran, die exakten Bedingungen für Synthesen auf eine nachvollziehbare Art weiterzugeben. Größere Schwierigkeiten machen da Forschungen auf dem Gebieten Psychologie und Medizin, ist doch die Wiederholung von Studien, in denen man viele menschliche Probanden benötigt, mit hohen Kosten verbunden.

Die Strategien, dem Problem nicht-reproduzierbarer Studien zu begegen, weisen in zwei Richtungen: Auf der einen Seite werden Plattformen geschaffen, auf denen wiederholte Studien veröffentlicht werden können. Das engagierteste Projekt in dieser Richtung ist sicherlich die Reproducibility Initiative, die Autoren von Studien quasi ein rundum-Sorglos-Paket anbietet, indem sie die Wiederholung der Experimente durch unabhängige Wissenschaftler organisiert. Das kostet natürlich und wird im gegenwärtigen Umfeld sicherlich noch nicht allzu stark nachgefragt werden. Wenn sich aber die wissenschaftliche Kultur ändern sollte (was sie wohl v.a. durch Druck von außen – hier von den großen Förderinstitutionen – tun dürfte), denke ich, dass einem solchen Modell die Zukunft gehört.

Die andere Stoßrichtung, das Problem in den Griff zu bekommen, ist die Änderung der Veröffentlichungskultur. In Artikeln sind die durchgeführten Experimente und die zugrundeliegenden Daten meist nicht vollständig beschrieben. Solche Artikel würde wohl auch niemand lesen wollen. Es lässt sich aber im besten Fall einrichten, dass man die verwendeten Daten und die eingesetzte Software als Supplemente zu den eigentlichen Artikeln veröffentlicht. Eine solche Kultur der Transparenz würde der Überprüfung, aber auch der Weiterentwicklung der vorgestellten Methoden immens dienen. Sehr interessant ist das Virtual Observatory aus dem Bereich der Astronomie, welches in gleich zwei Artikeln des Bloggewitters thematisiert wird.

Letzteres entspricht auch ungefähr dem Ansatz, den wir im Bereich der Textprozessierung mit unserem Text Engineering Software Laboratory (kurz Tesla) verfolgen. Grob kann man sich dieses virtuelle Labor als Verpackungsmaschine für Experimente vorstellen, die auf textuellen Daten operieren. Mit Texten sind dabei nicht nur natürlichsprachliche gemeint, sondern prinzipiell alles, was sich in Sequenzen diskreter Einheiten darstellen lässt – das gilt mit Einschränkungen ja auch für Proteine und Nucleinsäureketten sowie Partituren von Musikstücken. Der Ansatz ist der, dass wir einen beliebig erweiterbaren Werkzeugkasten anbieten, der als Open Source öffentlich zugänglich ist. Die Werkzeuge sind miteinander kombinierbar, so dass man daraus Workflows zusammenstellen kann, deren Konfiguration mit einer Referenz auf die verwendeten Rohdaten in einer Art virtuellem Laborbuch gespeichert werden. Aus diesem Laborbuch lassen sich einzelne Experimente freigeben und auf Plattformen zum Austausch von Workflows (z.B. MyExperiment) sharen. Sind die Rohdaten verfügbar, so lassen sich die Experimente jederzeit wiederholen, die Konfiguration der einzelnen Werkzeuge, deren Sourcecode und die Art ihrer Zusammenstellung im Workflow sind dabei vollständig transparent.

Wir haben uns darum bemüht, die Benutzung des Werkzeugkastens/der Experimentverpackungsmaschine möglichst eingängig zu modellieren, weil wir damit die Hoffnung verbinden, dass sich möglichst viele Nutzer auf das System einlassen, einzelne Werkzeuge evaluieren und eventuell sogar neue erstellen. Die Weitergabe kompletter Experimente kann nämlich nicht nur dazu genutzt werden, um anderer Forscher Studien zu wiederholen, sondern im Idealfall auch, direkt auf diesen aufzusetzen oder durch Modifikationen (durch Austausch oder Rekonfiguration der Werkzeuge oder die Anwendung auf eine andere Datenbasis) zu besseren Ergebnissen zu kommen. Auch wenn wir noch viel Arbeit vor uns haben, was die noch einfachere Benutzbarkeit und die verbesserte Ausstattung von Tesla angeht, sind die Rückmeldungen der ersten Anwender von Tesla außerhalb unseres Lehrstuhls sehr positiv, so dass wir glauben, dass derartige Systeme in Zukunft stärker genutzt werden und die Möglichkeiten des wissenschaftlichen Austauschs sowie der Überprüfbarkeit von Studienergebnissen erweitern.