Vom weltweit größten Watson-Tutorial

Anfang der Woche fand in Darmstadt im beeindruckenden Hörsaal im “Alten Maschinenhaus” ein Tutorial zu den Hintergründen des Computer-Jeopardy!-Spielers Watson von IBM statt. Eingeladen hatte Chris Biemann vom Fachbereich Informatik der Uni Darmstadt, erschienen waren der Dozent Alfio Massimiliano Gliozzo (IBM Research) sowie mehr als 130 interessierte Zuhörer, welche die Veranstaltung dann auch zum “biggest Watson-Tutorial wordwide so far” machten.

Watson ist eine von IBM entwickelte und auf spezieller Hardware umgesetzte Software, der es im Frühjahr 2011 gelungen ist, das Spiel Jeopardy! gegen die bis dahin erfolgreichsten (menschlichen) Kandidaten zu gewinnen. Dieses Ereignis hatte ich damals hier im Blog aufgegriffen, als Paradebeispiel dafür, was man in meinem Fach Informationsverarbeitung bzw. Computerlinguistik so alles anstellen kann. Für uns war diese Meldung eine echte Sensation, weil sie viel unvorhergesehener kam als der Sieg von Deep Blue (dem ungleich berühmteren Schachprogramm, ebenfalls von IBM entwickelt) über den Schachweltmeister Garry Kasparov 14 Jahre zuvor. Weshalb aber wurde das Schachproblem viel früher als das Jeopardy!-Problem gelöst? Lösen heißt hier: Gegen die ausgewiesen besten Menschen in dem Spiel zu gewinnen.

IBM Watson

Watson bei IBM: Eine zimmergroße Maschine. Bild: Clockready CC-BY-SA-3.0

Schach – so unendlich groß die Zahl der möglichen Spiele auch sein mag (selbst Deep Blue konnte bei weitem nicht alle möglichen Züge analysieren) – ist ein rein mathematisches Problem. Es gibt eine begrenzte Menge an Zuständen, die in eine ebenfalls begrenzte Anzahl von Folgezuständen überführt werden können. Menschen waren dem Computer lange überlegen, weil sie Muster in Schachspielen erkennen konnten, die sie mögliche Gewinnstrategien entwerfen ließen. Die ersten Schachcomputer hatten dann auch eine erbärmliche Performance. Später schlugen sie Anfänger, irgendwann Hobbyspieler und am Ende dann eben auch den amtierenden Weltmeister (Deep Blue 1997). Letzteres allerdings auch erst im zweiten Versuch, das erste Aufeinandertreffen hatte Kasparov 1996 noch für sich entschieden. Nebenbei: Der auf gewisse Weise entthronte Weltmeister unkte nach der Niederlage 1997, Deep Blue hätte zwischendurch Hilfestellungen durch Menschen bekommen. Der Vorwurf wurde nie wirklich aufgeklärt, weil IBM keine Untersuchung zuließ und Deep Blue dann auch demontierte. Insgesamt sind lediglich 12 Partien des Rechners öffentlich bekannt – jeweils 6 in den Jahren 1996 und 1997, sämtlich mit Kasparov als Gegner. Da aber in der Zwischenzeit Deep Fritz, ein Programm, um das sehr viel weniger Geheimhaltungs-Popanz gemacht wurde, 2006 den damaligen Weltmeister Wladimir Kramnik mit 4:2 schlug, zweifelt niemand mehr ernsthaft daran, dass Computer in der Lage sind, Menschen jederzeit im Schach zu schlagen.

Der Sieg von Watson über Ken Jennings und Brad Rutter kam dagegen gewissermaßen aus dem Nichts. Nie zuvor hatte jemand versucht, eine Maschine in einem Spiel wie Jeopardy! einzusetzen, wo es darum geht die zugehörigen Fragen zu sehr trickreich formulierten Antworten herauszufinden (also schlicht ein umgedrehtes Frage-Antwort-Spiel). Um ein Beispiel zu geben:

Antwort: “Aufgezeichnete Sachverhalte oder Gedanken, bisweilen mit Tagebuchcharakter, die auf einer Webseite zu finden sind.”

Die dazu passende Frage wäre: “Was ist ein Blog?”

Die Themenkomplexe, aus denen die Antworten stammen, sind dabei nicht eingegrenzt, sollten aber die Zuschauer interessieren – schließlich handelt es sich um eine Fernsehshow, die von den Einschaltquoten lebt. Man benötigt also ein breites Wissen, um in dem Spiel zu bestehen. Dieses dürfte zwar tatsächlich vollständig oder zumindest in großen Teilen irgendwo hinterlegt sein, wo es auch für Computer zugänglich ist – im Zweifelsfall eben in der Wikipedia. Die drei größten Herausforderungen bestehen aber darin,

  1. Die Antworten richtig zu interpretieren, um eine Ahnung davon zu bekommen, wonach überhaupt gefragt wird.
  2. Eine Wissensbasis so zu gestalten, dass interpretierte Antworten auf mögliche Fragen abgebildet werden können.
  3. Aus möglichen Fragen diejenige auszuwählen, die als die passenste erscheint.

Um gut Schach spielen zu können, genüge es, Mathematik zu beherrschen; Jeopardy! aber gründe in der menschlichen Kognition, sagte Gliozzo. Statt wohldefinierter Zustände in begrenzter Zahl hat man es mit prinzipiell unendlich vielen Ausdrücken zu tun, die auch noch verschiedene Bedeutungen tragen können. Die Antworten, mit denen ein Jeopardy!-Kandidat konfrontiert wird sind genauso wie der größte Teil des verfügbaren Wissens in menschlicher Sprache hinterlegt und damit ambig, kontextabhängig und teilweise implizit.

Welche Ansätze IBM dabei verfolgte, die Aufgabe anzugehen und erfolgreich zu gestalten, war Thema des Workshops und Gliozzo gelang es aus meiner Sicht wirklich gut, dieses ansprechend und informativ darzulegen. Insgesamt bestand der Vortrag aus vier etwa zweistündigen Blöcken, einer Art eingedampften Form eines Kurses, den Gliozzo auch an der New Yorker Columbia Universität anbietet. Zwischendurch wurden immer wieder von IBM produzierte Filme zu Watson, der Jeopardy!-Challenge und der Zukunft des Systems gezeigt, die aus unterrichtstechnischen Gründen angebracht waren (inmitten des sehr anspruchsvollen Stoffs konnte man sich mal zurücklehnen und konsumieren), die auf mich als europäischen Wissenschaftler mitunter aber etwas überproduziert und pathetisch wirkten (Dan Ferrucci, Leiter des Watson-Projekts mit Tränen in den Augen und so, auf der IBM-Seite kann man sich selbst ein Bild davon machen).

Sehr gut hat mir die Live-Demo gefallen, eine Art simuliertes Spiel Watson gegen Vortragspublikum. Dabei zeigte sich auch, dass die Maschine mit denen eigens für das europäische Publikum ausgewählten Fragen offensichtlich nicht besonders gut zurecht kam. So war Watsons Vermutung, wo nach dem Schengen-Abkommen keine Kontrollen mehr stattfinden: passport. Erst danach folgte das korrekte borders, witzigerweise dicht gefolgt von Austria.

In den einzelnen Sessions ging Gliozzo auf die Teilbereiche (I) DeepQA-Architecture, (II) Natural Language Processing Components, (III) Structured Knowledge Components und (IV) Adaption to the Medical Domain ein. Die Klammer um das Ganze war ein Diagramm, das die Performances von Jeopardy!-Gewinnern und Watson, ausgestattet mit bestimmten Komponenten zeigte. War die Maschine anfangs noch meilenweit von einer Performance entfernt, auch nur ein einziges der historischen Jeopardy-Spiele zu gewinnen, sah man, dass die Zuschaltung der nacheinander erläuterten Komponenten immer weitere Fortschritte brachte. Das war als roter Vortragsfaden schon ziemlich genial. Detailliert berichte ich davon vielleicht mal an anderer Stelle. Schließen möchte ich mit einer Reihe von Aspekten, die ich aus dem Tutorial mitnehmen durfte:

  1. Watson versteht nicht. Er gleicht Muster ab und führt eine unglaubliche Anzahl von Bewertungsfunktionen durch. Die Entwickler haben eine Unzahl verschiedener Techniken gegeneinander evaluiert und diejenigen, welche sich in Tests als erfolgreich herausstellten, im System behalten.
  2. IBM hat nicht gezaubert oder vorher unbekannte Techniken entwickelt, sondern einfach nur bekanntes miteinander kombiniert. Gliozzo ist auf so gut wie jeden Schritt aus einem anfangs völlig undurchschaubar komplizierten Workflow-Diagramm eingegangen (natürlich nicht immer im Detail) und meinte am Ende so in etwa: “Jetzt kann das jeder von euch nachbauen. Viel Spaß!” Dabei unterschlug er allerdings nicht, dass eine selbstgebaute Antwortmaschine wahrscheinlich Tage für die Lieferung der Frage benötigen würde, was Watson auf seiner speziellen Hardware (3000 Prozessorkerne, 15 TeraByte RAM) in unter 3 Sekunden schaffen musste (ansonsten hätte er gegen seine menschlichen Konkurrenten keine Chance gehabt).
  3. Watson ist eine Maschine, um Jeopardy! zu gewinnen. Die ersten Versuche, ihn einzusetzen, um bspw. Mediziner bei der Diagnose oder der Behandlung von Krankheiten zu unterstützen, waren eher ernüchternd. Nachdem viel Arbeit in die Adaption gesteckt wurde, konnten zwar Fortschritte erzielt werden, man hat es aber weiterhin mit einer domänenspezifischen Anwendungen zu tun. IBM ist das klar und sucht deshalb nach neuen Lösungen.
  4. Offenbar war den Entwicklern vorher nicht klar, ob Watson die Challenge tatsächlich für sich entscheiden würde – man ging von einer 50% Chance aus. Im oben erwähnten Diagramm sah man, dass Jennings in vielen historischen Spielen eine deutlich bessere Performance hinlegte, als Watson am Ende seiner Jeopardy!-Entwicklung. Watson ist also – im Gegensatz zu Schachcomputern – weiterhin schlagbar.

Soweit meine (erste) Nachlese zum Watson-Tutorial. Vielleicht kann ich demnächst nochmal auf die Gesamtarchitektur oder einzelne Komponenten des Systems eingehen. Ich hoffe, mir ist es einigermaßen geglückt, auszudrücken, dass ich die Veranstaltung für wirklich gelungen hielt und möchte hier die Gelegenheit ergreifen, mich herzlich beim Organisator Chris Biemann zu bedanken. Falls so etwas noch einmal stattfinden sollte, kann ich jedem NLP-, Machine Learning- und Knowledge Engineering-Interessieren mit bestem Gewissen raten, daran teilzunehmen!

 

Veröffentlicht unter Artikel | Verschlagwortet mit , | 2 Kommentare

Zahlen lügen wieder – Die Studie zu Facebook-Likes und Persönlichkeit

Wahrscheinlich ist inzwischen fast jede|r über die von Microsoft Research unterstützte Studie zu Facebook-Likes und Persönlichkeitsstruktur gestolpert. Sie ist bei PNAS Open Access erschienen, so dass sich jede|r ihr|sein eigenes Bild machen kann. Kollege Lars Fischer von den Scilogs hat das Ganze dankenswerterweise mal aufgegriffen, ich habe mich ein wenig in den Kommentaren vergangen und schließlich beschlossen, mich hier etwas länger auszulassen. Wenn ich mich nicht irre, gibt es nämlich Erstaunliches zu berichten. Ich habe ja schon öfter hier zur Statistik geschrieben und dabei auch erwähnt, dass ich keine wirkliche Ausbildung auf dem Gebiet genossen habe, sondern allenfalls eine gefährliche Mischung aus Bauchgefühl und angelesenem Halbwissen zum besten geben kann. Ich lasse mich also gerne verbessern.

Zunächst zu den Ergebnissen – die Studie behauptet z.B. zwischen Homo- und Heterosexuellen Männern zu 88% richtig zu diskriminieren (“The model correctly discriminates between homosexual and heterosexual men in 88% of cases”). Da es mehr als zwei Spielarten der sexuellen Orientierung gibt, die Autoren aber ein binäres Merkmal (also +/-) haben wollen, vereinfachen sie so, dass jeder Mann, der nicht ausschließlich Männer als mögliche Sexualpartner angegeben hat, das heterosexuelle Merkmal trägt. Was aber bedeuten die 88%? Lars meinte (durchaus nachvollziehbar, das dürften die meisten so interpretieren, hier z.B. auch die Zeit), der Algorithmus läge in 88% der Fälle richtig, d.h. von 100 Homosexuellen erkennt er 88 als homosexuell, 88 von 100 Heterosexuellen als heterosexuell. Wenn jetzt das Verhältnis sehr unwuchtig wird (d.h. eine Gruppe im Vergleich zur anderen sehr klein wird), bekommt man verhältnismäßig viele falsche Zuordnungen (falsch positive) in der kleineren Gruppe. Genau das habe ich in meinem Weihnachtsblogpost anhand eines anderen Beispiels thematisiert.

Schaut man in die Studie, so geben dort 4,3% der Männer an, sie seien homosexuell veranlagt. Insofern hätte ich einen guten Algorithmus an der Hand, der 95,7% der Probanden richtig zuordnet – indem nämlich alle als heterosexuell eingeordnet werden.

Ganz so einfach ist es dann doch nicht – die 88% sind nämlich (sorry, ich drück mich ums Übersetzen) “the prediction accurancy of dichotomous variables expressed in terms of the area under the receiver-operating characteristic curve (AUC)”. Puh, Integralrechnung, denkt sich der Kenner, alle anderen lesen den anschließenden Halbsatz “which is equivalent to the probability of correctly classifying two randomly selected users one from each class (e.g., male and female).” Übertragen auf unser Beispiel: Man nehme zwei Individuen, eines, das sich das homosexuelle, eines, das das heterosexuelle Merkmal gegeben hat. Der Algorithmus, basierend auf vergebenen Facebook-Likes (mit einer mehr oder weniger aufwändigen Hauptkomponentenanalyse dahinter), ordnet einem der Individuen das homosexuelle, dem anderen das heterosexuelle Merkmal zu.

Und da frag ich mich jetzt, ob das Ergebnis besonders gut oder zumindest aussagekräftig ist. Betrachten wir zuerst die Baseline: Die Wahrscheinlichkeit, völlig uninformiert richtig zu liegen, beträgt 50%. Offenbar leistet der Algorithmus also gute Arbeit, 88% sind ja ne ganze Stange mehr richtige Vorhersagen, von 100 Paaren werden nur 12 falsch zugeordnet. Aber was hat man davon? Wann in der Welt hat man es denn mit einem Personenpaar zu tun, von dem man weiß, dass nur eine Person ein Merkmal trägt (also z.B. heterosexuell ist), die andere aber auf keinen Fall. Und beauftragt dann einen Algorithmus, der mehr oder weniger sicher herausfindet, welche die Merkmalsperson ist? Also, der Messwert scheint zwar in Ordnung zu sein, sagt uns aber nichts darüber, in wie vielen Fällen der Algorithmus richtig läge, würde ihm nur ein Individuum präsentiert. Die Zahl wäre aber die Interessante gewesen (bzw. derer vier: Anzahl der richtig positiven, der falsch positiven, der falsch negativen und der richtig negativen). Kann sich jetzt jede|r selbst zusammenreimen, weshalb die Autoren sie nicht angeben.

So bin ich lediglich erstaunt darüber, wie eine Studie, die eine sehr eingeschränkte Aussage trifft, auf so große Resonanz stößt. Es gibt auch noch ein paar weitere Dinge zu bemängeln, etwa, dass offenbar direkt auf den Trainingsdaten klassifiziert wurde, statt Testdaten dafür zu erheben. Das würde in keiner Studie zur Sprachverarbeitung so durchgehen. Aber irgendwas scheint hier anders zu funktionieren.

Not facebook not like thumbs down

By Enoc vt (File:Botón Me gusta.svg) [Public domain or CC-BY-SA-3.0 (http://creativecommons.org/licenses/by-sa/3.0)], via Wikimedia Commons

Veröffentlicht unter Artikel | Verschlagwortet mit , | 2 Kommentare

Stimmungsbild, Nabelschau

Meine Blogplattform hat demnächst (9. März) Geburtstag und das ist natürlich ein Anlass zu feiern. Ich habe mich ja schon öfter mal darüber geäußert, wie froh ich bin, dass es den de-Ableger von hypotheses.org gibt und mich als einen der dort gehosteten Blogs aufgenommen hat. Die Redaktion hat den schönen Einfall gehabt, zwei Publikumspreise auszuloben – einen für den besten Blog und einen für den besten Blogbeitrag des letzten Jahres (zu den Abstimmungen). TEXperimenTales geht dabei genauso ins Rennen wie die drei Beiträge von mir, die es im Laufe des Jahres in die Slideshow auf der Hauptseite geschafft haben:

Die Konkurrenz ist natürlich groß, so finden sich etwa Klaus Grafs Erwiderung auf den Blogger-Bash von Valentin Groebner und Mareike Königs berühmte Anleitung zum Twittern unter den Nominierten. Ich kenne beileibe nicht alle Blogs der Plattform, die nominiert sind, weiß aber, dass ich den Games-Blog von Sabine Scherz und der Frühneuzeit-Astrologie-Blog von Andreas Lerch immer gern gelesen habe. Dankenswerterweise hat man ja gleich mehrere Stimmen, die man verteilen kann.

podiumDie Gelegenheit ist jetzt wohl günstig, mir auch mal Gedanken darüber zu machen, welche Artikel aus meinem Blog ich denn für gut gelungen halte. Man mag mir diese Nabelschau verzeihen, tue ich sie doch nicht nur, um für meinen Blog zu werben (naja, ein bisschen natürlich schon), sondern um selbst ein  kleines Résumé zu ziehen, welche Posts mir besonders am Herzen liegen. Vielleicht gelingt es mir dabei sogar, zu vermitteln, weshalb ich das Bloggen für eine so sinnvolle Tätigkeit halte.

Platz 5Scheitern als Chance - Dieser Post, in dem ich die Begleitumstände einer wissenschaftlichen, demnächst veröffentlichten Studie schildere, führte mir sehr deutlich vor Augen, wie Blogs ohne weiteres parallel zu Peer-Reviewed-Aufsätzen existieren können. In Zeitschriften oder Sammelbänden finden sich ja meist nur die endgültigen Versuchsaufbauten und Ergebnisse. Wie sie zustande kamen, welche Fallstricke lauerten und welche Lehren man daraus zog – um das zu schildern, braucht man wohl einen Blog. Und da gibt es manchmal vielleicht auch das Interessantere zu lesen.

Platz 4: Wie man Äpfel mit Birnen vergleicht – Über Themen der Stochastik schreibe ich am liebsten aus der Hüfte. Zu diesem Post gab es einen konkreten Anlass, den ich über die alte Weisheit zur Unvergleichlichkeit von Äpfeln und Birnen aufgriff. Das brachte mir immerhin einen Linktipp auf spektrum.de und 250 Klicks an einem Tag ein, was (wenn ich mich recht erinnere) mein bisheriger Besucherrekord war.

Platz 3: Sternstunden der Kryptoanalyse – Diese mitreißende, viel zu unbekannte Geschichte der Steganographia-III-Entschlüsselung zu erzählen, war mir ein Herzensanliegen. Zudem wurde der Protagonist dieser Entschlüsselung – Thomas Ernst – auf mich aufmerksam und kontaktierte mich, was schon zu mehrfachem fruchtbaren Austausch von Gedanken führte.

Platz 2: Über Sprache und Tierkommunikation – Für diesen Post gab ein für mich nicht zufriedenstellender Artikel in einer Wissenschaftszeitschrift den Anstoß. Eine erste Recherche ergab, dass es eigentlich keine wirklich aktuelle Darstellung zum Thema gibt (oder ich sie zumindest nicht fand) und deshalb entschloss ich mich, selbst ein paar aktuellere Studien zu wälzen und diese zusammen mit den historischen Annahmen zu verbloggen.

Platz 1: Heldensage im Reisetagebuch – Die Geschichte meiner Dissertation irgendwann einmal zu beschreiben, hatte ich schon vor, während ich an ihr arbeitete. Zu beeindruckend war für mich, wie man als Wissenschaftler (vielleicht nicht allzu oft, aber tatsächlich) Momente erlebt, in denen man das, was man da gerade tut, von ganzem Herzen liebt. Wenn ich nur einen Funken davon in diesem Blogpost vermitteln konnte, hat er sich schon gelohnt.

Soweit die sehr persönliche Rangliste meiner Blogartikel. Einer der nominierten Beiträge findet sich ja, die beiden anderen kann ich natürlich auch empfehlen, der eine ist halt eine Übersicht über meine ersten Blogs, den anderen stelle ich deshalb nicht heraus, weil ich zum Thema Reproduzierbarkeit eine ganze Reihe von Artikeln geschrieben habe. So fiel es mir schwer, mich für einen zu entscheiden. Wer noch nicht abgestimmt hat, kann das hier für die Beiträge und hier für die Blogs tun. Es muss ja auch nicht TEXperimenTales sein, außerdem hat man insgesamt fünf Stimmen, oben habe ich ja auch schon meine Favoriten genannt. Freuen würde es mich natürlich, landete mein Blog weiter vorne, ist doch klar!

——————

Bild: Sri Chinmoy Marathon Team http://www.srichinmoyraces.org/copyright

Veröffentlicht unter Artikel | Verschlagwortet mit , | Hinterlasse einen Kommentar

Über Sprache und Tierkommunikation

Kürzlich erschien in einer populären Wissenschaftszeitschrift ein Artikel1 zur “Gabe der Sprache”, in dem auch thematisiert wurde, ob und in wie weit sich menschliche Sprache von so genannten “Tiersprachen” unterscheidet. In der Klärung dieser Frage blieb der Artikel allerdings sehr vage, was mich ein wenig ärgerte und letztlich dazu veranlasste, selbst etwas darüber zu schreiben.

Gradueller oder fundamentaler Unterschied?

Die Beschäftigung mit dem Thema blickt auf eine lange Tradition zurück: Schon Aristoteles und Epikur stellten Mutmaßungen über den Status der Verständigung von Tieren untereinander an. Für René Descartes, der in seinem Dualismus streng zwischen Geist und Materie trennte, ist die Sprache Ausdruck des Verstandes, also auf der geistigen Seite der Welt verortet, während Tiere als seelenlose Automaten keine solche haben können. Einen derart fundamentalen Unterschied zwischen menschlicher Sprache und Tierkommunikation nimmt im 20. Jahrhundert auch der Linguist Noam Chomsky an, der Sprache als spezifisch menschliches Organ ansieht, das zwar genetisch determiniert ist, in der Evolution aber lediglich den Menschen zufiel.

"Gandhiji's Three Monkeys" von Kalyan Shah, CC-BY-SA Die Gegenposition wird von den Anhängern der Kontinuitiätstheorie vertreten, die von einem Stufenmodell tierischer Kommunikation ausgehen, in dem die menschliche Sprache die höchste bekannte Stufe einnimmt. Einer ihrer Vertreter ist Charles Darwin, der viele Parallelen in der nichtsprachlichen Kommunikation von Menschen und höheren Tierarten ausmacht und die Tatsache der Entwicklung einer komplizierten Lautsprache vor allem auf die Größe und Leistungsfähigkeit des menschlichen Gehirns zurückführt. Die Kontinuitätstheorie hat auch in unserem Jahrhundert noch Anhänger, welche sich vor allem auf Studien zur Kommunikation von Tieren berufen.

Natürliches Verhalten oder gezieltes Training?

Kommunikation mit Artgenossen ist für viele Tierarten überlebenswichtig, etwa wenn es um die Suche nach Nahrung oder um die Warnung vor Feinden geht. Die komplexesten bekannten Beispiele sind dabei sicherlich der Schwänzeltanz von Honigbienen und das Alarmrufsystem von Meerkatzen.

Neben der Beobachtung dieser natürlichen Verhaltensweisen wird oft auch versucht, der Sprachfähigkeit von Tieren über speziell entwickelte Versuchsanordnungen auf die Spur zu kommen. Dazu wird entweder das Vorhandensein von für die menschliche Sprache als grundlegend angenommene Fähigkeiten überprüft (z.B. Kombinationsfähigkeit, Verarbeitung rekursiver Strukturen; darauf gehe ich unten noch genauer ein), oder es wird sogar versucht, mit Tieren über eigens geschaffene Sprachkonstrukte zu kommunizieren. Hinsichtlich solcher sprachbasierter Mensch-Tier-Kommunikation wurden die besten Ergebnissen mit Primaten erzielt. Da Affen nicht über einen Sprechapparat verfügen, der mit dem menschlichen vergleichbar ist, konnte dabei nicht auf verbale Kommunikation zurückgegriffen werden. Stattdessen wurden Gesten oder Symbolbilder entwickelt und den Primaten beigebracht. Diese begriffen mal mehr, mal weniger schnell, dass bestimmte Symbole bzw. Gesten für bestimmte Konzepte standen und sich daraus produktiv eigenständige Kombinationen bilden ließen. So antwortete die trainierte Schimpansendame Washoe etwa, als sie aufgefordert wurde, sich zu Radieschen zu äußern (für die sie keine eigene Geste gelernt hatte) mit einer Kombination der Gesten für “Weinen”, “wehtun” und “Frucht”. Sonderlich geschmeckt hatten sie ihr also nicht.

Inhaltliche oder formale Unterschiede?

Die Kluft zwischen Mensch- und Tiersprachen scheint also gar nicht so weit und tief zu sein, wie manche bis zur Durchführung der Primaten-Experimente annahmen. Zumindest der produktive Einsatz von Sprachsymbolen scheint auch Tieren gelingen zu können. Ohnehin rütteln neuere Forschungsergebnisse an so gut wie jedem kategoriellen Unterschied, der zwischen der menschlichen Sprache und den Kommunikationssystemen von Tieren postuliert wurde.

Der Linguist Charles Hockett erarbeitete eine Aufstellung von 13 Merkmalen, die lautsprachliche Kommunikation auszeichnen. Hockett selbst ist Anhänger der Kontinuitätshypothese, geht also davon aus, dass kein kategorieller Unterschied zwischen der Kommunikation von Tieren und menschlicher Sprache existiert. So finden sich dann auch viele der von Hockett angeführten Merkmale bei verschiedenen Ausprägungen der Tierkommunikation, etwa der Transport von Bedeutung und – wie oben gesehen – die Produktivität.2

Was bleibt also noch an spezifischen Merkmalen für die menschliche Sprache übrig? Lassen sich vielleicht auf inhaltlicher Seite Unterschiede ausmachen, also bei dem, was Anlass der Verständigung ist? Oft heißt es, animale Kommunikation sei an den Moment gebunden, Tiere verständigten sich nicht über Zukünftiges oder Vergangenes. Sie seien auch nicht fähig zur Metasprache, also der Verständigung über die Sprache selbst. Ich halte diese inhaltlich motivierten Unterschiede für schwer überprüfbar, so lange wir z.B. Vogel- und Walgesänge nicht wirklich verstehen.

Bleiben die Unterschiede, welche die Form / die Organisiertheit von Sprache betreffen. Nach Chomsky ist ein Wesensmerkmal menschlicher Sprachen, dass sie rekursive Strukturen enthalten. Diese sorgen dafür, dass man mit einem begrenzten Inventar sprachlicher Einheiten und Verknüpfungsregeln prinzipiell unendlich viele Sätze erzeugen kann. Solche rekursiven Strukturen lassen sich z.B. bei sogenannten Schachtelsätzen, also der Einbettung immer neuer Relativsätze, beobachten:

Der Löwe, der den Kojoten, der das Pferd, das graste, fraß, jagte, [hat schöne Augen].

Ungeachtet dessen, dass Sätze dieser Art schnell inakzeptabel werden, sind ihre Bildungen prinzipiell möglich. Sie gehorchen dem Schema anbn, das heißt für jedes a (hier: Subjekt) muss genau ein b (hier: Verb) folgen. Und zwar nicht umgehend (das entspräche dem Muster (ab)n und wäre ohne rekursive Bildungsregeln zu erfassen), sondern erst, nachdem alle a aufgezählt wurden. Um einen solchen Satz zu prozessieren ist ein sogenannter Kellerspeicher notwendig, mit dem protokolliert werden kann, wie viele a denn nun auftraten. Gemäß der Chomsky-Hierarchie formaler Sprachen ist ein solches Kommunikationssystem mindestens auf der zweiten, der kontextfreien Stufe anzusiedeln, deren Beherrschung Chomsky eben nur den Menschen zutraut. Tatsächlich schienen Studien an Liszt-Äffchen zu bestätigen, dass diese rekursive Strukturen nicht erkennen konnten. Spätere Forschungen ergaben allerdings, dass Stare damit offensichtlich kein Problem hatten. Damit bleibt eigentlich nur noch ein Strukturmerkmal übrig, das der menschlichen Lautsprache vorbehalten ist:

Das Prinzip der doppelten Artikulation

Das Prinzip der doppelten Artikulation oder der zweifachen Gliederung, wie es vielleicht weniger irreführend bezeichnet werden könnte, geht auf den französischen Linguisten André Martinet zurück und wird für Zeichensysteme verwendet, die mehrere Gliederungsebenen aufweisen. So findet sich in allen natürlichen Sprachen eine Ebene, welche die grundlegenden sprachlichen Einheiten enthält (Phoneme oder in der Schriftsprache Grapheme), aus denen alle anderen Einheiten zusammengesetzt sind. Diese Einheiten tragen selbst keine Bedeutung, können aber sehr wohl Bedeutung unterscheiden. Aus der Kombination dieser Grundbausteine resultieren größere Einheiten (die kleinsten davon sind Morpheme, die wiederum zu Wörtern, Phrasen, Sätzen usw. kombiniert werden können), welche dann auch mit Bedeutungen verknüpft sind.

Ein Beispiel: H und F tragen an sich keine Bedeutung, unterscheiden aber auf formaler (nicht inhaltlicher) Ebene Hund von Fund (ich erspare den Lesenden hier die lautsprachliche Transkription). Dadurch, dass es ein Inventar von Einheiten gibt, die nicht an eine Bedeutung gekoppelt sind, aber Bedeutungen unterscheiden und dazu auf vielfache Art kombiniert werden können, ist die menschliche Sprache so extrem produktiv. Zwar war auch die Schimpansin Washoe produktiv – allerdings nur auf einer Ebene: Sie kombinierte bereits bedeutungstragende Einheiten miteinander. Das gleiche gilt auch für die natürlichen tierischen Kommunikationssysteme Bienentanz und Meerkatzenruf: Ein Symbol trägt eine Bedeutung, kann aber mit anderen bedeutungstragenden Symbolen kombiniert werden.

Ist das Prinzip der doppelten Artikulation also die differentia specifica, die menschliche Sprachen von allen anderen Kommunikationssystemen unterscheidet? Das dachte ich zumindest noch bis vor kurzem, fand dann aber diese Studie zu lesenden Pavianen. Offenbar sind die Paviane in der Lage, kleine, an sich nicht bedeutungstragende Einheiten – hier Buchstaben/Grapheme in für sie bedeutungstragende (nämlich Futter versprechende) Wörtern zu identifizieren. Auch wenn die Autoren das nicht thematisieren (ihnen geht es vor allem darum, statistisches Lernen und visuelle Objekterkennung als artübergreifende Fähigkeiten darzustellen), ist die Studie, wenn sie bestätigt wird, ein starker Hinweis darauf, dass nicht nur Menschen doppelt gegliederte Systeme verarbeiten können. Damit wäre auch das letzte der exklusiv der menschlichen Sprach-Kommunikation vorbehaltenen Merkmale gefallen.

————

1 Im “Gehirn und Geist” Sonderheft “Streit ums Gehirn”, erschienen 01/2013, online leider nur für Abonnenten zugänglich. Dafür hat der Spektrum Verlag aber eine große Themenseite für den Komplex Sprache eingerichtet, wo viele der Artikel frei verfügbar sind.

2 Eine Aufstellung der Hockett’schen Merkmale nebst einer übersichtlichen Tabelle findet sich etwa im (von mir immer sehr enthusiastisch empfohlenen) Buch “Die Cambridge Enzyklopädie der Sprache | The Cambrige Encyclopedia of Language” von David Crystal, Kapitel 64.

Bild: “Gandhiji’s Three Monkeys” von Kalyan Shah, CC-BY-SA 

Nachtrag: Dieser Artikel ist nominiert für den besten Blogbeitrag auf de.hypotheses. Abstimmen kann man hier; Nähere Informationen dazu gibt es im Redaktionsblog.

Veröffentlicht unter Artikel | Verschlagwortet mit , , | 9 Kommentare

Reproduzierbar Wissen schaffen

Aktuell findet auf den Scilogs ein Bloggewitter statt, welches exakt das Thema aufgreift, das mich damals veranlasste, mit dem Bloggen anzufangen – die Frage nach der Bedeutung von Reproduzierbarkeit in der Wissenschaft. Ausgelöst wurde dieses Bloggewitter vom britischen Wissenschaftsautor Ed Yong, der in der aktuellen Ausgabe der Zeitschrift Spektrum der Wissenschaft in einem sehr lesenswerten Artikeldarlegt, dass eine der zentralen Forderungen der Wissenschaft – eben die Reproduzierbarkeit wissenschaftlicher Ergebnisse – zumindest für das von ihm betrachtete Gebiet der Psychologie eher die Ausnahme denn die Regel darstellt. Das führte zu einer ganzen Reihe von Reaktionen, die verschiedene Sichtweisen aus sehr unterschiedlichen – bisher zumeist naturwissenschaftlichen Bereichen – darlegen.

Die Bandbreite der Reaktionen macht deutlich, dass sich die einzelnen wissenschaftlichen Disziplinen (natürlich) nicht über einen Kamm scheren lassen und das Problem der (nicht-)Reproduzierbarkeit von Ergebnissen sehr unterschiedlich ausgeprägt ist. Gleichwohl lässt sich der Tenor wahrnehmen, dass das gegenwärtige wissenschaftliche System vor allem spektakuläre und dadurch manchmal auch spekulative Studien durch Veröffentlichung belohnt, während dröge Überprüfungen von Ergebnissen anderer kaum Beachtung in den angesehenen Zeitschriften finden. Veröffentlichungen in namhaften Journals sind aber weiterhin der wichtigste Treibstoff wissenschaftlicher Karrieren. Diese Konstellation verhindert momentan noch eine wissenschaftliche Kultur, in der die Überprüfung anderer Forscher Studien zum täglichen Geschäft gehört.

Abgesehen von diesem allgemeinen Konflikt ergeben sich je nach Gegenstandsbereich spezifischere Probleme, was die Reproduzierbarkeit von Studien bzw. derer Ergebnisse angeht. In der Atom- und der Astrophysik steht es damit offenbar ganz gut, weil die untersuchten Stoffe bzw. beobachteten Weltraumphänomene entweder öffentlich zugänglich oder einfach beschaffbar sind. In der organischen Chemie ist die Reproduktion von Synthesen offensichtlich gang und gäbe, es hapert aber daran, die exakten Bedingungen für Synthesen auf eine nachvollziehbare Art weiterzugeben. Größere Schwierigkeiten machen da Forschungen auf dem Gebieten Psychologie und Medizin, ist doch die Wiederholung von Studien, in denen man viele menschliche Probanden benötigt, mit hohen Kosten verbunden.

Die Strategien, dem Problem nicht-reproduzierbarer Studien zu begegen, weisen in zwei Richtungen: Auf der einen Seite werden Plattformen geschaffen, auf denen wiederholte Studien veröffentlicht werden können. Das engagierteste Projekt in dieser Richtung ist sicherlich die Reproducibility Initiative, die Autoren von Studien quasi ein rundum-Sorglos-Paket anbietet, indem sie die Wiederholung der Experimente durch unabhängige Wissenschaftler organisiert. Das kostet natürlich und wird im gegenwärtigen Umfeld sicherlich noch nicht allzu stark nachgefragt werden. Wenn sich aber die wissenschaftliche Kultur ändern sollte (was sie wohl v.a. durch Druck von außen – hier von den großen Förderinstitutionen – tun dürfte), denke ich, dass einem solchen Modell die Zukunft gehört.

Die andere Stoßrichtung, das Problem in den Griff zu bekommen, ist die Änderung der Veröffentlichungskultur. In Artikeln sind die durchgeführten Experimente und die zugrundeliegenden Daten meist nicht vollständig beschrieben. Solche Artikel würde wohl auch niemand lesen wollen. Es lässt sich aber im besten Fall einrichten, dass man die verwendeten Daten und die eingesetzte Software als Supplemente zu den eigentlichen Artikeln veröffentlicht. Eine solche Kultur der Transparenz würde der Überprüfung, aber auch der Weiterentwicklung der vorgestellten Methoden immens dienen. Sehr interessant ist das Virtual Observatory aus dem Bereich der Astronomie, welches in gleich zwei Artikeln des Bloggewitters thematisiert wird.

Letzteres entspricht auch ungefähr dem Ansatz, den wir im Bereich der Textprozessierung mit unserem Text Engineering Software Laboratory (kurz Tesla) verfolgen. Grob kann man sich dieses virtuelle Labor als Verpackungsmaschine für Experimente vorstellen, die auf textuellen Daten operieren. Mit Texten sind dabei nicht nur natürlichsprachliche gemeint, sondern prinzipiell alles, was sich in Sequenzen diskreter Einheiten darstellen lässt – das gilt mit Einschränkungen ja auch für Proteine und Nucleinsäureketten sowie Partituren von Musikstücken. Der Ansatz ist der, dass wir einen beliebig erweiterbaren Werkzeugkasten anbieten, der als Open Source öffentlich zugänglich ist. Die Werkzeuge sind miteinander kombinierbar, so dass man daraus Workflows zusammenstellen kann, deren Konfiguration mit einer Referenz auf die verwendeten Rohdaten in einer Art virtuellem Laborbuch gespeichert werden. Aus diesem Laborbuch lassen sich einzelne Experimente freigeben und auf Plattformen zum Austausch von Workflows (z.B. MyExperiment) sharen. Sind die Rohdaten verfügbar, so lassen sich die Experimente jederzeit wiederholen, die Konfiguration der einzelnen Werkzeuge, deren Sourcecode und die Art ihrer Zusammenstellung im Workflow sind dabei vollständig transparent.

Der Workflow-Editor von Tesla. Zu sehen ist die Kombination von Werkzeugen (Kästen) durch Verbindung der Ein-/Ausgabeschnittstellen.

Wir haben uns darum bemüht, die Benutzung des Werkzeugkastens/der Experimentverpackungsmaschine möglichst eingängig zu modellieren, weil wir damit die Hoffnung verbinden, dass sich möglichst viele Nutzer auf das System einlassen, einzelne Werkzeuge evaluieren und eventuell sogar neue erstellen. Die Weitergabe kompletter Experimente kann nämlich nicht nur dazu genutzt werden, um anderer Forscher Studien zu wiederholen, sondern im Idealfall auch, direkt auf diesen aufzusetzen oder durch Modifikationen (durch Austausch oder Rekonfiguration der Werkzeuge oder die Anwendung auf eine andere Datenbasis) zu besseren Ergebnissen zu kommen. Auch wenn wir noch viel Arbeit vor uns haben, was die noch einfachere Benutzbarkeit und die verbesserte Ausstattung von Tesla angeht, sind die Rückmeldungen der ersten Anwender von Tesla außerhalb unseres Lehrstuhls sehr positiv, so dass wir glauben, dass derartige Systeme in Zukunft stärker genutzt werden und die Möglichkeiten des wissenschaftlichen Austauschs sowie der Überprüfbarkeit von Studienergebnissen erweitern.

Veröffentlicht unter Artikel | Verschlagwortet mit , , | 5 Kommentare