Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us
Kategorien
Artikel

Weihnachtspost: Zahlen lügen nicht

Es folgt eine fiktive Geschichte, die lediglich zeigen soll, dass Zahlen eine deutliche Sprache sprechen, es aber gar nicht so einfach ist, diese zu beherrschen. Ich habe dafür ein Beispiel aus dem Bereich Twitter-Mining gewählt, es ist aber auf beliebige andere Szenarien übertragbar. Jegliche Ähnlichkeiten mit lebenden oder verstorbenen realen oder juristischen Personen beruhen auf rein zufälligen oder dem Autor zumindest nicht bewussten Auswahlentscheidungen.

Die Firma C. Santa Social Media (CSSM) hat ein Tool entwickelt, das sie Twitter 4 Decision Makers (T4DM) genannt hat und das auf dem freien Markt überhaupt nicht zu bekommen ist. Stattdessen wird es lediglich ausgesuchtem Publikum durch geschultes Fachpersonal angeboten. Dieses Fachpersonal, ausgestattet mit einer professionellen Multimedia-Präsentation hat durchaus Beeindruckendes zu berichten:

Erwirbt man eine Lizenz der Software T4DM, so sorgt CSSM dafür, dass aus dem gesamten Twitter-Strom, also allen gesendeten Tweets die für den Lizenznehmer relevanten herausgefiltert und diesem dann aufbereitet präsentiert werden. Um die Interessen der Lizenznehmer abzugleichen, ist ein kurzes Interview notwendig, aus den Antworten werden Merkmale extrahiert, die dann T4DM als Basis für die Auswahl von Tweets dienen.1

CSSM wirbt damit, dass tatsächlich 95% der relevanten Tweets gefunden werden. Das bedeutet, dass nur 5% der für den Lizenznehmer bedeutsamen Tweets falsch negativ klassifiziert werden. Noch besser sieht es bei der falsch positiven Klassifizierung aus, denn die Wahrscheinlichkeit, dass ein Tweet für relevant gehalten wird, obwohl er gar nicht von Interesse ist, liegt bei nur 1%. Tabellarisch ergibt sich also folgendes Bild:

Relevant Nicht relevant
Erkannt 95 % 1 %
Nicht erkannt 5 % 99 %

Da CSSM für diese Zahlen garantiert (Geld-Zurückerstattung, wenn man nachweist, dass sie nicht stimmen), findet das Tool reißenden Absatz – welcher Entscheidungsträger träumt nicht davon, den gesamten Twitterstrom aufbereitet zu bekommen, um seine Beschlüsse darauf gründen zu können? Es ist nur sehr zweifelhaft, dass die Käufer – auch wenn die Zahlen stimmen würden – irgend etwas mit dem Tool anfangen könnten, denn es lauert ein enormer Pferdefuß, der aus den relativen Zahlen in der Tabelle überhaupt nicht ablesbar ist.

Das Problem ergibt sich daraus, dass aus dem gewaltigen Rauschen, das die Twitterer in jeder Sekunde erzeugen, nicht allzu viele Tweets tatsächlich relevant bezüglich einer Zielperson sein werden. Nehmen wir an, dass die Person ca. 400 Tweets pro Tag geliefert bekommen will. Wie groß ist dann die Wahrscheinlichkeit (P), dass ein einzelner dieser erkannten Tweets tatsächlich relevant für die Person ist? P kann man über das Theorem von Bayes berechnen, das auch a-posteriori-Wahrscheinlichkeit genannt wird. Es beruht auf folgender Formel:

P(Relevant|Erkannt) = P(R)*P(E|R)/P(R)*P(E|R)+P(notR)*P(E|notR)

Wir können nun alle uns aus der Tabelle oben bekannten Werte in diese Formel einsetzen. Der einzige bisher nicht bekannte Wert ist die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist. Dieser ergibt sich aber einfach aus der Zahl der Tweets pro Tag (Twitter gab die Mitte dieses Jahres mit 400 Mio an) abzüglich der relevanten Tweets (die wir auf 400 festgelegt haben) – die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist (d.h. P(notR)), beträgt also 99,9999%, P(R) ist dementsprechend 0,0001%. Setzen wir die Werte ein:

P(Relevant|Erkannt) =  (0,0001*0,95)/(0,0001*0,95+0,9999*0,01) = 0,000095

Das heißt, nicht einmal jeder 10.000. Tweet, den das Tool liefert, ist tatsächlich auch relevant! Und das obwohl die von der Firma angegebenen Werte absolut korrekt sind. Die Angabe von relativen Werten reicht nur in diesem Fall nicht aus, um den Nutzen des Tools zu beurteilen. Das liegt daran, dass es sich bei relevanten Tweets um – im Vergleich zu ihrer Gesamtzahl – relativ seltene Ereignisse handelt. Würde man den potentiellen Käufern die Tabelle mit absoluten Zahlen präsentieren, wäre wohl jedem sofort aufgefallen, dass das Tool nicht besonders hilfreich sein kann:

Relevant Nicht relevant
Erkannt 380 Tweets 3.999.996 Tweets
Nicht erkannt 20 Tweets 395.999.604 Tweets

Von über 4.000.000 erkannten Tweets sind lediglich 380 relevant. Zahlen lügen nicht. Aber manchmal verschweigen sie etwas.

1 Eine solche Merkmalsextraktion und die darauf begründete Klassifikation von Tweets hinsichtlich ihrer Relevanz gibt es zur Zeit nicht und es ist auch fraglich, ob eine solche Anforderung je von einem Tool erfüllt werden kann, vor allem, weil es schwierig sein dürfte, “Relevanz” überhaupt zu definieren. Das tut aber hier nichts zur Sache.

 

Kategorien
Artikel

Twitter, Blogs, Wissenschaft

Es gibt viele Dinge, für die Twitter geeignet ist, z.B. kann man seine Blogposts damit bewerben (was bei mir bisher allenfalls bescheidenen Erfolg hatte). Andererseits bekommt man einen nie versiegenden Datenstrom geliefert, aus dem man sich das eine oder andere interessante herausfischen kann.

So fand ich heute morgen dies in meiner Timeline:

Klar ist das ein Teaser, der vor allem auf Polemik ausgerichtet ist, im zugehörigen Blogpost vertritt der Autor (Carsten Hucho) die etwas differenzierte Einschätzung, dass wissenschaftliche Arbeitsweise und allgemeinverständliche Texte schwer zusammenzubringen sind. Und dass man mit den 140 Zeichen, die man auf Twitter zur Verfügung hat, schwerlich eine wissenschaftliche Kommunikation aufrechterhalten kann, die ihren Namen auch verdient. Womit er natürlich recht hat. Allerdings bin ich mit dem Schluss, den der Autor daraus zieht, nicht einverstanden. Das habe ich kurz über Twitter per “#agree #not” mitgeteilt, was mir den Vorwurf eingebracht hat, ich hätte nicht den Artikel, sondern lediglich die Überschrift gelesen.

Diese Einschätzung ist falsch. Ich bin nicht nur auf den Teaser hereingefallen, sondern halte den im Post ausgedrückten grundsätzlichen Zweifel an der wissenschaftichen Bloggerei für nicht gerechtfertigt. Ja, wissenschaftliche Erkenntnisse lassen sich nicht sämtlich in Alltagssprache formulieren – allgemeinverständliche Postings können dennoch die Grundideen vermitteln, die hinter der wissenschaftlichen Betätigung stehen. Diese Bloggerei ist nützlich, da man anderen dabei hilft, über ihren Tellerrand hinauszuschauen und weil man dadurch vielleicht Leute dafür gewinnen kann, eine bestimmte Forschungsrichtung einzuschlagen.

Auch der Autor des Posts hält öffentliche Wissenschaftsvermittlung für richtig und wichtig. Er äußert aber auch die Ansicht, Wissenschaftler sollten sich um Wissenschaft, und professionelle Wissenschaftsjournalisten um die öffentlichkeitsgeeignete Vermittlung kümmern. Diese kann ich so nicht teilen. Natürlich kann nicht jeder Wissenschaftler ein exzellenter Schreiberling sein, ebenso ist es aber wohl kaum möglich, jedem Wissenschaftler einen professionellen Textverfasser zur Seite zu stellen, nur weil der sich einmal populär darüber äußern will, was er die ganze Zeit so treibt.

Auf Twitter heißt das eben “#agree #not”. Die anderen 129 Zeichen waren schon mit dem zitierten Retweet belegt. Dass hat im Ungefähren die gleiche Differenziertheit wie des Carsten Huchos Überschrift

Academics should be blogging? No.

Aber er hat ja angefangen 😉

[Anmerkung: Dieser Post ist – wie alle vor März 2012 geschriebenen – aus meinem alten Blog auf posterous kopiert worden. Beim Kopiervorgang sind die Kommentare verloren gegangen, sie können aber im Originalartikel eingesehen werden. Auf posterous sehen die eingebetteten Tweets auch irgendwie schöner aus.]

 

 

Kategorien
Artikel

Erwartungshaltung

Was mich sehr gefreut hat, vor allem, weil @tibub zehnmal mehr Follower hat als ich:

 

Setzt mich natürlich auch ein bisschen unter Zugzwang. Ich breche zwar nicht in Hektik aus, werde mich aber bemühen, in meinem Ehrenmonat dem Lob gerecht zu werden! Auch auf diesem Wege nochmal: Vielen Dank nach Hannover!