Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us
Kategorien
Artikel

Bloggen mal anders

Der Plattform hier war ich zwar nicht immer treu, bin aber weiterhin gerne dabei und überhaupt nicht abwanderungswillig. Allerdings habe ich heute mittag mit ein paar anderen Wissenschaftsbloggerinnen und -bloggern aus den unterschiedlichsten Bereichen eine neue Plattform mit dem Namen Kneipenlog gestartet. Wie der Name schon ausdrückt, handelt es sich dabei nicht um eine ernsthafte Konkurrenz zu den etablierten wissenschaftlichen Blogplattformen wie den Scilogs, den Scienceblogs oder eben Hypotheses. Stattdessen wollen wir dort ein wenig experimentieren – sowohl themenmäßig (alles, was auch Grundlage eines Kneipengesprächs sein kann), sprachlich (in einer Kneipe geht es wohl anders zu, als auf einer wissenschaftlichen Tagung, v.a. wenn man zur Klärung einer Frage mal kurz vor die Tür geht), als auch blogging-technisch (manche Posts haben eine ganze Reihe von Autoren, die miteinander ins Gespräch kommen, die Kommentierung ist näher am Ursprungstext). Nach und nach wollen wir neue Formate, Themen und Features erproben.

Ich bin gespannt, wie sich die Dinge auf dem Kneipenlog entwickeln. Vielleicht hat jemand der Gäste hier Lust, mal auf ein Getränk vorbeizuschauen – http://www.kneipenlog.de .

Kategorien
Artikel

Weihnachtspost: Zahlen lügen nicht

Es folgt eine fiktive Geschichte, die lediglich zeigen soll, dass Zahlen eine deutliche Sprache sprechen, es aber gar nicht so einfach ist, diese zu beherrschen. Ich habe dafür ein Beispiel aus dem Bereich Twitter-Mining gewählt, es ist aber auf beliebige andere Szenarien übertragbar. Jegliche Ähnlichkeiten mit lebenden oder verstorbenen realen oder juristischen Personen beruhen auf rein zufälligen oder dem Autor zumindest nicht bewussten Auswahlentscheidungen.

Die Firma C. Santa Social Media (CSSM) hat ein Tool entwickelt, das sie Twitter 4 Decision Makers (T4DM) genannt hat und das auf dem freien Markt überhaupt nicht zu bekommen ist. Stattdessen wird es lediglich ausgesuchtem Publikum durch geschultes Fachpersonal angeboten. Dieses Fachpersonal, ausgestattet mit einer professionellen Multimedia-Präsentation hat durchaus Beeindruckendes zu berichten:

Erwirbt man eine Lizenz der Software T4DM, so sorgt CSSM dafür, dass aus dem gesamten Twitter-Strom, also allen gesendeten Tweets die für den Lizenznehmer relevanten herausgefiltert und diesem dann aufbereitet präsentiert werden. Um die Interessen der Lizenznehmer abzugleichen, ist ein kurzes Interview notwendig, aus den Antworten werden Merkmale extrahiert, die dann T4DM als Basis für die Auswahl von Tweets dienen.1

CSSM wirbt damit, dass tatsächlich 95% der relevanten Tweets gefunden werden. Das bedeutet, dass nur 5% der für den Lizenznehmer bedeutsamen Tweets falsch negativ klassifiziert werden. Noch besser sieht es bei der falsch positiven Klassifizierung aus, denn die Wahrscheinlichkeit, dass ein Tweet für relevant gehalten wird, obwohl er gar nicht von Interesse ist, liegt bei nur 1%. Tabellarisch ergibt sich also folgendes Bild:

Relevant Nicht relevant
Erkannt 95 % 1 %
Nicht erkannt 5 % 99 %

Da CSSM für diese Zahlen garantiert (Geld-Zurückerstattung, wenn man nachweist, dass sie nicht stimmen), findet das Tool reißenden Absatz – welcher Entscheidungsträger träumt nicht davon, den gesamten Twitterstrom aufbereitet zu bekommen, um seine Beschlüsse darauf gründen zu können? Es ist nur sehr zweifelhaft, dass die Käufer – auch wenn die Zahlen stimmen würden – irgend etwas mit dem Tool anfangen könnten, denn es lauert ein enormer Pferdefuß, der aus den relativen Zahlen in der Tabelle überhaupt nicht ablesbar ist.

Das Problem ergibt sich daraus, dass aus dem gewaltigen Rauschen, das die Twitterer in jeder Sekunde erzeugen, nicht allzu viele Tweets tatsächlich relevant bezüglich einer Zielperson sein werden. Nehmen wir an, dass die Person ca. 400 Tweets pro Tag geliefert bekommen will. Wie groß ist dann die Wahrscheinlichkeit (P), dass ein einzelner dieser erkannten Tweets tatsächlich relevant für die Person ist? P kann man über das Theorem von Bayes berechnen, das auch a-posteriori-Wahrscheinlichkeit genannt wird. Es beruht auf folgender Formel:

P(Relevant|Erkannt) = P(R)*P(E|R)/P(R)*P(E|R)+P(notR)*P(E|notR)

Wir können nun alle uns aus der Tabelle oben bekannten Werte in diese Formel einsetzen. Der einzige bisher nicht bekannte Wert ist die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist. Dieser ergibt sich aber einfach aus der Zahl der Tweets pro Tag (Twitter gab die Mitte dieses Jahres mit 400 Mio an) abzüglich der relevanten Tweets (die wir auf 400 festgelegt haben) – die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist (d.h. P(notR)), beträgt also 99,9999%, P(R) ist dementsprechend 0,0001%. Setzen wir die Werte ein:

P(Relevant|Erkannt) =  (0,0001*0,95)/(0,0001*0,95+0,9999*0,01) = 0,000095

Das heißt, nicht einmal jeder 10.000. Tweet, den das Tool liefert, ist tatsächlich auch relevant! Und das obwohl die von der Firma angegebenen Werte absolut korrekt sind. Die Angabe von relativen Werten reicht nur in diesem Fall nicht aus, um den Nutzen des Tools zu beurteilen. Das liegt daran, dass es sich bei relevanten Tweets um – im Vergleich zu ihrer Gesamtzahl – relativ seltene Ereignisse handelt. Würde man den potentiellen Käufern die Tabelle mit absoluten Zahlen präsentieren, wäre wohl jedem sofort aufgefallen, dass das Tool nicht besonders hilfreich sein kann:

Relevant Nicht relevant
Erkannt 380 Tweets 3.999.996 Tweets
Nicht erkannt 20 Tweets 395.999.604 Tweets

Von über 4.000.000 erkannten Tweets sind lediglich 380 relevant. Zahlen lügen nicht. Aber manchmal verschweigen sie etwas.

1 Eine solche Merkmalsextraktion und die darauf begründete Klassifikation von Tweets hinsichtlich ihrer Relevanz gibt es zur Zeit nicht und es ist auch fraglich, ob eine solche Anforderung je von einem Tool erfüllt werden kann, vor allem, weil es schwierig sein dürfte, “Relevanz” überhaupt zu definieren. Das tut aber hier nichts zur Sache.