Weihnachtspost: Selfmade Lösungsweg

Die Wochen vor Weihnachten sind die Zeit der Weihnachtsfeiern und Weihnachtsfeiern sind die Gelegenheit zum Wichteln. Für mich ein willkommener Anlass, darüber nachzudenken, wie wahrscheinlich es ist, dass das Wichteln in einer Wichtelcommunity schief läuft, d.h. – je nach Wichtelspielvariante – dass man sich selbst beschenken muss bzw. dass man das eigene Geschenk zieht. Inwiefern ist diese Wahrscheinlichkeit abhängig von der Teilnehmerzahl? Aus welchem Grund auch immer ich vernarrt bin in solche Denksportaufgaben, schlage ich mich gerne damit herum. Etwa wenn ich mitten in der Nacht aufwache und nicht mehr einschlafen kann. „Weihnachtspost: Selfmade Lösungsweg“ weiterlesen

Wenn Physiker Voynich-Forschung betreiben

Nein, das geht hier gar nicht gegen Physiker im Allgemeinen – das könnte ich mir schon allein deswegen nicht erlauben, weil ich mit zwei von ihnen das Kneipenlog gegründet habe. Der Titel ist nur eine Anlehnung an den Artikel von Ben Zimmer, der Anfang des Jahres im Boston Globe erschien („When physicists do linguistic“) und in dem recht anschaulich dargestellt wird, dass Fachfremdheit nicht immer ein Vorteil sein muss. Ich las mal die Anekdote, dass die Soziologin, die gewisse Dinge nicht erklären kann, diese an die Biologin weiterreicht. Was die Biologie nicht erfassen kann, wird an die Chemie delegiert. Die Chemikerin schließlich nimmt alles, was nicht in ihr Modell passt und schanzt es der Physikerin zu, die dann leider niemanden mehr hat, an den sie Unklarheiten weitergeben kann.* So ist es nicht weiter verwunderlich, dass das Voynich Manuskript (VMS, ich schrieb schon mehrfach darüber), mittlerweile schon über 100 Jahre völlig unverstanden, inzwischen auch bei den Physikerinnen gelandet ist, die es nun mit ihren Methoden untersuchen. „Wenn Physiker Voynich-Forschung betreiben“ weiterlesen

Statistik: Trau keiner!

<tl;dr> Ich kann mit einfachsten Verfahren phantastische Ergebnisse erzielen – wenn ich diese nur richtig überprüfe. 

Nach langer Zeit, in der ich vor allem an Dingen gearbeitet habe, die zu geheim, noch nicht spruchreif genug oder einfach zu langweilig für einen Blogpost waren, habe ich in dieser Woche endlich wieder ein lohnendes Thema gefunden. Es geht mal wieder um Statistik, diesmal allerdings mit konkretem Bezug zu einem Projekt, an dem ich gerade arbeite, aber auch zum letzten Post, den ich über das Thema verfasst habe (den über die Facebook-Likes-Studie).

„Statistik: Trau keiner!“ weiterlesen

Zahlen lügen wieder – Die Studie zu Facebook-Likes und Persönlichkeit

Wahrscheinlich ist inzwischen fast jede|r über die von Microsoft Research unterstützte Studie zu Facebook-Likes und Persönlichkeitsstruktur gestolpert. Sie ist bei PNAS Open Access erschienen, so dass sich jede|r ihr|sein eigenes Bild machen kann. Kollege Lars Fischer von den Scilogs hat das Ganze dankenswerterweise mal aufgegriffen, ich habe mich ein wenig in den Kommentaren vergangen und schließlich beschlossen, mich hier etwas länger auszulassen. Wenn ich mich nicht irre, gibt es nämlich Erstaunliches zu berichten. Ich habe ja schon öfter hier zur Statistik geschrieben und dabei auch erwähnt, dass ich keine wirkliche Ausbildung auf dem Gebiet genossen habe, sondern allenfalls eine gefährliche Mischung aus Bauchgefühl und angelesenem Halbwissen zum besten geben kann. Ich lasse mich also gerne verbessern.

„Zahlen lügen wieder – Die Studie zu Facebook-Likes und Persönlichkeit“ weiterlesen

Weihnachtspost: Zahlen lügen nicht

Es folgt eine fiktive Geschichte, die lediglich zeigen soll, dass Zahlen eine deutliche Sprache sprechen, es aber gar nicht so einfach ist, diese zu beherrschen. Ich habe dafür ein Beispiel aus dem Bereich Twitter-Mining gewählt, es ist aber auf beliebige andere Szenarien übertragbar. Jegliche Ähnlichkeiten mit lebenden oder verstorbenen realen oder juristischen Personen beruhen auf rein zufälligen oder dem Autor zumindest nicht bewussten Auswahlentscheidungen.

Die Firma C. Santa Social Media (CSSM) hat ein Tool entwickelt, das sie Twitter 4 Decision Makers (T4DM) genannt hat und das auf dem freien Markt überhaupt nicht zu bekommen ist. Stattdessen wird es lediglich ausgesuchtem Publikum durch geschultes Fachpersonal angeboten. Dieses Fachpersonal, ausgestattet mit einer professionellen Multimedia-Präsentation hat durchaus Beeindruckendes zu berichten:

Erwirbt man eine Lizenz der Software T4DM, so sorgt CSSM dafür, dass aus dem gesamten Twitter-Strom, also allen gesendeten Tweets die für den Lizenznehmer relevanten herausgefiltert und diesem dann aufbereitet präsentiert werden. Um die Interessen der Lizenznehmer abzugleichen, ist ein kurzes Interview notwendig, aus den Antworten werden Merkmale extrahiert, die dann T4DM als Basis für die Auswahl von Tweets dienen.1

CSSM wirbt damit, dass tatsächlich 95% der relevanten Tweets gefunden werden. Das bedeutet, dass nur 5% der für den Lizenznehmer bedeutsamen Tweets falsch negativ klassifiziert werden. Noch besser sieht es bei der falsch positiven Klassifizierung aus, denn die Wahrscheinlichkeit, dass ein Tweet für relevant gehalten wird, obwohl er gar nicht von Interesse ist, liegt bei nur 1%. Tabellarisch ergibt sich also folgendes Bild:

Relevant Nicht relevant
Erkannt 95 % 1 %
Nicht erkannt 5 % 99 %

Da CSSM für diese Zahlen garantiert (Geld-Zurückerstattung, wenn man nachweist, dass sie nicht stimmen), findet das Tool reißenden Absatz – welcher Entscheidungsträger träumt nicht davon, den gesamten Twitterstrom aufbereitet zu bekommen, um seine Beschlüsse darauf gründen zu können? Es ist nur sehr zweifelhaft, dass die Käufer – auch wenn die Zahlen stimmen würden – irgend etwas mit dem Tool anfangen könnten, denn es lauert ein enormer Pferdefuß, der aus den relativen Zahlen in der Tabelle überhaupt nicht ablesbar ist.

Das Problem ergibt sich daraus, dass aus dem gewaltigen Rauschen, das die Twitterer in jeder Sekunde erzeugen, nicht allzu viele Tweets tatsächlich relevant bezüglich einer Zielperson sein werden. Nehmen wir an, dass die Person ca. 400 Tweets pro Tag geliefert bekommen will. Wie groß ist dann die Wahrscheinlichkeit (P), dass ein einzelner dieser erkannten Tweets tatsächlich relevant für die Person ist? P kann man über das Theorem von Bayes berechnen, das auch a-posteriori-Wahrscheinlichkeit genannt wird. Es beruht auf folgender Formel:

P(Relevant|Erkannt) = P(R)*P(E|R)/P(R)*P(E|R)+P(notR)*P(E|notR)

Wir können nun alle uns aus der Tabelle oben bekannten Werte in diese Formel einsetzen. Der einzige bisher nicht bekannte Wert ist die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist. Dieser ergibt sich aber einfach aus der Zahl der Tweets pro Tag (Twitter gab die Mitte dieses Jahres mit 400 Mio an) abzüglich der relevanten Tweets (die wir auf 400 festgelegt haben) – die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist (d.h. P(notR)), beträgt also 99,9999%, P(R) ist dementsprechend 0,0001%. Setzen wir die Werte ein:

P(Relevant|Erkannt) =  (0,0001*0,95)/(0,0001*0,95+0,9999*0,01) = 0,000095

Das heißt, nicht einmal jeder 10.000. Tweet, den das Tool liefert, ist tatsächlich auch relevant! Und das obwohl die von der Firma angegebenen Werte absolut korrekt sind. Die Angabe von relativen Werten reicht nur in diesem Fall nicht aus, um den Nutzen des Tools zu beurteilen. Das liegt daran, dass es sich bei relevanten Tweets um – im Vergleich zu ihrer Gesamtzahl – relativ seltene Ereignisse handelt. Würde man den potentiellen Käufern die Tabelle mit absoluten Zahlen präsentieren, wäre wohl jedem sofort aufgefallen, dass das Tool nicht besonders hilfreich sein kann:

Relevant Nicht relevant
Erkannt 380 Tweets 3.999.996 Tweets
Nicht erkannt 20 Tweets 395.999.604 Tweets

Von über 4.000.000 erkannten Tweets sind lediglich 380 relevant. Zahlen lügen nicht. Aber manchmal verschweigen sie etwas.

1 Eine solche Merkmalsextraktion und die darauf begründete Klassifikation von Tweets hinsichtlich ihrer Relevanz gibt es zur Zeit nicht und es ist auch fraglich, ob eine solche Anforderung je von einem Tool erfüllt werden kann, vor allem, weil es schwierig sein dürfte, „Relevanz“ überhaupt zu definieren. Das tut aber hier nichts zur Sache.