Wenn Physiker Voynich-Forschung betreiben

Nein, das geht hier gar nicht gegen Physiker im Allgemeinen – das könnte ich mir schon allein deswegen nicht erlauben, weil ich mit zwei von ihnen das Kneipenlog gegründet habe. Der Titel ist nur eine Anlehnung an den Artikel von Ben Zimmer, der Anfang des Jahres im Boston Globe erschien („When physicists do linguistic“) und in dem recht anschaulich dargestellt wird, dass Fachfremdheit nicht immer ein Vorteil sein muss. Ich las mal die Anekdote, dass die Soziologin, die gewisse Dinge nicht erklären kann, diese an die Biologin weiterreicht. Was die Biologie nicht erfassen kann, wird an die Chemie delegiert. Die Chemikerin schließlich nimmt alles, was nicht in ihr Modell passt und schanzt es der Physikerin zu, die dann leider niemanden mehr hat, an den sie Unklarheiten weitergeben kann.* So ist es nicht weiter verwunderlich, dass das Voynich Manuskript (VMS, ich schrieb schon mehrfach darüber), mittlerweile schon über 100 Jahre völlig unverstanden, inzwischen auch bei den Physikerinnen gelandet ist, die es nun mit ihren Methoden untersuchen. „Wenn Physiker Voynich-Forschung betreiben“ weiterlesen

Statistik: Trau keiner!

<tl;dr> Ich kann mit einfachsten Verfahren phantastische Ergebnisse erzielen – wenn ich diese nur richtig überprüfe. 

Nach langer Zeit, in der ich vor allem an Dingen gearbeitet habe, die zu geheim, noch nicht spruchreif genug oder einfach zu langweilig für einen Blogpost waren, habe ich in dieser Woche endlich wieder ein lohnendes Thema gefunden. Es geht mal wieder um Statistik, diesmal allerdings mit konkretem Bezug zu einem Projekt, an dem ich gerade arbeite, aber auch zum letzten Post, den ich über das Thema verfasst habe (den über die Facebook-Likes-Studie).

„Statistik: Trau keiner!“ weiterlesen

Zahlen lügen wieder – Die Studie zu Facebook-Likes und Persönlichkeit

Wahrscheinlich ist inzwischen fast jede|r über die von Microsoft Research unterstützte Studie zu Facebook-Likes und Persönlichkeitsstruktur gestolpert. Sie ist bei PNAS Open Access erschienen, so dass sich jede|r ihr|sein eigenes Bild machen kann. Kollege Lars Fischer von den Scilogs hat das Ganze dankenswerterweise mal aufgegriffen, ich habe mich ein wenig in den Kommentaren vergangen und schließlich beschlossen, mich hier etwas länger auszulassen. Wenn ich mich nicht irre, gibt es nämlich Erstaunliches zu berichten. Ich habe ja schon öfter hier zur Statistik geschrieben und dabei auch erwähnt, dass ich keine wirkliche Ausbildung auf dem Gebiet genossen habe, sondern allenfalls eine gefährliche Mischung aus Bauchgefühl und angelesenem Halbwissen zum besten geben kann. Ich lasse mich also gerne verbessern.

„Zahlen lügen wieder – Die Studie zu Facebook-Likes und Persönlichkeit“ weiterlesen

Weihnachtspost: Zahlen lügen nicht

Es folgt eine fiktive Geschichte, die lediglich zeigen soll, dass Zahlen eine deutliche Sprache sprechen, es aber gar nicht so einfach ist, diese zu beherrschen. Ich habe dafür ein Beispiel aus dem Bereich Twitter-Mining gewählt, es ist aber auf beliebige andere Szenarien übertragbar. Jegliche Ähnlichkeiten mit lebenden oder verstorbenen realen oder juristischen Personen beruhen auf rein zufälligen oder dem Autor zumindest nicht bewussten Auswahlentscheidungen.

Die Firma C. Santa Social Media (CSSM) hat ein Tool entwickelt, das sie Twitter 4 Decision Makers (T4DM) genannt hat und das auf dem freien Markt überhaupt nicht zu bekommen ist. Stattdessen wird es lediglich ausgesuchtem Publikum durch geschultes Fachpersonal angeboten. Dieses Fachpersonal, ausgestattet mit einer professionellen Multimedia-Präsentation hat durchaus Beeindruckendes zu berichten:

Erwirbt man eine Lizenz der Software T4DM, so sorgt CSSM dafür, dass aus dem gesamten Twitter-Strom, also allen gesendeten Tweets die für den Lizenznehmer relevanten herausgefiltert und diesem dann aufbereitet präsentiert werden. Um die Interessen der Lizenznehmer abzugleichen, ist ein kurzes Interview notwendig, aus den Antworten werden Merkmale extrahiert, die dann T4DM als Basis für die Auswahl von Tweets dienen.1

CSSM wirbt damit, dass tatsächlich 95% der relevanten Tweets gefunden werden. Das bedeutet, dass nur 5% der für den Lizenznehmer bedeutsamen Tweets falsch negativ klassifiziert werden. Noch besser sieht es bei der falsch positiven Klassifizierung aus, denn die Wahrscheinlichkeit, dass ein Tweet für relevant gehalten wird, obwohl er gar nicht von Interesse ist, liegt bei nur 1%. Tabellarisch ergibt sich also folgendes Bild:

Relevant Nicht relevant
Erkannt 95 % 1 %
Nicht erkannt 5 % 99 %

Da CSSM für diese Zahlen garantiert (Geld-Zurückerstattung, wenn man nachweist, dass sie nicht stimmen), findet das Tool reißenden Absatz – welcher Entscheidungsträger träumt nicht davon, den gesamten Twitterstrom aufbereitet zu bekommen, um seine Beschlüsse darauf gründen zu können? Es ist nur sehr zweifelhaft, dass die Käufer – auch wenn die Zahlen stimmen würden – irgend etwas mit dem Tool anfangen könnten, denn es lauert ein enormer Pferdefuß, der aus den relativen Zahlen in der Tabelle überhaupt nicht ablesbar ist.

Das Problem ergibt sich daraus, dass aus dem gewaltigen Rauschen, das die Twitterer in jeder Sekunde erzeugen, nicht allzu viele Tweets tatsächlich relevant bezüglich einer Zielperson sein werden. Nehmen wir an, dass die Person ca. 400 Tweets pro Tag geliefert bekommen will. Wie groß ist dann die Wahrscheinlichkeit (P), dass ein einzelner dieser erkannten Tweets tatsächlich relevant für die Person ist? P kann man über das Theorem von Bayes berechnen, das auch a-posteriori-Wahrscheinlichkeit genannt wird. Es beruht auf folgender Formel:

P(Relevant|Erkannt) = P(R)*P(E|R)/P(R)*P(E|R)+P(notR)*P(E|notR)

Wir können nun alle uns aus der Tabelle oben bekannten Werte in diese Formel einsetzen. Der einzige bisher nicht bekannte Wert ist die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist. Dieser ergibt sich aber einfach aus der Zahl der Tweets pro Tag (Twitter gab die Mitte dieses Jahres mit 400 Mio an) abzüglich der relevanten Tweets (die wir auf 400 festgelegt haben) – die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist (d.h. P(notR)), beträgt also 99,9999%, P(R) ist dementsprechend 0,0001%. Setzen wir die Werte ein:

P(Relevant|Erkannt) =  (0,0001*0,95)/(0,0001*0,95+0,9999*0,01) = 0,000095

Das heißt, nicht einmal jeder 10.000. Tweet, den das Tool liefert, ist tatsächlich auch relevant! Und das obwohl die von der Firma angegebenen Werte absolut korrekt sind. Die Angabe von relativen Werten reicht nur in diesem Fall nicht aus, um den Nutzen des Tools zu beurteilen. Das liegt daran, dass es sich bei relevanten Tweets um – im Vergleich zu ihrer Gesamtzahl – relativ seltene Ereignisse handelt. Würde man den potentiellen Käufern die Tabelle mit absoluten Zahlen präsentieren, wäre wohl jedem sofort aufgefallen, dass das Tool nicht besonders hilfreich sein kann:

Relevant Nicht relevant
Erkannt 380 Tweets 3.999.996 Tweets
Nicht erkannt 20 Tweets 395.999.604 Tweets

Von über 4.000.000 erkannten Tweets sind lediglich 380 relevant. Zahlen lügen nicht. Aber manchmal verschweigen sie etwas.

1 Eine solche Merkmalsextraktion und die darauf begründete Klassifikation von Tweets hinsichtlich ihrer Relevanz gibt es zur Zeit nicht und es ist auch fraglich, ob eine solche Anforderung je von einem Tool erfüllt werden kann, vor allem, weil es schwierig sein dürfte, „Relevanz“ überhaupt zu definieren. Das tut aber hier nichts zur Sache.

 

Onlinekursreporter: Statistics One Woche 1

Nach Absolvierung der Lectures der ersten Woche aus dem auf Coursera angebotenen Online-Statistik-Kurs (Andrew Conway, Princeton) ist es Zeit für ein erstes Zwischenfazit. Insgesamt gab es drei Video-Lectures (je 2-3 Videos mit 15-30 Minuten Länge), welche  eine grundlegende Einführung in (1) die Verwendbarkeit von Statistiken,  (2) die deskriptive Statistik und (3) das Arbeiten mit dem Statistikprogramm R gaben. Sehr gut gefallen hat mir dabei die Herangehensweise von Conway, der nämlich immer zuerst fragt, wofür statistische Auswertungen überhaupt sinnvoll sind und wie leicht Fehler im Studiendesign oder der -auswertung gemacht werden können. Die Videos sind relativ karg gehalten – Conway steht vor einer Leinwand, auf die schmucklose blaue Folien projiziert werden, selten nutzt er die Möglichkeit, auf diese zu schreiben oder zu malen. Das ist in den meisten Fällen zweckmäßig, weil konzentrationsfördernd, zumindest bei der Einführung in R hätte ich mir aber eine Abweichung von dem Schema gewünscht (z.B. tatsächliche Verwendung des Programms), das war etwas zu trocken geschwommen. Zum Ende jedes Videos wurden 2-3 Single-Choice-Fragen gestellt, bei deren Beantwortung man sich selbst versichern konnte, nicht zwischendurch eingenickt zu sein. Insgesamt fand ich die Lehrvideos gelungen, weil Conway es auch in karger Umgebung schafft, seinen Ansatz und sein Thema interessant herüberzubringen.

Kritik muss ich dagegen hinsichtlich der Interaktionskomponenten loswerden.  Man ist dazu angehalten, sowohl ein klausurähnliches Quiz, wie auch eine R-Programmieraufgabe zu lösen (die wiederum über Quiz-Fragen abgeprüft wird). Insgesamt ist das ein gutes Konzept, bei dessen Umsetzung es allerdings noch ein wenig hapert. Ein Teil der Quizfragen folgt dem Schema „in Lecture X wurde Studie Y vorgestellt, was war nochmal das Problem mit der Unabhängigkeit der Variable?“. Die Antwort dazu war für mich manchmal etwas schwer zu rekonstruieren, weil ich mehr als 2 Stunden Lectures mit diversen Studien hinter mir hatte. Ging aber einigermaßen. Bei der Programmieraufgabe war das Problem, dass dort R-Sprachkonstrukte verwendet werden mussten, die in der Einführung gar nicht zur Sprache kamen. Ich finde legitim, dass man die Studierenden auch mal auf eigene Faust recherchieren lässt, hätte es aber besser gefunden, wenn man zumindest darauf hingewiesen würde, dass man in den Videos nicht etwas verpasst hat, sondern dass es gar nicht vorgekommen ist. Fündig wird man z.B. im Forum zum Kurs, wobei das etwas besser moderiert sein könnte. Am meisten hat mich aber gestört, dass man nach Einreichung seiner Lösungen nicht umgehend Bescheid bekommen hat, ob und wo man richtig und wo man falsch lag.

Mir würden solche Dinge vielleicht nicht auffallen, wenn dies der erste Coursera-Kurs wäre, den ich besuchen würde. Ich habe aber eben schon durchweg gute Erfahrung im NLP-Kurs (Natural Language Processing, nicht das New-Age-Zeug) gemacht, deswegen weiß ich, dass es besser gehen würde. Aber vielleicht kann der Kurs noch im weiteren Verlauf meine durchaus hohen Ansprüche erfüllen. Bislang ist er zumindest so gut, dass ich erstmal dabei bleibe. R steht sowieso schon Jahre auf meiner Todo-Liste und jetzt kann ich schon statistische Kennwerte und Histogramme erzeugen, zur R-Tesla-Integration ist es also nicht mehr weit 🙂

Anm.: Ich bin mir unsicher hinsichtlich der Relevanz dieses Artikels. Da Bloggen für mich aber auch immer Experimentieren ist, habe ich mich mal an einem Erfahrungsbericht versucht. Und weil er dann schonmal geschrieben war, hab ich ihn auch veröffentlicht. Als Experiment, ob Erfahrungsberichte in einem wissenschaftlichen Blog funktionieren können.