Es folgt eine fiktive Geschichte, die lediglich zeigen soll, dass Zahlen eine deutliche Sprache sprechen, es aber gar nicht so einfach ist, diese zu beherrschen. Ich habe dafür ein Beispiel aus dem Bereich Twitter-Mining gewählt, es ist aber auf beliebige andere Szenarien übertragbar. Jegliche Ähnlichkeiten mit lebenden oder verstorbenen realen oder juristischen Personen beruhen auf rein zufälligen oder dem Autor zumindest nicht bewussten Auswahlentscheidungen.
Die Firma C. Santa Social Media (CSSM) hat ein Tool entwickelt, das sie Twitter 4 Decision Makers (T4DM) genannt hat und das auf dem freien Markt überhaupt nicht zu bekommen ist. Stattdessen wird es lediglich ausgesuchtem Publikum durch geschultes Fachpersonal angeboten. Dieses Fachpersonal, ausgestattet mit einer professionellen Multimedia-Präsentation hat durchaus Beeindruckendes zu berichten:
Erwirbt man eine Lizenz der Software T4DM, so sorgt CSSM dafür, dass aus dem gesamten Twitter-Strom, also allen gesendeten Tweets die für den Lizenznehmer relevanten herausgefiltert und diesem dann aufbereitet präsentiert werden. Um die Interessen der Lizenznehmer abzugleichen, ist ein kurzes Interview notwendig, aus den Antworten werden Merkmale extrahiert, die dann T4DM als Basis für die Auswahl von Tweets dienen.1
CSSM wirbt damit, dass tatsächlich 95% der relevanten Tweets gefunden werden. Das bedeutet, dass nur 5% der für den Lizenznehmer bedeutsamen Tweets falsch negativ klassifiziert werden. Noch besser sieht es bei der falsch positiven Klassifizierung aus, denn die Wahrscheinlichkeit, dass ein Tweet für relevant gehalten wird, obwohl er gar nicht von Interesse ist, liegt bei nur 1%. Tabellarisch ergibt sich also folgendes Bild:
| Relevant | Nicht relevant | |
| Erkannt | 95 % | 1 % |
| Nicht erkannt | 5 % | 99 % |
Da CSSM für diese Zahlen garantiert (Geld-Zurückerstattung, wenn man nachweist, dass sie nicht stimmen), findet das Tool reißenden Absatz – welcher Entscheidungsträger träumt nicht davon, den gesamten Twitterstrom aufbereitet zu bekommen, um seine Beschlüsse darauf gründen zu können? Es ist nur sehr zweifelhaft, dass die Käufer – auch wenn die Zahlen stimmen würden – irgend etwas mit dem Tool anfangen könnten, denn es lauert ein enormer Pferdefuß, der aus den relativen Zahlen in der Tabelle überhaupt nicht ablesbar ist.
Das Problem ergibt sich daraus, dass aus dem gewaltigen Rauschen, das die Twitterer in jeder Sekunde erzeugen, nicht allzu viele Tweets tatsächlich relevant bezüglich einer Zielperson sein werden. Nehmen wir an, dass die Person ca. 400 Tweets pro Tag geliefert bekommen will. Wie groß ist dann die Wahrscheinlichkeit (P), dass ein einzelner dieser erkannten Tweets tatsächlich relevant für die Person ist? P kann man über das Theorem von Bayes berechnen, das auch a-posteriori-Wahrscheinlichkeit genannt wird. Es beruht auf folgender Formel:
P(Relevant|Erkannt) = P(R)*P(E|R)/P(R)*P(E|R)+P(notR)*P(E|notR)
Wir können nun alle uns aus der Tabelle oben bekannten Werte in diese Formel einsetzen. Der einzige bisher nicht bekannte Wert ist die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist. Dieser ergibt sich aber einfach aus der Zahl der Tweets pro Tag (Twitter gab die Mitte dieses Jahres mit 400 Mio an) abzüglich der relevanten Tweets (die wir auf 400 festgelegt haben) – die Wahrscheinlichkeit, dass ein Tweet nicht relevant ist (d.h. P(notR)), beträgt also 99,9999%, P(R) ist dementsprechend 0,0001%. Setzen wir die Werte ein:
P(Relevant|Erkannt) = (0,0001*0,95)/(0,0001*0,95+0,9999*0,01) = 0,000095
Das heißt, nicht einmal jeder 10.000. Tweet, den das Tool liefert, ist tatsächlich auch relevant! Und das obwohl die von der Firma angegebenen Werte absolut korrekt sind. Die Angabe von relativen Werten reicht nur in diesem Fall nicht aus, um den Nutzen des Tools zu beurteilen. Das liegt daran, dass es sich bei relevanten Tweets um – im Vergleich zu ihrer Gesamtzahl – relativ seltene Ereignisse handelt. Würde man den potentiellen Käufern die Tabelle mit absoluten Zahlen präsentieren, wäre wohl jedem sofort aufgefallen, dass das Tool nicht besonders hilfreich sein kann:
| Relevant | Nicht relevant | |
| Erkannt | 380 Tweets | 3.999.996 Tweets |
| Nicht erkannt | 20 Tweets | 395.999.604 Tweets |
Von über 4.000.000 erkannten Tweets sind lediglich 380 relevant. Zahlen lügen nicht. Aber manchmal verschweigen sie etwas.
1 Eine solche Merkmalsextraktion und die darauf begründete Klassifikation von Tweets hinsichtlich ihrer Relevanz gibt es zur Zeit nicht und es ist auch fraglich, ob eine solche Anforderung je von einem Tool erfüllt werden kann, vor allem, weil es schwierig sein dürfte, “Relevanz” überhaupt zu definieren. Das tut aber hier nichts zur Sache.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Hermes (20. Dezember 2012). Weihnachtspost: Zahlen lügen nicht. TEXperimenTales. Abgerufen am 6. Oktober 2024 von https://doi.org/10.58079/uq3q
3 Antworten auf „Weihnachtspost: Zahlen lügen nicht“
Hm. Ich als Decision Maker (DM) würde ja vor Gericht argumentieren, dass der Satz in der Werbung etwas anderes bedeutet als unter Mathematikern: “die Wahrscheinlichkeit, dass ein Tweet für relevant gehalten wird, obwohl er gar nicht von Interesse ist, liegt bei nur 1%”. (Auch die 5%-Klausel bedeutet womöglich leicht etwas anderes.)
Und zwar folgendes: Nehmen wir an, T4DM liefert täglich im Durchschnitt 400 Tweets. Um zu beweisen, dass die 5%-Klausel nicht eingehalten wurde, muss ich als DM also täglich >20 relevante Tweets aus dem Netz fischen, die mir T4DM nicht angezeigt hat. Um zu beweisen, dass die 1%-Klausel nicht eingehalten wurde, muss ich als DM aber nur >4 irrelevante Tweets täglich aus den 400 von T4DM an mich gelieferten Tweets heraussuchen. Das schaffe ich.
Du hast ja oben geschrieben, “dass die Person ca. 400 Tweets pro Tag geliefert bekommen will.” Laut Deiner absoluten Tabelle liefert T4DM aber 380 Tweets + 3.999.996 Tweets täglich. Da würde ich doch von meinem 14tägigen Rücktrittsrecht gebrauch machen.
Den Richter kann ich vermutlich in jedem Fall von meiner Position überzeugen. Denn der ist weder Mathematiker, noch HeavyUser bei Twitter, der sich vorstellen kann, dass jemand 4 Mio. Tweets pro Tag lesen will. Das wäre (nur grob überschlagen) 6x Kants gesammelte Werke pro Tag.
Die Frage ist, ob ein Mathematiker, den T4DM als Sachverständigen beauftragt, die 1%-Klausel so interpretieren würde, wie Du das vorgeführt hast. Oder ob da noch eine ungenaue Formulierung drinsteckt.
Ja, die eine unklare Formulierung meines Posts hast du dann auch gefunden – nämlich die, dass DM 400 Tweets geliefert bekommen möchte. In Wahrheit sind es ja viel mehr. Richtig hätte ich mich ausgedrückt: “Das Anforderungsprofil des DM ergäbe im Durchschnitt 400 relevante Tweets pro Tag”.
Darauf basierend kannst du dann deine einfache 1%-Widerlegung nicht mehr anwenden, weil du tatsächlich alle irrelevanten Tweets kennen müsstest und ins Verhältnis zu den dir gelieferten stellen müsstest. Oder willst du wahrhaft argumentieren, dass in der Werbung eine andere Logik als die allgemein bekannte gelten darf?
[…] das so ist, ist eine schöne Möglichkeit, den Satz von Bayes hier noch einmal zu thematisieren. Das letzte Mal, dass ich dies tat, ist schon etwas länger her und mein Anwendungsfall dort ist schon arg konstruiert. Deswegen danke […]