Gesichtserkennung und Wirrungen des BMI

Das Bundesministerium des Innern (BMI) testet seit August diesen Jahres eine automatische Gesichtserkennung an einem Berliner Regionalbahnhof. Ziel des Vorhabens ist es, (so heißt es zumindest) auszuloten, inwiefern ein solches System in der Lage wäre, gesuchte Straftäter oder Gefährder oder wen auch immer in Menschenmengen zu identifizieren. Die Durchführung des Tests war von Anfang an alles andere als unumstritten, inzwischen wurde die Testphase vom Innenminister verlängert und erste Ergebnisse veröffentlicht, die als vielversprechend dargestellt werden: 

Ich bin nun nicht wirklich ein Experte für technische Methoden der Gesichtserkennung. Aber weil ich mich ein wenig mit Statistik auskenne, weiß ich, dass eine einzige Zahl (hier: zu 70% tatsächlich erkannte Testpersonen) viel zu wenig über die Güte eines Erkennungssystems aussagt. Das BMI lieferte auf Nachfrage noch eine zweite Zahl, nämlich  eine falsch-positiv-Rate von „unter 1%“. Und da gingen bei mir und anderen Twitterern die Alarmglocken an, weil das System so schlecht wäre, dass wir kaum glauben konnten, dass dies als Erfolg verkauft wird.

„Wieso?“ mögen sich jetzt vielleicht einige Leser|innen fragen „Es werden doch über 99% nicht falsch erkannt? Das ist doch noch ein viel besserer Wert als die 70%?“ Nein, ist es nicht. Ein solcher Wert hätte Konsequenzen, die entweder das Gesichtserkennungssystem völlig unbrauchbar machen würden oder nicht tragbare Einschränkungen für größere Bevölkerungsteile hätten. Weshalb das so ist, ist eine schöne Möglichkeit, den Satz von Bayes hier noch einmal zu thematisieren. Das letzte Mal, dass ich dies tat, ist schon etwas länger her und mein Anwendungsfall dort ist schon arg konstruiert. Deswegen danke ich dem BMI für ein schönes, aus dem Leben gegriffenes Beispiel und vor allem für eins mit so großem Konfliktpotential.

Mit den zwei Zahlen (70% und – ich runde – 1%) kann man noch immer keine Aussage darüber machen, wie gut das System sich tatsächlich im Alltag verwenden lässt. Es fehlt nämlich noch die Angabe, wie hoch der Anteil der Personen ist, die vom System erkannt werden sollen (also flüchtige Straftäter|innen, Gefährder|innen, wer auch immer) an denjenigen, die vom System erfasst werden (an den Kameras vorbeilaufen). Je kleiner dieser Anteil wird, desto schlechter wird das System. Warum ist das so? Betrachten wir zunächst einmal die Zahlen, die das BMI geliefert hat, in einer Baumdarstellung: Die Bevölkerung teilt sich in (ich wiederhole: warum auch immer) Gesuchte und nicht-Gesuchte. Die werden dann alle vom System klassifiziert. Grüne Boxen stehen für richtige Klassifikationen, rote für falsche.

Das System identifiziert 70% der Gesuchten richtig (richtig Positive, linke grüne Box) und meldet 1% der nicht Gesuchten fälschlich (falsch Positive, rechte rote Box). Der Anteil der fälschlicherweise nicht identifizierten Gesuchten an allen Gesuchten beträgt 30% (falsch Negative, linke rote Box). Nicht Gesuchte, die das System nicht meldet, machen 99% aller tatsächlich nicht Gesuchten aus (richtig Negative, rechte grüne Box). Wenn man jetzt absolute Zahlen daraus errechnen möchte, benötigt man einerseits die Gesamtbevölkerung oder eigentlich die Zahl derjenigen, die an der Kamera vorbeigehen. Nehmen wir der Einfachheit halber an, Deutschland hätte eine Bevölkerung von 80 Millionen und wäre flächendeckend mit Kameras ausgestattet und jede|r würde genau einmal pro Tag von einer erfasst werden. Jetzt brauchen wir noch die Zahl der Gesuchten. Das Bundeskriminalamt hat zur Zeit 17 Personen auf der Fahndungsliste, ich runde das mal großzügig auf 800 Gesuchte auf. Von diesen 800 Gesuchten werden 560 vom System identifiziert, 240 nicht. Bei den nicht Gesuchten schlägt das System bei 99% nicht aus, bei einem Prozent schon. Macht fast 800.000 Falschmeldungen. WTF?

Das ist natürlich gar nicht gut. Es ständen 800.000 Falschverdächtigungen 560 identifizierten Straftätern gegenüber. So etwas kann niemand ernsthaft als Erfolg verkaufen wollen. Als ich mit den geschätzten Kollegen Christian Reinboth und Florian Gallwitz auf Twitter auf die tatsächlichen Zahlen hinwies, wurden die Tweets von der Netzgemeinde dankbar aufgegriffen und weiterverbreitet. So ganz glauben, dass das BMI sich da selbst so ins Bein schießt, konnten wir aber auch nicht. Vor allem ist die Gesichtserkennung inzwischen schon ein gutes Stück weiter und mausert sich z. B. gerade zu einem festen Bestandteil der Smartphonetechnologie. Hatte sich das BMI also hoffnungslos veraltete Technik andrehen lassen? [Die folgenden Ausführungen sind nach der Korrektur der Korrektur des BMI hinfällig, siehe Nachtrag 3] Florian forschte ein wenig in den spärlich zur Verfügung gestellten Informationen und kam auf die näherliegende Erklärung, dass beim BMI statistischen Kennwerte verwechselt oder schlicht falsch weitergegeben wurden:

Es wurde die Zahl der falsch Positiven erfragt, das BMI hat wahrscheinlich aber nicht diese Zahl geliefert, sondern etwas, was man als inverse Precision [inzwischen habe ich den Namen des Wertes gefunden: False Discovery rate] bezeichnen könnte. Die Precision eines Verfahrens errechnet sich aus der Anzahl der richtig Positiven (in der Grafik: „Identifizierte“) durch die Anzahl der richtig Positiven plus der Anzahl der falsch Positiven (in der Grafik: „Falsch Gemeldete“). Die inverse Precision false discovery rate ist dann 1 minus dieser Wert. Wenn das BMI diesen Wert angegeben hat, werden weit weniger fälschlicherweise Identifizierte von System gemeldet, in unserem Beispiel wären es 5 (in Worten: fünf) statt 799992 (in Worten: fast achthunderttausend) und das macht schon einen Unterschied. Was Twitter nicht weiter stört, da werden noch immer unsere Tweets mit der ursprünglichen Rechnung geteilt. Die war ja auch nicht inkorrekt, berief sich aber auf falsche Angaben seitens den BMI.

Was können wir daraus lernen? Ich kann wenig zu erfolgsversprechenden Ansätze in der Gesichtserkennung und auch nichts über die politischen Implikationen ihres Einsatzes sagen, das sollen andere tun. Was diese Episode meiner Meinung nach schön aufzeigen kann, ist, dass unvollständige Angaben einen so großen Interpretationsgraben aufreißen, dass man eigentlich gar keine belastbaren Aussagen machen kann. Es wäre eigentlich ganz einfach – das BMI hätte lediglich die Zahlen für richtig (true)  und falsch (false) Positive und Negative (also TP, FP, TN und FN) nennen müssen, das hätte schon einmal viel Spekulation eingedämmt. Aber auch auf dieser Basis ließe sich das System nicht beurteilen. Dazu ist über die Versuchsbedingungen einfach viel zu wenig bekannt. Was waren die Trainingsdaten, d.h. welche Daten der Versuchspersonen standen dem System zur Verfügung? Das, was wir als Fahndungsfotos kennen? Wage ich zu bezweifeln. Den Versuchspersonen wurde schmackhaft gemacht, sich möglichst oft am Südkreuz, dem Versuchsbahnhof, aufzuhalten. Das liest sich nun gar nicht wie etwas, was man als natürliche Bedingungen ansehen würde.

Wie geschrieben, diskutiere ich hier nicht die politischen Implikationen des Einsatzes einer Gesichtserkennung durch Sicherheitsbehörden zur Identifikation von Menschen. Auch 5 fälschlicherweise identifizierte Unschuldige können zu viel sein, vor allem, wenn man bedenkt, dass die bloße äußere Ähnlichkeit zu Straftätern die eigene Lebensqualität extrem einschränken könnte, weil man dauernd von Sicherheitspersonal aus Menschenmengen gezogen wird. (Entschuldigt bitte das ‚wir‘) Wir sollten dem Hang von Sicherheitsbehörden, die Möglichkeiten neuer technologischen Entwicklungen für ihre Zwecke einzusetzen, nicht zu leicht nachgeben. Wir sollten Wasserstandsmeldung von in der Probe befindlichen Systemen stets kritisch hinterfragen und dazu auch unsere statistischen Grundkenntnisse auspacken. Wir sollten aber vielleicht die Datengrundlagen unserer eigenen Berechnungen hinterfragen und vor dem Retweeten einmal schauen, ob sich inzwischen nicht doch etwas geklärt hat. Nun gut, das BMI hat sich nicht mehr geäußert, aber …

(geschrieben an einem Samstag nachmittag)

Nachtrag/Appendix

(geschrieben an einem Sonntag vormittag)

Vielleicht sollte ich doch noch eine kurze und in Ansätzen mathematische Erklärung dazu schreiben, wo die große Differenz zwischen 5 und 800.000 fälschlicherweise als Verdächtige Klassifizierte herrührt. Es liegt tatsächlich einerseits an der Angabe „unter 1%“ vom BMI. Erfragt wurde nämlich die Zahl der FP. Geliefert hat das BMI auf diese Anfrage aber die Zahl für (FP/(TP+FP)), zumindest wenn wir das im Nachhinein richtig konstruiert haben. Für Laien mag es noch immer nicht richtig einleuchten, weshalb die Interpretation eines einzigen Prozents so gravierende Auswirkungen hat.

Und da kommt der Satz von Bayes ins Spiel, auch a-posteriori-Wahrscheinlichkeit genannt. A posteriori heißt auf Deutsch so etwas wie hintenraus. Und das ist auch damit gemeint. Bei den Angaben zur Präzision und Ausbeute eines Verfahrens haben wir es mit bedingten Wahrscheinlichkeiten zu tun: Das Gesichtserkennungsverfahren identifiziert nämlich 70 Prozent der Menschen unter der Bedingung, dass sie Testpersonen sind. Das hört sich etwas schräg formuliert an, aber es sollte klar sein, dass ein Verfahren nicht mehr Gesichter identifizieren kann, als es Testpersonen gibt. Das heißt im obigen Beispiel, dass höchstens 800 (von 800) Personen identifiziert werden können, dann liegt die Ausbeute (berechnet über TP/(TP+FN)) bei 100%.

Das Besondere ist jetzt, dass die Anzahl der Nicht-Testpersonen um ein Vielfaches höher liegt als die Zahl der Testpersonen. Wenn aus der Gruppe der Nicht-Testpersonen auch nur 1% fälschlicherweise verdächtigt wird, bekommt man bei einer Gesamtbevölkerung von über 80 Millionen eine erkleckliche Zahl zusammen. Die Genauigkeit des Verfahrens würde also extrem darunter leiden, weil die Anzahl der fälschlich Identifizierten um ein Vielfaches höher liegt, als die korrekt Identifizierten. Im Beispiel oben würden die Präzision (TP/(TP+FP)) nur 0,07% betragen, nicht einmal jede tausendste scheinbar identifizierte Person wäre tatsächlich gesucht.

Das liegt am Faktor, der in der Bayes’schen Formel auch Prior genannt wird: Entscheidend für die Gesamtwahrscheinlichkeit sind auch die Ausgangswahrscheinlichkeiten. Je weiter diese auseinanderliegen, desto mehr Einfluss gewinnt der Prior auf die Präzision. Für die Ausbeute spielt er keine Rolle.

Just in diesem Moment kommt auch über Twitter die Bestätigung des BMI herein, als Antwort auf Christians Lob dieses Blogposts. Bitte, Ministerium, gerne geschehen.

Nachtrag 2

Background zum Thema Gesichtserkennung hat – relativ aktuell – der Philipp Hummel auf Spektrum geschrieben (ich sollte dort wirklich wieder häufiger vorbeischauen, jetzt bin ich zumindest durch Twitter drauf gestoßen).

Unermüdliche Aufklärungsarbeit hinsichtlich oft unterschätzter Implikationen des Satzes von Bayes betreibt Christian Reinboth (u.a.) in seinem Blog, hier in Form einer netten Übungsaufgabe, die er neben seinen Studierenden auch seinen Leser|innen gestellt hat.

Und schließlich hat auch Florian Gallwitz einen – nomen est omen – beißenden Artikel zu Nebelbomben-Statistiken geschrieben, der sich zu lesen lohnt.

 

Nachtrag 3 – Alles auf Anfang

Völlig unerwarteterweise hat das BMI jetzt seine Korrektur abermals korrigiert:

Das heißt im Klartext, dass das System wirklich so schlecht ist, wie wir das anfangs angenommen hatten. Es wird in der Anwendung vor allem überhaupt nicht Gesuchte verdächtigen und zwar in so großem Umfang, dass die korrekt identifizierten Verdächtigen darin untergehen werden. Das ist alles andere als „vielversprechend“ und das sollte man (hier: der Minister Thomas de Maizière) auch so kommunizieren.

Für fast noch bedenklicher als die nutzlose Gesichtserkennung finde ich aber das Kommunikationsverhalten des Ministeriums. Man gibt eine Zahl für falsch Positive an, die einem durch simple Anwendung der Bayes-Regel in ein paar Tweets auf Twitter um die Ohren fliegt. Dann sagt man, dass man eine ganz andere Zahl angegeben hat, worauf ich in mühsamer Kleinarbeit versuchte, den auf Twitter auch durch mich losgetretenen Sturm wieder einzufangen. Bei gleich zwei Artikeln, die seitdem erschienen – auf heise.de von Detlef Borchers und bei netzpolitik.org von Constanze Kurz – schaltete ich mich ein, weil sie Berechnungen wiedergaben, deren Grundlagen ich zu der Zeit als widerlegt ansah.

Jetzt, wo das BMI wieder zurückrudert, indem sie twittern, dass sich die 1% doch auf die falsch Positiven beziehen, stehe ich natürlich blöd da. Habe ich doch einen halben Blogartikel umsonst geschrieben und geschätzte Textschreiber|innen ungerechtfertigterweise belehren wollen. Nun ja, aus Fehlern wird man klug. Mir selbst werfe ich in der Sache auch nicht wirklich etwas vor – erscheint es mir doch noch immer surreal, dass ein solch schlechtes Erkennungssystem vom BMI überhaupt beworben wird.

Fehler können natürlich passieren, ich weiß nicht, wie oft ich mich selbst schon auf Twitter korrigiert habe. Beim BMI wirkt das allerdings arg unprofessionell, weil sie sich gleich zweimal, und dann auch noch gegensätzlich korrigieren musste. Erst hü, dann hott, dann wieder hü. Da ist bei mir viel von meiner Wochenendzeit für draufgegangen. Aber:

Und vielleicht schickt mir das BMI ja einen Neujahrsgruß (Adresse im Impressum). Offenbar scheint dieser Post im Hause gelesen worden zu sein 😉

Nachtrag 4 – Neue Zahlen aus dem BMI

Im Umfeld des #34c3 hat sich offenbar Peter Schaar, der ehemalige Bundesdatenschutzbeauftragte zum Dauerbrenner Gesichtserkennung geäußert, jedenfalls fragte mich meine Timeline ob die hier zusammengefassten Zahlen stimmen würden:

Zwischen Weihnachten und Neujahr trifft man ja gerne alte Freunde und so saß ich in einer Kneipe beim Kölsch (nicht beim ersten an dem Abend), als mich die Anfrage erreichte. Soweit ich das beurteilen konnte, war die Rechnung korrekt, jedenfalls solange sich nicht zu viele Zielpersonen unter den 160.000 Personen befinden:

Nicht nur ich, sondern auch das BMI wurde zu den Zahlen befragt und bestätigte den Recall-Wert von 85% und unter 0,3% False Positives als „vorläufige“ Ergebnisse des Tests. 480 Fehlalarme pro Tag wollte es hingegen nicht bestätigen. Aber auch so haben sich Recall und Quote der False Positives inzwischen gegenüber meinen Rechnungen oben (70%, unter 1%) geändert. Ich wiederhole sie und setze die neuen Zahlen (85%, 0,25%) ein. Szenario ist wieder eine flächendeckende Überwachung aller Bundesbürger (80 Mio), die pro Tag genau einmal vom Erkennungssystem erfasst werden. Die Anzahl der Zielpersonen des Systems habe ich wieder auf 800 gesetzt. Die Rechnung ist skalierbar, d.h. man kann sie auch auf einen kleineren Personenkreis anwenden, so lange der Anteil der Zielpersonen an der Grundgesamtheit (den von System erfassten Personen) unverändert bleibt.

TRUE POSITIVES (gesucht, identifiziert) 680
FALSE NEGATIVES (gesucht, nicht identifiziert) 120
FALSE POSITIVES (nicht gesucht, identifiziert) 199.998
TRUE NEGATIVES (nicht gesucht, nicht identifiziert) 79.799.202

680 identifizierten Zielpersonen stehen also knapp 200.000 Fehlalarme (täglich!) gegenüber. Das ergibt eine Precision von knapp 0,34 Prozent. Das heißt, jede 300. vom System verdächtigte Person ist tatsächlich auch eine Zielperson. Oder: 299 von 300 verdächtigten Personen sind nicht gesucht. Die Bewertung spare ich mir, sie erscheint zu offensichtlich. Bemerkenswert finde ich allerdings, dass das BMI mit viel offenerem Blatt spielt, als ich das erwartet hätte. Ich nehme das mal als gutes Zeichen.

Cite this article as: Jürgen Hermes, "Gesichtserkennung und Wirrungen des BMI," in TEXperimenTales, 16/12/2017, http://texperimentales.hypotheses.org/2283.

Autor: Jürgen Hermes

Arbeitet als wissenschaftlicher Mitarbeiter am Institut für Digital Humanities an der Universität zu Köln.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.