Gestern erschien der Abschlussbericht der Bundespolizei zum Projekt “Biometrische Gesichtserkennung”, das am Berliner Südkreuz durchgeführt wurde. Die zugehörige Pressemitteilung bezeichnet das Projekt als “erfolgreich”, die Systeme hätten “sich bewährt”, die Bundespolizei befürwortet, diese flächendeckend einzuführen. Diese Einschätzung wird von Medien, die in meine Timeline gespült worden, entweder unwidersprochen geteilt oder es wird ein wenig rumgemäkelt, dass die Ergebnisse ja nun nicht so gut seien. Der aktuelle Bundesinnenminister gibt sich allerdings mindestens so überzeugt wie sein Vorgänger vor einem Jahr:
Testergebnisse zur #Gesichtserkennung am Bahnhof #Südkreuz veröffentlicht. #Seehofer: Systeme haben sich in beeindruckender Weise bewährt, so dass breite Einführung möglich ist. Können damit die Sicherheit für Bürgerinnen & Bürger verbessern.
Zum Bericht: https://t.co/OckZqvXZnu— Bundesministerium des Innern und für Heimat (@BMI_Bund) October 11, 2018
Beim Zwischenbericht, der vor etwa einem Jahr veröffentlicht wurde, waren die Ergebnisse so katastrophal, da es sehr viele Missverständnisse bezüglich der Interpretation der vom Bundesinnenministerium genannten Zahlen gab, hatte ich dazu schon einen längeren Blogpost geschrieben. Hat sich das in der zweiten Testphase jetzt eklatant geändert? Damals habe ich errechnet, dass von 100 vom System erkannten Personen mehr als 99 gar nicht vom System erkannt werden sollten. Jetzt behauptet unter anderem Fefe, dass von 5 nur noch einer falsch erkannt wird (80/100), was er noch für zuviel hält. Doch wenn das stimmt, wäre das System binnen Jahresfrist drastisch verbessert worden.
Obwohl ich eigentlich anderes zu tun habe, musste ich jetzt doch einen Blick in den Abschlussbericht des BMI / der BuPol werfen. In der Pressemitteilung stechen vor allem zwei Zahlen hervor: 80% Trefferrate und unter 0,1% Falschtrefferrate, ein Wert, der “sich aber durch
Kombination verschiedener Systeme technisch auf bis zu 0,00018% und
damit auf ein verschwindend geringes Maß reduzieren” ließe. “Die Systeme haben sich damit für einen Einsatz im Polizeialltag bewährt.”
Aha, das liest sich nun wirklich gut, vor allem, wenn man nicht genau weiß, was (Falsch)Trefferrate heißt und man den Satz von Bayes nicht kennt. Nach Studium des Abschlussberichts bin ich auch schlauer, was die Interpretation der Begriffe Trefferrate und Falschtrefferrate angeht. Trefferrate gibt die Wahrscheinlichkeit an, mit der eine gesuchte Person vom System als eine solche identifiziert wird (hier: 80%, also werden 4 von 5 gesuchten Personen auch tatsächlich gefunden). Falschtrefferrate gibt die Wahrscheinlichkeit an, dass eine nicht gesuchte Person fälschlicherweise vom System als eine gesuchte identifiziert wird (unter 0,1%, also nur einer von 1000). Wie gut diese Zahlen sind, kann man aber leider erst sagen, wenn man die Zahl der vom System eigentlich Gesuchten kennt. Ich bin für meine Beispielrechung im letzten Jahr von einem Land ausgegangen, in dem die BuPol eine flächendeckende Massenüberwachung eingerichtet hat, um 800 aus welchem Grund auch immer Gesuchte aufzufinden. Alle Bürger geraten pro Tag einmal ins Visier einer Überwachungskamera. Schauen wir, was das Gesamtsystem daraus macht:
| TRUE POSITIVES (gesucht, identifiziert) | 640 |
| FALSE NEGATIVES (gesucht, nicht identifiziert) | 160 |
| FALSE POSITIVES (nicht gesucht, identifiziert) | 79.999 |
| TRUE NEGATIVES (nicht gesucht, nicht identifiziert) | 79.919.201 |
640 identifizierten Zielpersonen stehen also knapp 80.000 Fehlalarme (täglich!) gegenüber. Das ergibt eine Precision von knapp 0,79 Prozent. Das heißt, weniger als jede hundertste vom System verdächtigte Person ist tatsächlich auch eine Zielperson. Oder: 99 von 100 verdächtigten Personen sind nicht gesucht.
Wesentlich besser wird das Ergebnis, wenn man für die Falschtrefferrate den anderen, niedrigeren Wert aus der Presseerklärung einsetzt (0,00018%), der zustande kommen soll, wenn man zwei Systeme arbeiten lässt und beide anschlagen müssen, damit das Gesamtsystem eine Zielperson gefunden haben will. Erstens allerdings verschweigt die Pressemitteilung, dass damit auch die Trefferquote sinkt (der Abschlussbericht bringt Aufklärung: auf 68%). Zweitens wird diese Zahl lediglich in der Zusammenfassung genannt und nicht in dem unfangreicheren Daten-Kapitel, so dass mir sehr unklar ist, wie sie zustande kommt. Das sollte das BMI oder die BuPol bitte noch einmal erklären. Schließlich hätten wir es, wenn diese Zahlen tatsächlich stimmen, mit 144 statt 80.00o Fehlalarmen täglich zu tun. Da finde ich es sehr strange, dass die BuPol dieses nur in einem Nebensatz feiert.
Nachtrag 13.10.2018
Das Thema generiert – wie beim ersten Post auch – eine Menge Aufmerksamkeit. Kurz nachdem ich Fefe verlinkt habe, setzte er auch einen Link auf TEXperimenTales, allerdings nicht auf diesen aktuellen, sondern den Vorgängerpost aus dem letzten Jahr.
Auf Twitter war den ganzen Tag über was los, ans Herz gelegt sei den geneigten Lesern |innen der Thread von Florian Gallwitz, der auf diverse Aspekte des Bundespolizeiberichts eingeht und mit diesem Tweet startet:
Ein paar Bemerkungen zum Südkreuz-Abschlussbericht als Thread https://t.co/CCowhNXuCQ
— Florian Gallwitz (@FlorianGallwitz) October 12, 2018
Etwas verwundert war ich, als mir die CSU-Politikerin Monika Hohlmeier mangelnde Mathematik-Kenntnisse unterstellte. Aber Twitter ist halt immer für eine Überraschung gut.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Hermes (12. Oktober 2018). Gesichtserkennung Südkreuz, die zweite. TEXperimenTales. Abgerufen am 8. September 2024 von https://doi.org/10.58079/uq5x
10 Antworten auf „Gesichtserkennung Südkreuz, die zweite.“
Die Zahl der False Positives wird nochmal erheblich ansteigen, wenn die Zahl der gesuchten Personen steigt. An dem Test haben ja nur 312 Proband(inn)en teilgenommen, deren Bilder geeignet waren, als Grundlage für ein False Positive zu dienen. Realistischerweise müsste man annehmen, dass die Polizeibehörden in Deutschland wesentlich mehr Menschen suchen als nur 312 (oder die oben angenommenen 800), man darf sicher von einer 5-stelligen Zahl ausgehen. Dementsprechend mehr Vorlagen existieren, mit denen die unschuldigen Bürger fälschlicherweise verwechselt werden können. Der Anteil der False Positives kann dadurch leicht auf mehrere Prozent ansteigen, würde ich mal annehmen.
Auch die Kombination mehrerer Systeme bringt vermutlich nicht den erhofften Gewinn, denn es hat den Anschein, als wären hier einfach die vermeintlichen Wahrscheinlichkeiten multipliziert worden. Dabei wird verkannt, dass die Falscherkennung nicht nach Mustern des Zufalls abläuft, sondern auf der Basis von deterministischen Algorithmen, hier Gesichtserkennungsalgorithmen. Die unterschiedlichen Systeme werden dabei zwangsläufig vergleichbare oder ähnliche Verfahren entsprechend dem Stand der Forschung einsetzen, so dass die Wahrscheinlichkeit sehr hoch ist, dass bei einer Falscherkennung durch ein System ein anderes System ebenfalls zur Falscherkennung neigt.
Insgesamt sind die Zahlen ein Desaster, das Szenario völlig unrealistisch. Wenn sie wenigstens einen simulierten Echttest gemacht hätten, indem sie die Bilder von zehntausenden tatsächlich gesuchten Verbrechern als Datenbasis verwendet hätten – dabei dann die (manuell überprüften) Ergebnisse wären mal interessant gewesen, insbesondere hinsichtlich der False Positives (wobei das zwar nur ungefähr ginge, so lange man die erkannten Personen nicht vor Ort einzeln überprüft, aber es wäre trotzdem interessant).
Wenn die Zahl der Überwachungssysteme derart ansteigt, wie es die Innenpolitiker sich erträumen, so wird auch die Annahme Makulatur, dass jeder Bürger durchschnittlich nur einmal am Tag ins Visier einer solchen Kamera kommt. Viel eher muss man davon ausgehen, dass es wesentlich häufiger passiert, vor allem in den Städten – incl. der Steigerung von False Positives.
Es erstaunt auch, dass es bisher keine Berichte über erfolgreiche Systeme aus anderen Ländern gibt. Die Briten zum Beispiel haben nun kein Problem mit Kameraüberwachung im öffentlichen Raum und investieren fleißig auch in modernste Anlagen, aber Gesichtserkennung ist da offenbar kein großer Fortschritt geworden bisher. Warum es nun ausgerechnet bei uns die Revolution in der Polizeiarbeit bringen soll, bleibt schleierhaft.
Mitteilung des CCC zu Südkreuz:
https://www.ccc.de/en/updates/2018/debakel-am-suedkreuz
[…] Gesichtserkennung Südkreuz, die zweite → Jürgen Hermes […]
Sie kommen in Ihrem durchgerechneten Ergebnis auf eine Trefferrate (Anzahl der zu Recht Verdächtigten dividiert durch Anzahl der zu Unrecht verdächtigten) von 0,79%.
Das hört sich schlecht an und wird so natürlich nicht gern offiziell kommuniziert. Aber ist es schlecht?
Es heisst, das die Polizei 120 Menschen überprüfen muss, z.B. durch Ausweiskontrolle um einen Fahndungserfolg zu erzielen. Wenn jede Prüfung 10 Minuten kostet, würde das einen Aufwand von ca 3 Personentagen pro Festnahme bedeuten. Ist das nicht eigentlich ganz akzeptabel?
Noch viel besser sieht es aus, wenn die Polizei mit der genannten Zweierkombination arbeitet und nur die Personen prüft, die von beiden erkannt werden. Dann soll es ja angeblich 68% True Positives und 0,00018% False Negatives geben. Das ergibt, wieder mit Ihren Zahlen, 68% von 800, also 544 True Positives und 0,00018% * 80 Mio, also 144 False Negatives. Jetzt sind auf einmal 80% der Passanten, bei denen die Lampe blinkt auch tatsächlich Gesuchte Personen.
Ein Beweis für die Tauglichkeit ist das allein noch nicht. Aber man kann nicht sagen, dass die Zahlen Anlass zur Vermutung gäben, Gesichtserkennung würde nicht funktionieren.
Ich bin übrigens selbst Mathematiker, und ich spreche Ihnen ein Lob aus, dass sie korrekt gerechnet und argumentiert haben . Nur Ihre Schlüsse halte ich für voreilig.
Mein Vorkommentator, fr.osch, liegt hingegen leider mit all seinen Argumenten und Schlüssen daneben.
Dass ein “Dr.”Mathematiker nicht merkt, dass 80% richtige Erkennungen dank Kombination von 3 Algorithmen mit dem logischen ODER die anschließende Aussiebung mit dem logischen UND quasi ausschließt, finde ich lustig
Wie in dem Artikel erwähnt, ist aus dem Bericht überhaupt nicht zu erkennen, wie diese 0,00018% falsch positive Treffer überhaupt aus den Daten zustande kommen. Vor allem, das das ja eine Leistungssteigerung um das ca. 500fache bedeutet, die aus dem Nichts kommt und nicht belegt wird.
Da es um eine Einschränkung meiner Grundrechte geht, sehe ich da die Polizei doch in der Beweislast. Und damit meine ich dann Ergebnisse, die sich aus den Daten mit ordentlichen wissenschaftlichen Standards folgern lassen.
Auch verstehe ich nicht, warum fr.osch laut meinem Vorkommentator mit all seinen Argumenten und Schlüssen pauschal daneben liegen soll.
Gibt es z.B. positive Ergebnisse aus anderen Ländern mit mehr Kameraüberwachung (mit ordentlicher Methodik und Daten)? Und ist es ganz daneben, verschiedene Erkennungsverfahren als nicht komplett unabhängig voneinander zu sehen, wenn sie wahrscheinlich ähnliche wissenschaftliche Grundlagen verwenden (und damit wäre ja die einfache Multiplikation der Wahrscheinlichkeiten falsch)?
Hohlmeier… der Name ist Programm; peinlich, peinlich.
Ach kommt, einer von zweien war schuldig.
Tuttle oder Buttle.
Verhaftungserfolg war das, was zählt!
Dr. von Karger schreibt: “z.B. durch Ausweiskontrolle um einen Fahndungserfolg zu erzielen. Wenn jede Prüfung 10 Minuten kostet”
Wir haben hierzulande keine Ausweismitführungspflicht, so dass die geschätzten “10 Minuten” weit untertrieben sind.
KI Algorithmen benötigen, um gute Ergebnisse zu liefern, einen sauberen und großen Trainingsdatensatz. Ich denke dass sich mit einem größeren Datensatz, besseren Kameras und fortschreitender Technik hier schon bald recht gute Ergebnisse erzielen lassen würden. Die Polizei und die Hersteller dieser Systeme stehen hier aber vor einem Henne-Ei-Problem: Ohne echten Einsatz kein großer Trainingsdatensatz. Und ohne den keine gute Trefferquote. Daher wohl der Drang, dass jetzt einzuführen – um es zu verbessern. Wir reden bei dieser Diskussion damit eigentlich um den Brei herum: Die Entscheidung für einen Einsatz sollte nicht anhand heutiger Trefferquoten getroffen werden, sondern an so Fragen wie: Will ich, dass der Staat eine weitere Möglichkeit für ein Bewegungsprofil von mir hat, auch wenn ich auf ein Handy verzichte und nicht über die Autobahn fahre? Kann man das aufrechnen gegen die Zahl damit festgenommener Straftäter? Werden die Straftäter schlauer mit der Zeit und entziehen sich der Gesichtserkennung, so dass in den statlichen Datenbanken nur noch mein Bewegungsprofil übrig bleibt?