Zuerst die Lösung: das Ganze kommt gar nicht.
Das Problem: solche Systeme haben zum Teil hohe Trefferquoten, z.B. 99,99%. Aber im Rest der Fälle liegen sie falsch. Das System verwechselt z. B. einen freundschaftliche Klaps zur Begrüßung mit einer versuchten Körperverletzung.
82 Mio Menschen führen einige Milliarden Aktionen jeden Tag in Deutschland aus.
Die Falschinterpretationen führen zu einer extrem hohe Anzahl an Falschmeldungen, die nicht mehr bearbeitbar sind, weil am Ende immer Menschen entscheiden müssen, ob die KI nicht halluziniert.
Ein Beispielbetrachtung dazu findet sich hier:
https://www.hardingcenter.de/de/unstatistik/unstatistik-des-monats-falsch-positive-chatkontrolle