Warum markiert die automatisierte Bildmoderation zu viel?
Weil das Basismodell nach einer allgemeinen Taxonomie entscheidet, nicht nach deiner Richtlinie. Es erkennt ein Moderationslabel und markiert. Ob dieses Label auf deiner Plattform überhaupt ein Problem ist, kann es nicht wissen.
Das Muster lässt sich an einem Beispiel erklären. Stell dir eine Plattform für Restaurantbewertungen vor. Rekognition vergibt für jedes Foto mit einem Weinglas auf dem Tisch ein Alkohol-Label. Ein Glas Wein neben dem Teller ist für eine Restaurantplattform kein Verstoss, sondern der Normalfall. Ein Tisch voller leerer Gläser und Flaschen ist etwas anderes. Genau diese Unterscheidung trifft das Basismodell nicht: Es sieht Alkohol und markiert. Wer das Label so übernimmt, schickt die halbe Plattform ins manuelle Review.
Genau das ist bei uns passiert. Rekognition markierte systematisch ein ganzes Moderationslabel als Verstoss, obwohl dieses Label auf der Plattform ausdrücklich erlaubt war. Ein Verstoss lag erst vor, wenn ein zweites, spezifischeres Label dazukam. Das Basismodell kannte diese Regel nicht, weil es sie nicht kennen kann.
Rund 85 % der markierten Bilder waren damit gar kein Verstoss, sogenannte False Positives oder Fehlmarkierungen. Jedes davon landete trotzdem im manuellen Review. Ein Supervisor musste jedes einzelne Bild öffnen, beurteilen und freigeben, bevor es live gehen konnte. Bei laufendem Upload-Volumen ist das kein Rand-Ärgernis, sondern ein täglicher Zeitfresser, der die Freigabe verzögert und Anbieter:innen frustriert, deren völlig legitime Inhalte in der Warteschlange hängen.
Wer Nutzer:innen erlaubt, Bilder öffentlich zu publizieren, kommt um Moderation nicht herum. Sobald Inhalte für andere sichtbar werden, trägt die Plattform die Verantwortung dafür, was dort zu sehen ist. Das gilt für jede Plattform mit nutzergenerierten Inhalten, und wie weit diese Verantwortung reicht, ist zunehmend auch eine regulatorische Frage. Was der EU AI Act für Web-Applikationen bedeutet, haben wir separat aufgeschrieben.
