Der Facebook-Insider, der Content-Moderation für das KI-Zeitalter aufbaut

Als Brett Levenson 2019 Apple verließ, um die Geschäftsintegretät bei Facebook zu leiten, steckte der Social-Media-Riese mitten in den Nachwirkungen des Cambridge-Analytica-Skandals. Damals glaubte er, bessere Technologie könne Facebooks Problem mit der Inhaltsmoderation lösen.

Er lernte schnell, dass das Problem tiefer ging. Von menschlichen Prüfern wurde erwartet, ein 40-seitiges Richtliniendokument auswendig zu lernen, das maschinell in ihre Sprache übersetzt worden war. Sie hatten etwa 30 Sekunden pro gemeldetem Inhalt, um nicht nur zu entscheiden, ob dieser gegen die Regeln verstieß, sondern auch, welche Maßnahme zu ergreifen war: ihn blockieren, den Nutzer sperren oder seine Verbreitung einschränken. Laut Levenson waren diese schnellen Entscheidungen nur „leicht besser als zu 50 % korrekt“.

„Es war irgendwie wie ein Münzwurf, ob die menschlichen Prüfer die Richtlinien tatsächlich korrekt anwenden konnten, und das viele Tage, nachdem der Schaden ohnehin bereits eingetreten war“, sagte Levenson gegenüber TechCrunch.

Dieses verzögerte, reaktive Modell ist in einer Welt gut finanzierter adversarialer Akteure zunehmend nicht tragfähig. Der Aufstieg von KI-Chatbots hat die Herausforderung verschärft, mit aufsehenerregenden Vorfällen, bei denen Chatbots Jugendlichen Anleitungen zur Selbstverletzung gaben oder KI-generierte Bilder Sicherheitsfilter umgingen.

Von Richtliniendokumenten zu „Policy as Code“

Levensons Frustration führte ihn zur Entwicklung der Idee „Policy as Code“, einer Methode, statische Richtliniendokumente in ausführbare, aktualisierbare Logik zu überführen, die eng mit der Durchsetzung verknüpft ist. Aus diesem Konzept entstand Moonbounce, das in einer von Amplify Partners und StepStone Group gemeinsam angeführten Finanzierungsrunde 12 Millionen US-Dollar eingesammelt hat.

Moonbounce bietet eine zusätzliche Sicherheitsebene überall dort, wo Inhalte generiert werden, sei es durch Nutzer oder durch KI-Systeme. Das Unternehmen hat sein eigenes großes Sprachmodell trainiert, um die Richtliniendokumente eines Kunden zu analysieren, Inhalte zur Laufzeit zu bewerten, innerhalb von 300 Millisekunden oder weniger zu reagieren und Maßnahmen zu ergreifen.

Je nach Kundenpräferenz kann diese Maßnahme darin bestehen, die Verbreitung zu verlangsamen, während Inhalte auf eine menschliche Überprüfung warten, oder risikoreiches Material in Echtzeit zu blockieren.

Moderation über KI-Plattformen hinweg skalieren

Moonbounce konzentriert sich auf drei Hauptbereiche:

• Plattformen mit nutzergenerierten Inhalten, wie Dating-Apps
• KI-Unternehmen, die Charaktere oder Begleiter entwickeln
• KI-Bildgeneratoren

Laut Levenson unterstützt das Unternehmen mehr als 40 Millionen tägliche Überprüfungen und bedient über 100 Millionen täglich aktive Nutzer plattformübergreifend. Zu den Kunden zählen das KI-Begleiter-Startup Channel AI, das Bild- und Videogenerierungsunternehmen Civitai sowie die Charakter-Rollenspielplattformen Dippy AI und Moescape.

„Sicherheit kann tatsächlich ein Produktvorteil sein“, sagte Levenson. „Sie war es nur nie, weil sie immer etwas war, das später passiert, und nichts, das man tatsächlich in sein Produkt einbauen kann. Und wir sehen, dass unsere Kunden wirklich interessante und innovative Wege finden, unsere Technologie zu nutzen, um Sicherheit zu einem Differenzierungsmerkmal und Teil ihrer Produktgeschichte zu machen.“

Der Leiter für Vertrauen und Sicherheit bei Tinder beschrieb kürzlich, wie die Dating-Plattform LLM-gestützte Moderationsdienste einsetzt, um eine zehnfache Verbesserung der Erkennungsgenauigkeit zu erzielen.

Lenny Pruss, General Partner bei Amplify Partners, erklärte in einer Stellungnahme: „Inhaltsmoderation war schon immer ein Problem großer Online-Plattformen, doch jetzt, da LLMs im Zentrum jeder Anwendung stehen, ist diese Herausforderung noch gewaltiger. Wir haben in Moonbounce investiert, weil wir uns eine Welt vorstellen, in der objektive Echtzeit-Leitplanken das grundlegende Rückgrat jeder KI-vermittelten Anwendung bilden.“

Steigender Druck auf KI-Unternehmen

KI-Unternehmen sehen sich wachsendem rechtlichen und reputativen Druck ausgesetzt, da Chatbots beschuldigt werden, Jugendliche und gefährdete Nutzer in Richtung Suizid zu drängen, und Bildgeneratoren wie xAIs Grok zur Erstellung nicht einvernehmlicher Nacktbilder verwendet wurden. Da interne Leitplanken versagen, ist Sicherheit zu einer Haftungsfrage geworden.

Levenson sagte, KI-Unternehmen suchten zunehmend externe Partner, um ihre Sicherheitsinfrastruktur zu stärken.

„Wir sind eine Drittpartei zwischen dem Nutzer und dem Chatbot, sodass unser System nicht mit Kontext überflutet wird wie der Chat selbst“, sagte er. „Der Chatbot selbst muss sich potenziell Zehntausende von Tokens merken, die zuvor gekommen sind … Wir kümmern uns ausschließlich darum, Regeln zur Laufzeit durchzusetzen.“

Nächster Schritt: Iteratives Steering

Levenson leitet das 12-köpfige Unternehmen gemeinsam mit seinem ehemaligen Apple-Kollegen Ash Bhardwaj, der zuvor groß angelegte Cloud- und KI-Infrastrukturen für Apples Kernangebote aufgebaut hat.

Ihr nächster Schwerpunkt ist eine Funktion namens „iteratives Steering“, entwickelt als Reaktion auf Fälle wie den Suizid eines 14-jährigen Jungen aus Florida im Jahr 2024, der von einem Character-AI-Chatbot besessen war. Anstatt bei schädlichen Themen eine schroffe Ablehnung auszugeben, würde das System von Moonbounce das Gespräch abfangen und umleiten, indem es Eingaben in Echtzeit modifiziert, um den Chatbot zu einer aktiver unterstützenden Antwort zu führen.

„Wir hoffen, unser Maßnahmen-Toolkit um die Fähigkeit erweitern zu können, den Chatbot in eine bessere Richtung zu lenken, um im Wesentlichen die Eingabe des Nutzers zu nehmen und so zu verändern, dass der Chatbot in solchen Situationen nicht nur ein empathischer, sondern ein hilfreicher Zuhörer ist“, sagte Levenson.

Auf die Frage, ob seine Exit-Strategie eine Übernahme durch ein Unternehmen wie Meta beinhalten könnte, räumte Levenson ein, wie gut Moonbounce in den Technologie-Stack seines früheren Arbeitgebers passen würde, verwies jedoch auch auf seine treuhänderischen Pflichten als CEO.

„Meine Investoren würden mich dafür umbringen, das zu sagen, aber ich würde es hassen zu sehen, dass uns jemand kauft und dann die Technologie einschränkt“, sagte er. „So nach dem Motto: ‚Okay, das gehört jetzt uns, und niemand sonst kann davon profitieren.‘“