Insider Facebooka budujący moderację treści na erę AI

Kiedy Brett Levenson odszedł z Apple w 2019 roku, aby objąć stanowisko szefa ds. integralności biznesowej w Facebooku, gigant mediów społecznościowych wciąż zmagał się ze skutkami afery Cambridge Analytica. W tamtym czasie wierzył, że lepsza technologia może rozwiązać problem moderacji treści na Facebooku.

Szybko jednak przekonał się, że problem jest głębszy. Ludzcy moderatorzy mieli zapamiętać 40-stronicowy dokument polityk, który został przetłumaczony maszynowo na ich język. Na każdą oznaczoną treść mieli około 30 sekund, aby zdecydować nie tylko, czy narusza ona zasady, ale także jakie działanie podjąć: zablokować ją, zablokować użytkownika czy ograniczyć jej zasięg. Według Levensona te szybkie decyzje były jedynie „nieco bardziej niż w 50% trafne”.

„To było trochę jak rzut monetą — czy ludzcy moderatorzy faktycznie poprawnie zastosują zasady, a i tak działo się to wiele dni po tym, jak szkoda już została wyrządzona” — powiedział Levenson w rozmowie z TechCrunch.

Ten opóźniony, reaktywny model staje się coraz mniej zrównoważony w świecie dobrze finansowanych, działających wrogich podmiotów. Wzrost popularności chatbotów AI dodatkowo pogłębił wyzwanie — głośne przypadki dotyczyły chatbotów udzielających nastolatkom wskazówek dotyczących samookaleczeń czy obrazów generowanych przez AI, które omijały filtry bezpieczeństwa.

Od dokumentów polityk do „polityki jako kodu”

Frustracja Levensona doprowadziła go do opracowania koncepcji „policy as code” — sposobu przekształcania statycznych dokumentów polityk w wykonywalną, aktualizowaną logikę ściśle powiązaną z egzekwowaniem zasad. Ta koncepcja stała się podstawą Moonbounce, które pozyskało 12 milionów dolarów w rundzie finansowania współprowadzonej przez Amplify Partners i StepStone Group.

Moonbounce zapewnia dodatkową warstwę bezpieczeństwa wszędzie tam, gdzie generowane są treści — zarówno przez użytkowników, jak i systemy AI. Firma wytrenowała własny duży model językowy, który analizuje dokumenty polityk klienta, ocenia treści w czasie rzeczywistym, odpowiada w 300 milisekund lub szybciej i podejmuje działania.

W zależności od preferencji klienta działania te mogą obejmować spowolnienie dystrybucji treści do czasu jej weryfikacji przez człowieka lub blokowanie materiałów wysokiego ryzyka w czasie rzeczywistym.

Skalowanie moderacji na platformach AI

Moonbounce koncentruje się na trzech głównych segmentach:

• Platformach obsługujących treści tworzone przez użytkowników, takich jak aplikacje randkowe
• Firmach AI budujących postacie lub wirtualnych towarzyszy
• Generatorach obrazów AI

Według Levensona firma obsługuje ponad 40 milionów przeglądów dziennie i wspiera platformy z ponad 100 milionami aktywnych użytkowników dziennie. Wśród klientów znajdują się startup AI companion Channel AI, firma generująca obrazy i wideo Civitai oraz platformy roleplay z postaciami Dippy AI i Moescape.

„Bezpieczeństwo może być realną korzyścią produktową” — powiedział Levenson. „Po prostu nigdy nią nie było, bo zawsze traktowano je jako coś, co dzieje się później, a nie coś, co można wbudować w produkt. Widzimy jednak, że nasi klienci znajdują bardzo ciekawe i innowacyjne sposoby wykorzystania naszej technologii, aby uczynić bezpieczeństwo elementem wyróżniającym i częścią historii ich produktu.”

Szef działu zaufania i bezpieczeństwa Tindera niedawno opisał, w jaki sposób platforma randkowa wykorzystuje usługi moderacji oparte na LLM, aby osiągnąć dziesięciokrotną poprawę skuteczności wykrywania.

Lenny Pruss, partner zarządzający w Amplify Partners, powiedział w oświadczeniu: „Moderacja treści zawsze była problemem trapiącym duże platformy internetowe, ale teraz, gdy LLM-y znajdują się w centrum każdej aplikacji, wyzwanie to jest jeszcze bardziej zniechęcające. Zainwestowaliśmy w Moonbounce, ponieważ wyobrażamy sobie świat, w którym obiektywne, działające w czasie rzeczywistym zabezpieczenia stają się podstawowym filarem każdej aplikacji pośredniczonej przez AI.”

Rosnąca presja na firmy AI

Firmy AI mierzą się z rosnącą presją prawną i reputacyjną, gdy chatboty są oskarżane o popychanie nastolatków i wrażliwych użytkowników w kierunku samobójstwa, a generatory obrazów, takie jak Grok od xAI, wykorzystywane są do tworzenia niekonsensualnych nagich wizerunków. Wraz z osłabieniem wewnętrznych zabezpieczeń bezpieczeństwo stało się kwestią odpowiedzialności.

Levenson powiedział, że firmy AI coraz częściej poszukują zewnętrznych partnerów, aby wzmocnić swoją infrastrukturę bezpieczeństwa.

„Jesteśmy stroną trzecią stojącą między użytkownikiem a chatbotem, więc nasz system nie jest zalewany kontekstem w taki sposób jak sama rozmowa” — powiedział. „Sam chatbot musi pamiętać potencjalnie dziesiątki tysięcy tokenów, które pojawiły się wcześniej… My skupiamy się wyłącznie na egzekwowaniu zasad w czasie rzeczywistym.”

Następny krok: sterowanie iteracyjne

Levenson prowadzi 12-osobową firmę wraz z byłym kolegą z Apple, Ashem Bhardwajem, który wcześniej budował infrastrukturę chmurową i AI na dużą skalę w ramach kluczowych produktów Apple.

Ich kolejnym celem jest funkcja nazwana „iterative steering” (sterowanie iteracyjne), opracowana w odpowiedzi na przypadki takie jak samobójstwo 14-letniego chłopca z Florydy w 2024 roku, który stał się obsesyjnie związany z chatbotem Character AI. Zamiast wydawać stanowczą odmowę, gdy pojawiają się szkodliwe tematy, system Moonbounce przechwytywałby i przekierowywał rozmowę, modyfikując podpowiedzi w czasie rzeczywistym, aby skierować chatbota ku bardziej aktywnie wspierającej odpowiedzi.

„Mamy nadzieję, że będziemy mogli dodać do naszego zestawu działań możliwość kierowania chatbota w lepszym kierunku, aby zasadniczo przejąć podpowiedź użytkownika i zmodyfikować ją tak, by chatbot był nie tylko empatycznym słuchaczem, ale także pomocnym słuchaczem w takich sytuacjach” — powiedział Levenson.

Zapytany, czy jego strategia wyjścia mogłaby obejmować przejęcie przez firmę taką jak Meta, Levenson przyznał, jak dobrze Moonbounce mogłoby wpasować się w stos technologiczny jego byłego pracodawcy, jednocześnie podkreślając swoje obowiązki powiernicze jako CEO.

„Moi inwestorzy by mnie zabili za takie słowa, ale nie chciałbym, żeby ktoś nas kupił, a potem ograniczył tę technologię” — powiedział. „W stylu: ‘Dobrze, to teraz nasze i nikt inny nie może z tego korzystać.’”