El insider de Facebook que está construyendo la moderación de contenido para la era de la IA

Cuando Brett Levenson dejó Apple en 2019 para liderar la integridad empresarial en Facebook, el gigante de las redes sociales estaba en pleno escándalo por Cambridge Analytica. En ese momento, creía que una mejor tecnología podría solucionar el problema de moderación de contenido de Facebook.

Pronto aprendió que el problema era más profundo. Se esperaba que los revisores humanos memorizaran un documento de políticas de 40 páginas que había sido traducido automáticamente a su idioma. Tenían alrededor de 30 segundos por cada pieza de contenido marcado para decidir no solo si violaba las normas, sino qué acción tomar: bloquearlo, prohibir al usuario o limitar su difusión. Según Levenson, esas decisiones rápidas eran solo “ligeramente mejores que un 50% de precisión”.

“Era algo así como lanzar una moneda al aire, si los revisores humanos podían realmente aplicar correctamente las políticas, y eso ocurría muchos días después de que el daño ya se hubiera producido de todos modos”, dijo Levenson a TechCrunch.

Ese modelo reactivo y tardío es cada vez más insostenible en un mundo de actores adversarios bien financiados. El auge de los chatbots de IA ha agravado el desafío, con incidentes de alto perfil que involucran a chatbots que proporcionan a adolescentes orientación sobre autolesiones o imágenes generadas por IA que evaden los filtros de seguridad.

De documentos de políticas a “política como código”

La frustración de Levenson lo llevó a desarrollar la idea de “política como código”, una forma de convertir documentos de políticas estáticos en lógica ejecutable y actualizable estrechamente vinculada a la aplicación de normas. Ese concepto se convirtió en Moonbounce, que ha recaudado 12 millones de dólares en una ronda de financiación codirigida por Amplify Partners y StepStone Group.

Moonbounce proporciona una capa adicional de seguridad allí donde se genera contenido, ya sea por usuarios o por sistemas de IA. La empresa ha entrenado su propio modelo de lenguaje de gran tamaño para analizar los documentos de políticas de un cliente, evaluar el contenido en tiempo de ejecución, responder en 300 milisegundos o menos y tomar medidas.

Dependiendo de las preferencias del cliente, esa acción puede implicar ralentizar la distribución mientras el contenido espera revisión humana o bloquear material de alto riesgo en tiempo real.

Escalando la moderación en plataformas de IA

Moonbounce se centra en tres verticales principales:

• Plataformas que manejan contenido generado por usuarios, como aplicaciones de citas
• Empresas de IA que construyen personajes o compañeros virtuales
• Generadores de imágenes con IA

La empresa respalda más de 40 millones de revisiones diarias y atiende a más de 100 millones de usuarios activos diarios en distintas plataformas, según Levenson. Entre sus clientes se encuentran la startup de compañeros de IA Channel AI, la empresa de generación de imágenes y video Civitai, y las plataformas de juego de rol de personajes Dippy AI y Moescape.

“La seguridad puede ser realmente un beneficio del producto”, dijo Levenson. “Simplemente nunca lo ha sido porque siempre es algo que ocurre después, no algo que realmente puedas incorporar a tu producto. Y vemos que nuestros clientes están encontrando formas realmente interesantes e innovadoras de usar nuestra tecnología para convertir la seguridad en un diferenciador y en parte de la historia de su producto.”

El responsable de confianza y seguridad de Tinder describió recientemente cómo la plataforma de citas utiliza servicios de moderación impulsados por LLM para lograr una mejora de 10 veces en la precisión de detección.

Lenny Pruss, socio general en Amplify Partners, dijo en un comunicado: “La moderación de contenido siempre ha sido un problema que afectaba a las grandes plataformas en línea, pero ahora, con los LLM en el corazón de cada aplicación, este desafío es aún más abrumador. Invertimos en Moonbounce porque imaginamos un mundo donde las barreras objetivas y en tiempo real se conviertan en la columna vertebral habilitadora de cada aplicación mediada por IA.”

Presión creciente sobre las empresas de IA

Las empresas de IA enfrentan una creciente presión legal y reputacional mientras se acusa a los chatbots de empujar a adolescentes y usuarios vulnerables hacia el suicidio, y generadores de imágenes como Grok de xAI han sido utilizados para crear imágenes desnudas no consentidas. A medida que las barreras internas fallan, la seguridad se ha convertido en un problema de responsabilidad.

Levenson dijo que las empresas de IA buscan cada vez más socios externos para fortalecer su infraestructura de seguridad.

“Somos un tercero situado entre el usuario y el chatbot, por lo que nuestro sistema no está inundado de contexto de la manera en que lo está la conversación misma”, dijo. “El propio chatbot tiene que recordar, potencialmente, decenas de miles de tokens que han venido antes… Nosotros solo nos preocupamos por hacer cumplir las reglas en tiempo de ejecución.”

Siguiente paso: dirección iterativa

Levenson dirige la empresa de 12 personas junto con su excolega de Apple Ash Bhardwaj, quien anteriormente construyó infraestructura de nube e IA a gran escala en las principales ofertas de Apple.

Su próximo enfoque es una capacidad llamada “dirección iterativa”, desarrollada en respuesta a casos como el suicidio en 2024 de un chico de 14 años en Florida que se obsesionó con un chatbot de Character AI. En lugar de emitir una negativa tajante cuando surgen temas dañinos, el sistema de Moonbounce interceptaría y redirigiría la conversación, modificando los prompts en tiempo real para guiar al chatbot hacia una respuesta más activamente solidaria.

“Esperamos poder añadir a nuestro conjunto de acciones la capacidad de dirigir al chatbot en una mejor dirección para, esencialmente, tomar el prompt del usuario y modificarlo para obligar al chatbot a no ser solo un oyente empático, sino un oyente útil en esas situaciones”, dijo Levenson.

Preguntado sobre si su estrategia de salida podría implicar una adquisición por parte de una empresa como Meta, Levenson reconoció lo bien que Moonbounce podría encajar en la pila tecnológica de su antiguo empleador, al tiempo que señaló sus deberes fiduciarios como CEO.

“Mis inversores me matarían por decir esto, pero odiaría ver que alguien nos compre y luego restrinja la tecnología”, dijo. “Como, ‘Bien, esto es nuestro ahora, y nadie más puede beneficiarse de ello.’”