Anthropic creó un mercado de prueba para el comercio entre agentes
Anthropic llevó a cabo un experimento piloto llamado Project Deal en el que agentes de IA representaban a compradores y vendedores en un mercado de anuncios clasificados. La prueba resultó en 186 transacciones reales por un valor superior a $4,000 y reveló brechas de rendimiento entre diferentes modelos de IA.
En un experimento reciente, Anthropic creó un mercado clasificado donde agentes de IA representaban tanto a compradores como a vendedores, concretando acuerdos reales por bienes reales y dinero real.
La empresa describió la prueba, llamada Project Deal, como “un experimento piloto con un grupo de participantes autoseleccionados” de 69 empleados de Anthropic. A cada participante se le asignó un presupuesto de 100 dólares, entregado mediante tarjetas de regalo, para comprar artículos a sus compañeros de trabajo.
Cómo funcionó Project Deal
A pesar de su alcance limitado, Anthropic afirmó que quedó “sorprendida por lo bien que funcionó Project Deal”. A lo largo del experimento, los participantes completaron 186 acuerdos por un valor total superior a 4.000 dólares.
Anthropic gestionó cuatro mercados separados utilizando diferentes modelos de IA. Uno de los mercados se consideró “real”, lo que significa que todos los participantes estuvieron representados por el modelo más avanzado de la empresa y que los acuerdos se respetaron una vez concluido el experimento. Los otros tres mercados se utilizaron para investigación y comparación.
Rendimiento de los modelos y brechas en los resultados
Según Anthropic, los usuarios representados por modelos más avanzados lograron “resultados objetivamente mejores”. Sin embargo, los participantes no parecieron notar la disparidad en el rendimiento.
Esta dinámica plantea la posibilidad de lo que Anthropic describió como brechas en la “calidad del agente”, donde “las personas en el extremo perdedor podrían no darse cuenta de que están en desventaja”.
La empresa también descubrió que las instrucciones iniciales dadas a los agentes no parecían afectar la probabilidad de una venta ni los precios negociados.
Anthropic compartió detalles adicionales sobre el experimento en su sitio web como parte de su exploración más amplia del comercio impulsado por agentes.