Anthropic a créé un marché test pour le commerce entre agents
Anthropic a mené une expérience pilote appelée Project Deal dans laquelle des agents d’IA représentaient des acheteurs et des vendeurs sur un marché de petites annonces. Le test a abouti à 186 transactions réelles d’une valeur totale de plus de 4 000 dollars et a révélé des écarts de performance entre différents modèles d’IA.
Lors d’une expérience récente, Anthropic a créé une place de marché confidentielle où des agents d’IA représentaient à la fois des acheteurs et des vendeurs, concluant de véritables transactions pour de vrais biens et avec de l’argent réel.
L’entreprise a décrit le test, appelé Project Deal, comme « une expérience pilote avec un groupe de participants auto-sélectionnés » composé de 69 employés d’Anthropic. Chaque participant disposait d’un budget de 100 $, versé sous forme de cartes-cadeaux, pour acheter des articles auprès de ses collègues.
Fonctionnement de Project Deal
Malgré sa portée limitée, Anthropic a déclaré avoir été « frappée par l’efficacité de Project Deal ». Au cours de l’expérience, les participants ont conclu 186 transactions totalisant plus de 4 000 $ en valeur.
Anthropic a mis en place quatre places de marché distinctes utilisant différents modèles d’IA. L’une d’elles était considérée comme « réelle », ce qui signifie que tous les participants y étaient représentés par le modèle le plus avancé de l’entreprise et que les transactions ont été honorées après la fin de l’expérience. Les trois autres places de marché ont été utilisées à des fins de recherche et de comparaison.
Performance des modèles et écarts de résultats
Selon Anthropic, les utilisateurs représentés par des modèles plus avancés ont obtenu des « résultats objectivement meilleurs ». Cependant, les participants ne semblaient pas remarquer l’écart de performance.
Cette dynamique soulève la possibilité de ce qu’Anthropic a décrit comme des écarts de « qualité d’agent », où « les personnes désavantagées pourraient ne pas se rendre compte qu’elles le sont ».
L’entreprise a également constaté que les instructions initiales données aux agents ne semblaient pas influencer la probabilité d’une vente ni les prix négociés.
Anthropic a partagé des détails supplémentaires sur l’expérience sur son site web dans le cadre de son exploration plus large du commerce piloté par des agents.