Anthropic stworzył testowy marketplace dla handlu agent–agent

W niedawnym eksperymencie firma Anthropic stworzyła zamknięty rynek, na którym agenci AI reprezentowali zarówno kupujących, jak i sprzedających, zawierając prawdziwe transakcje dotyczące realnych towarów i prawdziwych pieniędzy.

Firma opisała test, nazwany Project Deal, jako „pilotażowy eksperyment z samodzielnie dobraną grupą uczestników” składającą się z 69 pracowników Anthropic. Każdy uczestnik otrzymał budżet w wysokości 100 USD, wypłacony w formie kart podarunkowych, na zakup przedmiotów od swoich współpracowników.

Jak działał Project Deal

Pomimo ograniczonego zakresu firma Anthropic przyznała, że była „zaskoczona, jak dobrze zadziałał Project Deal”. W trakcie eksperymentu uczestnicy sfinalizowali 186 transakcji o łącznej wartości przekraczającej 4 000 USD.

Anthropic uruchomiła cztery oddzielne rynki, wykorzystując różne modele AI. Jeden rynek uznano za „prawdziwy”, co oznaczało, że wszystkich uczestników reprezentował najbardziej zaawansowany model firmy, a transakcje zostały zrealizowane po zakończeniu eksperymentu. Pozostałe trzy rynki wykorzystano do badań i porównań.

Wydajność modeli i różnice w wynikach

Według Anthropic użytkownicy reprezentowani przez bardziej zaawansowane modele osiągali „obiektywnie lepsze wyniki”. Jednak uczestnicy nie wydawali się dostrzegać różnicy w wydajności.

Ta dynamika rodzi możliwość występowania tego, co Anthropic określiła jako luki w „jakości agentów”, w których „osoby znajdujące się po przegrywającej stronie mogą nie zdawać sobie sprawy, że są w gorszej sytuacji”.

Firma stwierdziła również, że początkowe instrukcje przekazane agentom nie wydawały się wpływać na prawdopodobieństwo sprzedaży ani na wynegocjowane ceny.

Anthropic udostępniła dodatkowe szczegóły dotyczące eksperymentu na swojej stronie internetowej w ramach szerszych badań nad handlem napędzanym przez agentów.