La ricerca di Google AI presenta Vantage: un nuovo approccio alla valutazione della collaborazione e della creatività basato su modelli linguistici di grandi dimensioni

Nell’ambito dell’istruzione, i tradizionali test standardizzati possono valutare se gli studenti hanno acquisito il calcolo o sono in grado di comprendere un testo, ma faticano a misurare abilità come la risoluzione dei conflitti all’interno di un team, la generazione di idee innovative sotto pressione o l’analisi critica delle argomentazioni. Queste cosiddette “competenze durevoli”—collaborazione, creatività e pensiero critico—sono da tempo prive di strumenti di misurazione efficaci e scalabili.

Google Research ha recentemente introdotto un nuovo approccio chiamato Vantage, che sfrutta i modelli linguistici di grandi dimensioni (LLM) per simulare interazioni di gruppo autentiche e valutare le prestazioni dei partecipanti, con l’obiettivo di costruire un quadro di valutazione più ecologicamente valido per queste capacità.

Perché le “competenze durevoli” sono così difficili da misurare?

Il team di ricerca osserva che la sfida principale nella valutazione delle competenze durevoli risiede nella tensione tra validità ecologica e rigore psicometrico. Da un lato, le valutazioni dovrebbero svolgersi in contesti che rispecchiano situazioni del mondo reale; dall’altro, devono garantire comparabilità e ripetibilità.

Ad esempio, la valutazione della risoluzione collaborativa dei problemi nel PISA 2015 si basava su domande a scelta multipla e interazioni guidate con compagni di squadra simulati. Sebbene questo approccio consentisse un controllo rigoroso delle variabili, sacrificava la complessità e il dinamismo dell’interazione umana autentica.

Secondo il team di Google Research, i modelli linguistici di grandi dimensioni offrono il potenziale per trovare un equilibrio tra queste esigenze contrastanti: possono creare scenari conversazionali realistici, consentendo al contempo una generazione controllata e una valutazione standardizzata attraverso un modello unificato.

Il cuore di Vantage: l’architettura Orchestrator LLM

Al centro di Vantage si trova la cosiddetta architettura “orchestrator LLM”. Questo design utilizza un unico LLM per generare le risposte di tutti i partecipanti AI, permettendo una gestione coordinata dell’intero flusso del dialogo.

I vantaggi di questo approccio includono:

• Controllo unificato della logica comportamentale di più ruoli AI;

• Guida proattiva dello sviluppo della conversazione sulla base di standard educativi predefiniti;

• Attivazione intenzionale di scenari specifici in momenti chiave per testare le risposte dei partecipanti.

Ad esempio, nella valutazione delle capacità di risoluzione dei conflitti, l’orchestrator LLM può introdurre deliberatamente disaccordi tramite personaggi AI per osservare come il partecipante umano reagisce. Lo studio ha rilevato che, rispetto ad agenti indipendenti non coordinati, l’orchestrator LLM ha ottenuto risultati migliori in due sotto-competenze della collaborazione, con un tasso significativamente più elevato di individuazione di prove di comportamenti chiave.

Progettazione sperimentale e risultati della valutazione

Nell’esperimento, il team di ricerca ha reclutato 188 partecipanti di età compresa tra 18 e 25 anni per completare attività collaborative di 30 minuti con personaggi AI, raccogliendo un totale di 373 trascrizioni di dialoghi.

La valutazione dei dialoghi è stata condotta congiuntamente da due valutatori umani della New York University e da uno strumento di valutazione basato su AI. I risultati hanno mostrato che:

• I punteggi generati dall’AI hanno dimostrato una forte concordanza con le valutazioni degli esperti umani;

• Nelle misure di creatività e pensiero critico, l’orchestrator LLM ha superato gli agenti indipendenti;

• Il quadro di valutazione complessivo mostra promettenti possibilità di scalabilità.

Una nuova direzione per la valutazione educativa

Nel complesso, Vantage sfrutta i modelli linguistici di grandi dimensioni per creare scenari collaborativi controllati ma realistici, offrendo un nuovo strumento per la valutazione quantitativa delle “competenze durevoli.” La sua architettura orchestrator LLM non solo migliora l’identificazione dei comportamenti chiave, ma raggiunge anche un alto livello di coerenza con la valutazione degli esperti umani.

In un momento in cui i test tradizionali faticano a cogliere abilità come la collaborazione e la creatività, Vantage evidenzia il potenziale in espansione dell’AI nel campo della valutazione educativa.