8,3 miliardi di persone simulate per testare l’AI: il progetto MatrAIx

Un gruppo di ricerca guidato da Harvard e MIT ha costruito una popolazione di 8,3 miliardi di persone simulate per testare applicazioni e sistemi di intelligenza artificiale prima che arrivino sugli smartphone. Il progetto si chiama MatrAIx ed è open source: il paper pubblicato su arXiv spiega come sono stati generati i profili, come interagiscono con chatbot, siti web e app, e quali risultati hanno prodotto 18.189 trial di valutazione.

C’è subito una precisazione da fare: gli 8,3 miliardi sono lo spazio teorico campionabile, non il dataset scaricabile. Il set pubblico contiene circa un milione di profili, più che sufficienti per capire l’idea di fondo.

L’obiettivo è ambizioso: sostituire, almeno in parte, i costosi e lenti test con utenti umani con una simulazione su larga scala. Se una persona fittizia si comporta abbastanza come una persona vera, un’azienda può capire in poche ore se un checkout funziona, se una chatbot risponde bene a un cliente nervoso o se un’offerta commerciale convince, senza reclutare centinaia di beta tester.

Come sono costruite le persone simulate

Una persona simulata è un profilo strutturato che descrive un essere umano plausibile: età, regione, lingua, istruzione, professione, ma anche tratti psicologici, tolleranza al rischio, abitudini e interessi. MatrAIx rappresenta ogni profilo con 1.290 dimensioni categoriche, divise in cinque gruppi: background (238 attributi), psicologia (210), capacità (331), comportamento e interazione (124) e stile di vita (387).

A differenza di un semplice testo di poche righe, questo schema tipizzato permette di interrogare la popolazione come un database: selezionare tutte le persona over 60 con bassa familiarità tecnologica che vivono in Europa, oppure i giovani sviluppatori con alta tolleranza al rischio. Ogni attributo include anche una descrizione in linguaggio naturale, così il profilo risultante si legge come una vera scheda personale.

Metà vera, metà sintetica

I profili arrivano da due strade complementari:

• Sintetici: generati da un grafo di dipendenze che rispetta le correlazioni reali tra attributi. L’istruzione viene campionata in base all’età, la competenza in inglese in base alla lingua e alla regione. Una regola di compatibilità impedisce combinazioni impossibili, come un madrelingua inglese con competenza “nessuna”.
• Ancorati a dati umani: estratti da sei fonti reali, tra cui biografie di Wikipedia (323.438 profili), recensioni Amazon (97.915), il sondaggio sviluppatori di Stack Overflow (113.120) e il General Social Survey americano (63.532)

Il dataset pubblico rilasciato contiene circa un milione di profili: 599.847 ancorati a dati umani e 400.000 sintetici, calibrati sulle distribuzioni demografiche reali di età, regione, genere e urbanizzazione. Gli 8,3 miliardi sono lo spazio campionabile teorico: ogni valutazione carica solo il gruppo di profili che le serve, non l’intera popolazione.

Come funziona la valutazione

MatrAIx offre quattro ambienti in cui le persona interagiscono con il prodotto da testare:

• Survey: questionari per ricerche di mercato e test di concept
• Chatbot: conversazioni per valutare assistenti virtuali su completamento del compito, soddisfazione e sicurezza
• Web: prototipi di siti, con attenzione a usabilità, navigazione e tempi di risposta
• App: flussi applicativi, dalla creazione di un account al checkout

Ogni trial è indipendente e parallelo: una persona, un compito, un agente, un modello. Il sistema registra la configurazione completa della simulazione, i punteggi e lo stato dell’ambiente. Il catalogo include 1.010 task riutilizzabili su oltre 25 domini, dal commercio al software, dalla finanza alla sanità.

I numeri della prova

I ricercatori hanno eseguito 18.189 trial su otto task rappresentativi usando tre modelli linguistici diversi: Claude Opus 4.8, GPT 5.5 e Claude Haiku 4.5. I risultati mostrano che le decisioni cambiano sensibilmente in base al profilo: dopo un aumento di prezzo alcune persona esitano, altre abbandonano; di fronte a un assistente AI che fallisce, alcune proseguono, altre si arrendono.

Lo studio di validazione controllato su 400 trial ha misurato quanto le persona aderissero al comportamento dichiarato: il 91,5% dei trial ha espresso o correttamente soppresso il comportamento assegnato. Un risultato solido, che però non prova ancora che una persona simulata trattenga informazioni o abbandoni un compito esattamente come farebbe un umano: gli stessi autori lo dichiarano senza giri di parole.

Il limite che il paper ammette

La sezione più interessante del paper è quella in cui gli autori mettono in guardia gli utilizzatori: se il modello che interpreta la persona e il modello dietro il sistema testato condividono lo stesso backbone (cioè lo stesso motore sottostante, la stessa “famiglia” di modello), un risultato favorevole è ambiguo. Il sistema potrebbe aver servito bene l’utente, oppure un modello potrebbe semplicemente riconoscere e preferire il proprio stesso output. Il dato è concreto: la quota di abbonamenti paganti simulati varia dal 23,2% al 93,9% a seconda del modello usato per le persona, sugli stessi identici gruppi.

La raccomandazione è chiara: registrare sempre il modello agente nella configurazione della valutazione e, per le decisioni importanti, eseguire lo stesso gruppo con almeno un modello che non condivida il backbone con il sistema testato.

“La prossima frontiera per gli agenti è capire l’umanità, e imparare a comportarsi come noi.” — la tesi del progetto MatrAIx

Perché il progetto conta

Per chi costruisce prodotti digitali, la valutazione con utenti simulati promette di ridurre i tempi da settimane a ore, di ripetere lo stesso test in modo controllato dopo ogni modifica e di coprire gruppi di utenti difficili da reclutare. È lo stesso territorio dei benchmark di valutazione dei modelli, ma con una differenza sostanziale: il focus non è se il compito viene completato, ma come utenti diversi lo vivono.

Il progetto si inserisce nel solco degli agenti AI che lavorano in autonomia, un tema che il mondo open source sta esplorando da mesi, come raccontato nella prova sul campo di Prime Agent. L’infrastruttura è scaricabile da GitHub e il dataset di un milione di profili è pubblico su Hugging Face: chiunque può provare a costruire la propria popolazione di utenti simulati.