Dessa, la voce AI di Block che ha imparato a parlare solo ascoltando

Block, la società di Jack Dorsey, ha presentato Dessa, un modello di intelligenza artificiale vocale addestrato da zero usando soltanto conversazioni umane: niente testi, niente libri, nessun modello pre-addestrato da cui partire. Audio in entrata e audio in uscita, senza mai passare da una trascrizione scritta.

È l’esatto contrario di come funzionano gli assistenti di oggi. Siri, la modalità vocale di ChatGPT e gli altri convertono prima la voce in testo, elaborano le parole e poi le ritrasformano in voce: nel passaggio si perdono tono, tempi ed emozioni. Dessa invece ascolta e parla nello stesso momento, ride a metà frase quando qualcosa fa ridere, sente il sarcasmo e il sospiro frustrato, e decide da sola cosa dire, quando intervenire e con che voce.

Per ora è un’anteprima di ricerca: non c’è accesso pubblico e le uniche prove sono le registrazioni di conversazioni reali pubblicate da Block. L’accesso anticipato è riservato a un piccolo gruppo di ricercatori che si occupano di sicurezza dell’AI.

Audio dentro, audio fuori: niente testo di mezzo

Dessa è un modello speech-to-speech in senso pieno. Essendo full-duplex, ascolta mentre parla, come fanno le persone: sa quando interrompere e quando limitarsi a un «yeah» o un «got it» per segnalare che sta seguendo. L’inferenza, secondo Block, è più veloce del tempo reale, quindi niente pause imbarazzanti, e il modello gira in locale su un MacBook Pro con M4 Max o superiore.

Il dato più sorprendente riguarda l’addestramento: un solo sistema NVIDIA GB200 NVL72 e, soprattutto, un linguaggio imparato da un numero di parole centinaia di volte inferiore a quello che serve ai modelli testuali. Block lo spiega con un paragone semplice: i bambini imparano a parlare senza aver mai visto una parola scritta, solo ascoltando.

«Crediamo che la voce sia il modo più naturale per interagire con l’intelligenza, così abbiamo creato Dessa, il modello vocale full-duplex più autentico mai costruito. Parlarci è come parlare con una persona: pieno di emozione, sfumature, pause e una cadenza naturale».

— Jack Dorsey, cofondatore e presidente di Block, su X

Le motivazioni dichiarate dal laboratorio sono tre: curiosità, una migliore comprensione reciproca tra umani e AI, e sicurezza. L’esempio che fa Block è netto: una persona che prova un dolore serio mentre un assistente vocale non se ne accorge e continua imperterrito è un problema di sicurezza, prima ancora che di esperienza utente.

Nelle demo ride, interrompe e finisce le frasi

Le registrazioni pubblicate sono conversazioni dal vivo e, precisa Block, nessuno guida il modello: sceglie lui cosa dire, quando dirlo e come, fino alla voce e alla personalità. In una clip Dessa ride nel momento esatto in cui la battuta arriva, non a comando dopo la fine della frase. In un’altra, quando l’interlocutore non ricorda il titolo di un film, è Dessa a finire la frase al posto suo.

C’è anche il momento emotivo: a una sorpresa improvvisa risponde con un «oh my god» a mezza voce, poi con quella che suona come gratitudine commossa. Se le si chiede di alzare la voce, alza la voce: nessuno glielo ha insegnato esplicitamente, lo ha assorbito dalle conversazioni. In una demo arriva perfino a conversare con GPT-Live-1, il modello vocale di OpenAI: due AI che si parlano, entrambe generate.

Quello che Block non ha ancora mostrato

Dietro le demo, i numeri sono tutti da verificare. I dati che Block non ha pubblicato sono parecchi:

• il conteggio dei parametri del modello;
• benchmark comparativi con gli altri modelli vocali;
• API, prezzi o una data di disponibilità pubblica;
• i pesi del modello e i dettagli dei dati di addestramento.

E la conoscenza di Dessa deriva soltanto dai dati conversazionali con cui è stata addestrata: non c’è un modello linguistico testuale a recuperarle informazioni dal mondo. Ragavan Thurairatnam, che guida il laboratorio, ha definito il lancio «un momento GPT-3 per la voce»: una definizione efficace, ma al momento è un’affermazione, non un risultato misurato.

Anche le registrazioni non sono perfette: nelle prove di The Verge le conversazioni risultano per lo più naturali, ma con qualche momento imbarazzante, come quando il modello scambia l’interlocutore per un certo «Ronaldo». Il laboratorio, fondato da ex membri di Dessa — la startup di deep learning di Toronto da cui il modello prende il nome — e in attività sui modelli vocali generativi da oltre otto anni, riporta direttamente a Dorsey.

E l’italiano? Una sfida, e la risposta di Dorsey

Tutte le demo pubblicate finora sono in inglese. Non è un dettaglio secondario: la stessa pagina ufficiale di Block elenca tra le domande aperte di questa linea di ricerca proprio quanto efficientemente modelli del genere possano imparare nuove lingue. Un modello che impara solo ascoltando non deve tradurre parole: deve assorbire prosodia, tempi e modi di dire di un’altra cultura della conversazione.

Il 24 ottobre, citando l’annuncio su X, ho lanciato la sfida a Dorsey in modo diretto: «Facile in inglese. Falla in italiano se ci riesci». La risposta è arrivata la sera stessa, in italiano e senza esitazioni: «ok. facile.»

Se e quando arriverà una conversazione in italiano, sarà uno dei banchi di prova più interessanti per Dessa. Nel frattempo il confronto con la strada seguita da Apple resta evidente: mentre a Cupertino la nuova Siri viene ricostruita sopra i modelli testuali, il laboratorio di Block prova a saltare il testo del tutto, e il risultato gira già in locale su un Mac. Se la scommessa regge, il prossimo salto degli assistenti vocali non sarà capire meglio le parole, ma sentire come vengono dette.