La stessa richiesta rivolta a un’intelligenza artificiale può costare molto di più a seconda della lingua utilizzata. Uno studio della Coalition for Language Equity in AI Research, pubblicato nel settembre 2026 e ripreso da Rest of World, rileva differenze nel consumo di token comprese tra 1,5 e 5 volte nelle venti lingue più utilizzate su Internet. Questa differenza tecnica genera una disuguaglianza economica che colpisce soprattutto le lingue e i sistemi di scrittura poco rappresentati nei dati digitali.

Immaginiamo due aziende che offrono esattamente lo stesso servizio: un assistente in grado di rispondere alle domande dei clienti. Una lavora principalmente in inglese, l’altra in una lingua africana o asiatica. A parità di funzionalità, la seconda potrebbe dover acquistare più unità di elaborazione linguistica per trasmettere lo stesso contenuto. Né i suoi clienti né i suoi sviluppatori hanno necessariamente richiesto un servizio più complesso. La loro lingua è semplicemente supportata meno bene dal meccanismo che prepara i testi per l’IA.

Questa differenza ha un nome: la tassa sulla tokenizzazione, o tokenizer tax. E solleva una domanda posta raramente: perché l’architettura di uno strumento presentato come universale dovrebbe avvantaggiare economicamente alcune lingue?

Perché la stessa frase richiede più token in alcune lingue?

Un modello linguistico non riceve direttamente le parole così come le leggiamo. Prima dell’elaborazione, un programma chiamato tokenizer suddivide il testo in unità più piccole: i token. Queste unità possono corrispondere a parole intere, parti di parole o frammenti di caratteri.

Un metodo diffuso, chiamato byte-pair encoding o BPE, impara a unire progressivamente le sequenze frequenti. Quando una combinazione compare spesso nei testi usati per costruire il vocabolario, ha maggiori probabilità di diventare un token unico. Le combinazioni meno frequenti rimangono suddivise in frammenti.

Il problema emerge quando i dati utilizzati per costruire questo vocabolario favoriscono fortemente l’inglese. Le strutture inglesi comuni beneficiano così di una segmentazione efficiente. Altre lingue, soprattutto quelle che usano scritture poco rappresentate, possono richiedere molti più frammenti per esprimere un’idea comparabile.

Una frase inglese e la sua traduzione non sono uguali per il tokenizer

Rest of World presenta una dimostrazione basata su un tokenizer di OpenAI. La frase inglese «People should benefit from AI, regardless of the language they speak.» viene segmentata in unità relativamente riconoscibili. La sua traduzione in malayalam, lingua che utilizza una scrittura indiana, è suddivisa molto più finemente, talvolta persino all’interno di caratteri rappresentati da più byte.

Non si tratta di una differenza nella ricchezza espressiva, né di una prova che una lingua sia naturalmente più complicata. È una conseguenza del modo in cui sono state costruite le rappresentazioni digitali.

Il fenomeno, inoltre, non riguarda solo le lingue con pochi parlanti. Secondo la sintesi pubblicata da explainx.ai, le scritture birmana, tibetana, tifinagh, khmer, lao e ol chiki risultano tra le più penalizzate nei confronti riportati. L’asturiano, invece, pur essendo poco presente online, può beneficiare delle caratteristiche della sua scrittura latina.

In altre parole, le dimensioni di una comunità linguistica non bastano a prevederne la spesa. Contano anche la forma scritta della lingua e le scelte progettuali del tokenizer.

Quanto costa davvero questa disuguaglianza linguistica?

Lo studio del settembre 2026 ripreso da Rest of World riporta una differenza tra 1,5 e 5 volte nel numero di token tra le lingue più e meno favorite fra le venti più utilizzate su Internet. Ampliando il confronto a duecento lingue, i ricercatori segnalano per un modello uno scarto che può arrivare a circa 17 volte.

Quest’ultimo risultato richiede tuttavia cautela: le presentazioni disponibili non descrivono in modo sufficientemente dettagliato il modello e il protocollo utilizzati, e la formulazione esatta dello scarto varia tra i resoconti. Sarebbe quindi fuorviante affermare che ogni richiesta in yoruba, swahili o amarico costa sistematicamente 17 volte più che in inglese.

Per capire l’impatto economico, consideriamo un esempio puramente illustrativo. Se una richiesta occupa 100 token in una lingua e 300 in un’altra, la seconda consuma tre volte più unità di input. A parità di prezzo per token, il costo di input triplica. Non è una misurazione dello swahili, dell’hindi o di un’altra lingua specifica: serve soltanto a illustrare come funziona la fatturazione.

Advertising

Le interfacce di conversazione in abbonamento non trasferiscono necessariamente questa differenza direttamente sulla fattura del singolo utente. Per un’azienda che usa un’API fatturata in base al numero di token, invece, l’effetto può riflettersi sui costi operativi.

Questo squilibrio non è una scoperta del tutto nuova. Nel maggio 2023, Ahia e colleghi hanno analizzato il costo e l’utilità dell’API di OpenAI in 22 lingue tipologicamente diverse. Il loro lavoro mostrava già che molti parlanti sostenevano costi maggiori ottenendo prestazioni inferiori, spesso in regioni dove i servizi di IA erano meno accessibili economicamente.

La vera ingiustizia emerge qui: pagare di più non garantisce di ricevere di più. In certi contesti linguistici accade addirittura il contrario.

Perché questa tassa riduce anche la memoria e la qualità delle risposte?

I token servono per la fatturazione, ma anche per misurare la finestra di contesto: la quantità di informazioni che un modello può considerare in un dato momento.

Se una lingua richiede più token per trasmettere lo stesso contenuto, la finestra disponibile si riempie più rapidamente. Rimane quindi meno spazio per documenti, istruzioni dettagliate o conversazioni precedenti.

In un assistente educativo, ad esempio, conservare gli errori passati di uno studente permette di adattare le spiegazioni successive. Pratyush Choudhury, cofondatore di Activate AI, sottolinea proprio l’importanza di questa memoria nel funzionamento di un tutor digitale. Se la cronologia consuma più rapidamente il contesto in una determinata lingua, la continuità didattica può risentirne.

La penalizzazione riguarda anche la velocità. Poiché i modelli generano le risposte token dopo token, una risposta che richiede più token può impiegare più tempo. Questa latenza aggiuntiva diventa particolarmente problematica quando le risorse di calcolo e la connettività sono limitate.

Occorre però distinguere due fenomeni. Una segmentazione inefficiente riduce meccanicamente lo spazio di contesto disponibile per contenuti equivalenti. Una qualità linguistica insufficiente può derivare anche da pochi dati di addestramento o da un adattamento imperfetto del modello. La tokenizzazione, quindi, non spiega da sola tutte le risposte scadenti.

Cosa insegnano le lingue africane e asiatiche sui limiti dell’IA?

Lo swahili, lo yoruba, l’amarico e l’hindi mostrano la varietà delle lingue per cui sarebbe rischioso generalizzare partendo dai risultati ottenuti in inglese. Le loro scritture, strutture linguistiche e rappresentazioni digitali non sono identiche. Nessun moltiplicatore universale permette di calcolarne il costo relativo senza conoscere il tokenizer utilizzato.

Un benchmark pubblicato su GitHub da bedr-ux propone di confrontare amarico e inglese sulla base di 1.012 frasi parallele tratte da FLORES-200, utilizzando nove tokenizer diversi. Esamina in particolare i token per parola, i caratteri per token e i token rapportati ai byte UTF-8. Questo approccio dimostra l’utilità di valutare gli strumenti su contenuti confrontabili invece di basarsi soltanto sul numero di parlanti.

In Sudafrica, il fondatore di ManyHands, azienda che sviluppa anche un assistente accessibile tramite WhatsApp, evidenzia la difficoltà di far conversare efficacemente un agente nelle undici lingue ufficiali del Paese. Il problema va dunque oltre la semplice traduzione di un’interfaccia: riguarda la capacità delle infrastrutture linguistiche di servire popolazioni diverse.

A mio avviso, è qui che la questione diventa politica in senso economico. Una lingua poco rappresentata non è soltanto meno visibile nei contenuti prodotti dall’IA. Rischia anche di disporre di meno spazio conversazionale e di imporre costi maggiori ai servizi che cercano di utilizzarla.

Si parla spesso di democratizzare l’IA offrendo interfacce accessibili. Ma un’interfaccia tradotta non basta se il costo invisibile del suo funzionamento continua a penalizzare le stesse popolazioni.

Come ridurre il consumo di token senza abbandonare la propria lingua?

Sarebbe assurdo chiedere agli utenti di rinunciare sistematicamente alla propria lingua per aggirare un difetto tecnico. Diverse misure possono però migliorare la situazione già da oggi.

  • Scrivere richieste precise e concise: eliminare le ripetizioni, evitare di ricopiare inutilmente il contesto e chiedere un formato di risposta adatto alle esigenze. Questi cambiamenti possono ridurre il volume elaborato, ma l’efficacia varia a seconda del tokenizer.
  • Confrontare i tokenizer prima di scegliere un modello: un’azienda multilingue dovrebbe provare gli stessi contenuti nelle lingue realmente utilizzate dai clienti e misurare i token di input e output.
  • Limitare le cronologie trasmesse inutilmente: conservare le informazioni essenziali sotto forma di riepiloghi può liberare spazio nella finestra di contesto.
  • Valutare i modelli aperti: i modelli con pesi aperti, o open-weight, consentono più personalizzazione e controllo. Possono rappresentare un’alternativa economica, purché siano disponibili competenze e infrastrutture adeguate.
  • Verificare la qualità delle risposte in ogni lingua: un tokenizer parsimonioso non garantisce automaticamente un modello affidabile. Occorre controllare anche comprensione, precisione e utilità delle risposte.

Forse il consiglio più importante per un’azienda è non dimensionare mai il budget multilingue solo in base a test effettuati in inglese. Misurare il costo reale nelle lingue di destinazione evita brutte sorprese quando il servizio viene utilizzato su larga scala.

I modelli multilingue e locali possono risolvere il problema?

Tokenizer più adatti a diversi sistemi di scrittura sono una strada logica: un vocabolario costruito con una rappresentazione linguistica più equilibrata può ridurre alcune frammentazioni eccessive. L’effetto, però, va verificato sperimentalmente. Il semplice fatto che un modello sia descritto come multilingue non dimostra che tutte le lingue siano segmentate equamente.

Un’altra strada è produrre dati linguistici di qualità superiore. In India, l’iniziativa RESPIN, promossa dall’Indian Institute of Science con finanziamenti della Fondazione Gates, ha raccolto da parlanti nativi testi e parlato letto relativi a 38 dialetti. Questo lavoro può contribuire a rappresentare meglio usi linguistici trascurati.

Anche i modelli aperti, eventualmente distribuiti in locale, offrono possibilità di adattamento. Daniel Björkegren, della Columbia University, osserva che i costi rappresentano un grande ostacolo per le imprese e le amministrazioni dei Paesi a basso reddito. Poter personalizzare un modello può quindi diventare importante, anche se richiede competenze tecniche.

Sarebbe tuttavia eccessivo presentare l’installazione locale come una soluzione automatica: un modello eseguito sulle proprie macchine conserva i limiti del tokenizer e richiede risorse per funzionare.

La soluzione duratura non consiste solo nell’ottimizzare le richieste degli utenti. Richiede anche che i progettisti dei modelli prendano sul serio le lingue meno rappresentate fin dalla creazione di dati, vocabolari e valutazioni. Un’IA davvero globale non dovrebbe chiedere alle popolazioni più svantaggiate di finanziare i difetti della propria architettura linguistica.

Domande frequenti

Perché l’IA costa di più in alcune lingue?

I modelli utilizzano token per elaborare e fatturare i testi. Un tokenizer può dividere una frase in molti più frammenti quando una lingua è poco rappresentata nel suo vocabolario. Nelle API fatturate per token, questa differenza aumenta direttamente il costo di contenuti equivalenti.

Swahili, amarico o hindi costano sempre più dell’inglese?

Non esiste un moltiplicatore universale valido per queste lingue. Il numero di token dipende dal modello, dal tokenizer, dalla scrittura e dal testo analizzato. Un confronto affidabile richiede frasi equivalenti e gli strumenti realmente utilizzati.

Perché una cattiva tokenizzazione riduce la memoria di un assistente IA?

La finestra di contesto ha una capacità limitata in token. Se lo stesso documento richiede più token, occupa una quota maggiore di tale capacità. L’assistente può quindi conservare meno cronologia o elaborare meno documenti contemporaneamente.

Come può un’azienda ridurre i costi dell’IA multilingue?

Può confrontare diversi modelli su contenuti reali, misurare separatamente i token in ingresso e in uscita, abbreviare istruzioni ridondanti ed evitare di inviare cronologie inutili. Può inoltre esaminare modelli aperti e soluzioni personalizzabili. La scelta deve tenere conto di costi, qualità linguistica e vincoli tecnici.

Fonti