Una misma solicitud dirigida a una inteligencia artificial puede costar mucho más según el idioma utilizado. Un estudio de la Coalition for Language Equity in AI Research, publicado en septiembre de 2026 y difundido por Rest of World, detecta diferencias en el consumo de tokens de entre 1,5 y 5 veces entre los veinte idiomas más utilizados en Internet. Esta diferencia técnica genera una desigualdad económica que afecta especialmente a lenguas y sistemas de escritura poco representados en los datos digitales.

Imagina dos empresas que ofrecen exactamente el mismo servicio: un asistente capaz de responder a las preguntas de sus clientes. Una trabaja principalmente en inglés y la otra en una lengua africana o asiática. Con funciones comparables, la segunda puede necesitar comprar más unidades de procesamiento lingüístico para transmitir el mismo contenido. Ni sus clientes ni sus desarrolladores han pedido necesariamente un servicio más complejo. Simplemente, el mecanismo que prepara los textos para la IA admite peor su idioma.

Esta diferencia tiene nombre: el impuesto de tokenización, o tokenizer tax. Y plantea una pregunta que rara vez se formula: ¿por qué la arquitectura de una herramienta presentada como universal debería favorecer económicamente a determinadas lenguas?

¿Por qué una misma frase utiliza más tokens según el idioma?

Un modelo de lenguaje no recibe directamente las palabras tal como las leemos. Antes de procesarlas, un programa llamado tokenizador divide el texto en unidades más pequeñas: los tokens. Pueden ser palabras completas, partes de palabras o fragmentos de caracteres.

Un método habitual, denominado byte-pair encoding o BPE, aprende a fusionar progresivamente las secuencias frecuentes. Cuando una combinación aparece a menudo en los textos utilizados para construir el vocabulario, tiene más posibilidades de convertirse en un único token. Las combinaciones menos frecuentes siguen divididas en fragmentos.

El problema surge cuando los datos usados para construir ese vocabulario favorecen mucho al inglés. Sus estructuras habituales se benefician entonces de divisiones eficientes. Otros idiomas, especialmente los que utilizan escrituras menos representadas, pueden necesitar muchos más fragmentos para expresar una idea comparable.

Una frase en inglés y su traducción no son iguales ante el tokenizador

Rest of World presenta una demostración basada en un tokenizador de OpenAI. La frase inglesa «People should benefit from AI, regardless of the language they speak.» se divide en unidades relativamente reconocibles. Su traducción al malayalam, lengua que utiliza una escritura india, queda mucho más fragmentada, a veces incluso dentro de caracteres representados mediante varios bytes.

No se trata de una diferencia de riqueza expresiva ni demuestra que una lengua sea naturalmente más complicada. Es consecuencia de cómo se construyeron las representaciones digitales.

Además, el fenómeno no se limita a lenguas con pocos hablantes. Según el resumen publicado por explainx.ai, las escrituras birmana, tibetana, tifinagh, jemer, lao y ol chiki figuran entre las más perjudicadas en las comparaciones citadas. En cambio, el asturiano, a pesar de su escasa presencia digital, puede beneficiarse de las características de su escritura latina.

En otras palabras, el tamaño de una comunidad lingüística no basta para predecir su factura. También importan su escritura y las decisiones de diseño del tokenizador.

¿Cuánto cuesta realmente esta desigualdad lingüística?

El estudio de septiembre de 2026 difundido por Rest of World señala una diferencia de entre 1,5 y 5 veces en el número de tokens entre los idiomas más y menos favorecidos de los veinte más utilizados en Internet. Al ampliar la comparación a doscientas lenguas, los investigadores indican una diferencia que puede llegar aproximadamente a 17 veces en un modelo.

No obstante, este último dato exige cautela: los resúmenes disponibles no explican con suficiente detalle el modelo y el protocolo utilizados, y la formulación exacta de la diferencia cambia según la fuente. Por tanto, sería engañoso afirmar que toda consulta en yoruba, suajili o amhárico cuesta sistemáticamente 17 veces más que en inglés.

Para entender el efecto económico, tomemos un cálculo puramente ilustrativo. Si una solicitud ocupa 100 tokens en un idioma y 300 en otro, el segundo consume tres veces más unidades de entrada. Con el mismo precio por token, el coste de entrada se triplica. Este cálculo no mide el suajili, el hindi ni ninguna otra lengua concreta: solo ilustra el funcionamiento de la facturación.

Publicidad

Las interfaces de conversación de suscripción no trasladan necesariamente esa diferencia directamente a la factura individual. En cambio, una empresa que utiliza una API facturada por volumen de tokens sí puede verla reflejada en sus costes operativos.

Este desequilibrio no es un descubrimiento totalmente nuevo. En mayo de 2023, Ahia y sus colaboradores analizaron el coste y la utilidad de la API de OpenAI en 22 lenguas tipológicamente diversas. Su trabajo ya mostraba que muchos hablantes soportaban costes superiores a cambio de un rendimiento inferior, a menudo en regiones donde los servicios de IA eran menos asequibles.

Ahí aparece la verdadera injusticia: pagar más no garantiza recibir más. En ciertos contextos lingüísticos ocurre incluso lo contrario.

¿Por qué este impuesto también reduce la memoria y la calidad de respuesta?

Los tokens sirven para facturar, pero también para medir la ventana de contexto: la cantidad de información que un modelo puede tener en cuenta en un momento dado.

Si un idioma necesita más tokens para transmitir el mismo contenido, la ventana disponible se llena más rápido. Queda menos espacio para documentos, instrucciones detalladas o intercambios anteriores.

En un asistente educativo, por ejemplo, conservar los errores anteriores de un alumno permite adaptar las explicaciones posteriores. Pratyush Choudhury, cofundador de Activate AI, destaca precisamente la importancia de esta memoria en el funcionamiento de un tutor digital. Si el historial consume el contexto más rápidamente en una lengua, la continuidad pedagógica puede deteriorarse.

La penalización también afecta a la velocidad. Como los modelos generan respuestas token a token, una contestación que necesita más tokens puede tardar más. Esta latencia adicional resulta especialmente problemática cuando los recursos informáticos y la conectividad son limitados.

Sin embargo, hay que distinguir dos fenómenos. Una segmentación deficiente reduce mecánicamente el espacio de contexto disponible para un contenido equivalente. Una calidad lingüística insuficiente también puede deberse a la falta de datos de entrenamiento o a una adaptación imperfecta del modelo. Por tanto, la tokenización por sí sola no explica todas las respuestas deficientes.

¿Qué revelan las lenguas africanas y asiáticas sobre los límites de la IA?

El suajili, el yoruba, el amhárico y el hindi ilustran la diversidad de lenguas para las que sería peligroso generalizar a partir de resultados obtenidos en inglés. Sus escrituras, estructuras lingüísticas y representaciones digitales no son idénticas. No existe un multiplicador universal que permita calcular su coste relativo sin conocer el tokenizador utilizado.

Un benchmark publicado en GitHub por bedr-ux propone comparar el amhárico y el inglés mediante 1012 frases paralelas de FLORES-200 y nueve tokenizadores diferentes. Examina, entre otros indicadores, los tokens por palabra, los caracteres por token y la relación entre tokens y bytes UTF-8. Este enfoque demuestra la utilidad de medir las herramientas con contenidos comparables en lugar de basarse únicamente en el número de hablantes.

En Sudáfrica, el fundador de ManyHands, una empresa que desarrolla, entre otras cosas, un asistente accesible por WhatsApp, señala la dificultad de lograr que un agente converse eficazmente en las once lenguas oficiales del país. El problema va más allá de traducir una interfaz: afecta a la capacidad de la infraestructura lingüística para atender a distintas poblaciones.

A mi juicio, aquí la cuestión adquiere una dimensión política en el sentido económico. Una lengua escasamente representada no solo tiene menor visibilidad en los contenidos generados por la IA. También corre el riesgo de disponer de menos espacio de conversación y de incrementar el gasto de los servicios que intentan utilizarla.

Se habla a menudo de democratizar la IA mediante interfaces accesibles. Pero traducir una interfaz no basta si el coste invisible de su funcionamiento sigue perjudicando a las mismas poblaciones.

¿Cómo reducir el consumo de tokens sin renunciar a tu idioma?

Sería absurdo exigir a los usuarios que abandonaran sistemáticamente su idioma para sortear un defecto técnico. Sin embargo, varias medidas pueden mejorar la situación desde hoy.

  • Redactar solicitudes precisas y concisas: eliminar repeticiones, evitar copiar innecesariamente el contexto y pedir un formato de respuesta adaptado a la necesidad. Estos cambios pueden reducir el volumen procesado, aunque su eficacia exacta depende del tokenizador.
  • Comparar tokenizadores antes de elegir un modelo: una empresa multilingüe debería probar el mismo contenido en los idiomas que utilizan realmente sus clientes y medir los tokens de entrada y salida.
  • Limitar los historiales enviados innecesariamente: conservar la información esencial en forma de resúmenes puede liberar espacio de contexto.
  • Evaluar modelos abiertos: los modelos con pesos abiertos, u open-weight, permiten mayor personalización y control. Pueden ser una alternativa económica, siempre que se disponga de las competencias y la infraestructura necesarias.
  • Comprobar la calidad de las respuestas en cada lengua: un tokenizador eficiente no garantiza automáticamente un modelo fiable. También hay que verificar la comprensión, la precisión y la utilidad de las respuestas.

Quizá el consejo más importante para una empresa sea no calcular nunca su presupuesto multilingüe únicamente con pruebas realizadas en inglés. Medir el coste real en las lenguas objetivo evita sorpresas desagradables cuando el servicio empieza a utilizarse a gran escala.

¿Pueden los modelos multilingües y locales solucionar el problema?

Los tokenizadores mejor adaptados a diferentes escrituras son una vía lógica: un vocabulario construido con una representación lingüística más equilibrada puede reducir ciertas fragmentaciones excesivas. Pero hay que comprobarlo experimentalmente. Que un modelo se presente como multilingüe no demuestra que todas las lenguas reciban una segmentación equitativa.

Producir datos lingüísticos de mayor calidad es otra opción. En la India, la iniciativa RESPIN, impulsada por el Indian Institute of Science con financiación de la Fundación Gates, recopiló textos y habla leída de hablantes nativos de 38 dialectos. Este tipo de trabajo puede contribuir a representar mejor usos lingüísticos desatendidos.

Los modelos abiertos, eventualmente instalados de forma local, también ofrecen posibilidades de adaptación. Daniel Björkegren, de Columbia University, observa que el coste es un gran obstáculo para las empresas y administraciones de países de bajos ingresos. Poder personalizar un modelo puede ser importante, aunque exige conocimientos técnicos.

No obstante, sería exagerado presentar la instalación local como solución automática: un modelo ejecutado en equipos propios conserva las limitaciones de su tokenizador y requiere recursos para funcionar.

La solución duradera no consiste únicamente en optimizar las consultas de los usuarios. También implica que los diseñadores de modelos se tomen en serio las lenguas menos representadas desde la creación de los datos, vocabularios y evaluaciones. Una IA verdaderamente mundial no debería exigir a las poblaciones más desfavorecidas que financien los defectos de su arquitectura lingüística.

Preguntas frecuentes

¿Por qué la IA cuesta más en algunos idiomas?

Los modelos utilizan tokens para procesar y facturar los textos. Un tokenizador puede dividir una frase en muchos más fragmentos cuando una lengua está poco representada en su vocabulario. En las API facturadas por token, esta diferencia incrementa directamente el coste de un contenido equivalente.

¿El suajili, el amhárico o el hindi siempre cuestan más que el inglés?

No existe un multiplicador universal válido para esas lenguas. El número de tokens depende del modelo, del tokenizador, de la escritura y del texto analizado. Una comparación fiable exige frases equivalentes y las herramientas realmente utilizadas.

¿Por qué una mala tokenización reduce la memoria de un asistente IA?

La ventana de contexto tiene una capacidad limitada en tokens. Cuando un mismo documento necesita más tokens, ocupa una parte mayor de esa capacidad. El asistente puede conservar menos historial o procesar menos documentos simultáneamente.

¿Cómo puede una empresa reducir sus costes de IA multilingüe?

Puede comparar distintos modelos con contenidos reales, medir por separado los tokens de entrada y salida, acortar instrucciones redundantes y evitar enviar historiales innecesarios. También puede estudiar modelos abiertos y soluciones personalizables. La elección debe considerar el coste, la calidad lingüística y las limitaciones técnicas.

Fuentes