Une même demande adressée à une intelligence artificielle peut coûter beaucoup plus cher selon la langue utilisée. Une étude de la Coalition for Language Equity in AI Research, publiée en septembre 2026 et relayée par Rest of World, relève des écarts de consommation de tokens allant de 1,5 à 5 fois parmi les vingt langues les plus utilisées sur Internet. Cette différence technique crée une inégalité économique qui touche particulièrement les langues et les écritures peu représentées dans les données numériques.

Imaginez deux entreprises qui proposent exactement le même service : un assistant capable de répondre aux questions de clients. L'une travaille principalement en anglais, l'autre dans une langue africaine ou asiatique. À fonctionnalités comparables, la seconde peut devoir acheter davantage d'unités de calcul linguistique pour transmettre le même contenu. Ni ses clients ni ses développeurs n'ont nécessairement demandé un service plus complexe. Leur langue est simplement moins bien prise en charge par le mécanisme qui prépare les textes pour l'IA.

Cette différence possède un nom : la taxe de tokenisation, ou tokenizer tax. Et elle révèle une question rarement posée : pourquoi l'architecture d'un outil présenté comme universel devrait-elle avantager économiquement certaines langues ?

Pourquoi une même phrase utilise-t-elle davantage de tokens selon la langue ?

Un modèle de langage ne reçoit pas directement des mots tels que nous les lisons. Avant son traitement, un programme appelé tokenizer découpe le texte en unités plus petites : les tokens. Ces unités peuvent correspondre à des mots complets, des parties de mots ou des fragments de caractères.

Une méthode courante, appelée byte-pair encoding ou BPE, apprend à fusionner progressivement des séquences fréquentes. Lorsqu'une combinaison apparaît souvent dans les textes utilisés pour construire le vocabulaire, elle a davantage de chances de devenir un token unique. Les combinaisons moins fréquentes restent divisées en morceaux.

Le problème apparaît lorsque les données qui servent à construire ce vocabulaire favorisent fortement l'anglais. Les structures anglaises courantes bénéficient alors de découpages efficaces. D'autres langues, notamment celles qui utilisent des écritures moins représentées, peuvent nécessiter beaucoup plus de fragments pour exprimer une idée comparable.

Une phrase anglaise et sa traduction ne sont pas égales devant le tokenizer

Rest of World présente une démonstration fondée sur un tokenizer d'OpenAI. La phrase anglaise « People should benefit from AI, regardless of the language they speak. » est segmentée en unités relativement reconnaissables. Sa traduction en malayalam, langue utilisant une écriture indienne, se retrouve fractionnée beaucoup plus finement, parfois à l'intérieur des caractères représentés sur plusieurs octets.

Ce n'est pas une différence de richesse expressive ni une preuve qu'une langue serait naturellement plus compliquée. C'est une conséquence de la manière dont les représentations numériques ont été construites.

Le phénomène ne se limite d'ailleurs pas aux langues ayant peu de locuteurs. Selon la synthèse publiée par explainx.ai, les écritures birmane, tibétaine, tifinagh, khmère, lao et ol chiki figurent parmi les plus pénalisées dans les comparaisons rapportées. À l'inverse, l'asturien, malgré sa faible présence numérique, peut bénéficier des caractéristiques de son écriture latine.

Autrement dit, la taille d'une communauté linguistique ne suffit pas à prédire sa facture. La forme écrite de sa langue et les choix de conception du tokenizer comptent également.

Combien coûte réellement cette inégalité linguistique ?

L'étude de septembre 2026 relayée par Rest of World rapporte un écart de 1,5 à 5 fois en nombre de tokens entre les langues les plus et les moins favorisées parmi les vingt langues les plus utilisées sur Internet. En élargissant la comparaison à deux cents langues, les chercheurs signalent un écart pouvant atteindre environ 17 fois sur un modèle.

Ce dernier résultat demande toutefois de la prudence : les présentations disponibles ne détaillent pas suffisamment le modèle et le protocole employés, et la formulation exacte de l'écart varie entre les comptes rendus. Il serait donc trompeur d'affirmer que chaque demande en yoruba, en swahili ou en amharique coûte systématiquement 17 fois plus cher qu'en anglais.

Pour comprendre l'effet économique, prenons un calcul purement illustratif. Si une demande occupe 100 tokens dans une langue et 300 dans une autre, la seconde consomme trois fois plus d'unités d'entrée. À tarif identique par token, son coût d'entrée est donc triplé. Ce calcul n'est pas une mesure du swahili, du hindi ou d'une autre langue précise : il illustre seulement le fonctionnement de la facturation.

Publicité

Les interfaces de conversation vendues par abonnement ne répercutent pas nécessairement cette différence directement sur la facture individuelle. En revanche, pour une entreprise utilisant une API facturée au volume de tokens, l'effet peut se matérialiser dans les coûts d'exploitation.

Ce déséquilibre n'est pas une découverte entièrement nouvelle. En mai 2023, Ahia et ses collègues ont analysé le coût et l'utilité de l'API d'OpenAI dans 22 langues typologiquement diverses. Leur travail montrait déjà que de nombreux locuteurs supportaient un coût supérieur tout en obtenant des performances inférieures, souvent dans des régions où les services d'IA étaient moins abordables.

La véritable injustice apparaît ici : payer davantage ne garantit pas de recevoir davantage. Dans certains contextes linguistiques, c'est même l'inverse.

Pourquoi cette taxe réduit-elle aussi la mémoire et la qualité des réponses ?

Les tokens servent à la facturation, mais aussi à mesurer la fenêtre de contexte : la quantité d'informations qu'un modèle peut prendre en compte à un instant donné.

Si une langue nécessite davantage de tokens pour transmettre le même contenu, la fenêtre disponible se remplit plus rapidement. Il reste alors moins d'espace pour des documents, des instructions détaillées ou les échanges précédents.

Dans un assistant éducatif, par exemple, conserver les erreurs passées d'un élève permet d'adapter les explications suivantes. Pratyush Choudhury, cofondateur d'Activate AI, souligne précisément l'importance de cette mémoire dans le fonctionnement d'un tuteur numérique. Si l'historique consomme plus rapidement le contexte dans une langue donnée, la continuité pédagogique peut se dégrader.

La pénalité concerne également la vitesse. Puisque les modèles produisent leurs réponses token après token, une réponse nécessitant davantage de tokens peut demander plus de temps à générer. Cette latence supplémentaire devient particulièrement problématique lorsque les ressources de calcul et la connectivité sont limitées.

Il faut néanmoins distinguer deux phénomènes. Un mauvais découpage réduit mécaniquement l'espace de contexte disponible pour un contenu équivalent. Une qualité linguistique insuffisante peut aussi provenir du manque de données d'entraînement ou d'une adaptation imparfaite du modèle. La tokenisation n'explique donc pas, à elle seule, toutes les mauvaises réponses.

Que nous apprennent les langues africaines et asiatiques sur les limites de l'IA ?

Le swahili, le yoruba, l'amharique et le hindi illustrent la diversité des langues pour lesquelles il serait dangereux de généraliser à partir de résultats obtenus en anglais. Leurs écritures, leurs structures linguistiques et leur représentation numérique ne sont pas identiques. Aucun multiplicateur universel ne permet de calculer leur coût relatif sans connaître le tokenizer utilisé.

Un benchmark publié sur GitHub par bedr-ux propose justement de comparer l'amharique et l'anglais à partir de 1 012 phrases parallèles issues de FLORES-200, avec neuf tokenizers différents. Il examine notamment le nombre de tokens par mot, les caractères par token et les tokens rapportés aux octets UTF-8. Cette démarche montre l'intérêt de mesurer les outils sur des contenus comparables plutôt que de raisonner uniquement à partir du nombre de locuteurs.

En Afrique du Sud, le fondateur de ManyHands, une entreprise développant notamment un assistant accessible sur WhatsApp, souligne la difficulté de faire converser efficacement un agent dans les onze langues officielles du pays. Le problème dépasse donc la simple traduction d'une interface : il concerne la capacité des infrastructures linguistiques à servir des populations différentes.

À mes yeux, c'est là que la question devient politique au sens économique du terme. Une langue mal représentée n'est pas seulement moins visible dans les contenus produits par l'IA. Elle risque aussi de disposer de moins d'espace de conversation et d'imposer davantage de dépenses aux services qui cherchent à l'utiliser.

On parle souvent de démocratiser l'IA en proposant des interfaces accessibles. Mais une interface traduite ne suffit pas si le coût invisible de son fonctionnement reste défavorable aux mêmes populations.

Comment réduire sa consommation de tokens sans abandonner sa langue ?

Il serait absurde de demander aux utilisateurs de renoncer systématiquement à leur langue pour contourner un défaut technique. Plusieurs mesures peuvent néanmoins améliorer la situation dès aujourd'hui.

  • Rédiger des demandes précises et concises : supprimer les répétitions, éviter de recopier inutilement le contexte et demander un format de réponse adapté au besoin. Ces changements peuvent diminuer le volume traité, mais leur efficacité exacte varie selon le tokenizer.
  • Comparer les tokenizers avant de choisir un modèle : une entreprise multilingue devrait tester les mêmes contenus dans les langues réellement utilisées par ses clients et mesurer les tokens d'entrée et de sortie.
  • Limiter les historiques transmis inutilement : conserver les informations essentielles sous forme de synthèses peut libérer de l'espace de contexte.
  • Évaluer les modèles ouverts : les modèles à poids ouverts, ou open-weight, permettent davantage de personnalisation et de contrôle. Ils peuvent offrir une alternative économique, sous réserve de disposer des compétences et de l'infrastructure nécessaires.
  • Tester la qualité des réponses dans chaque langue : un tokenizer économe ne garantit pas automatiquement un modèle fiable. Il faut aussi vérifier la compréhension, la précision et l'utilité des réponses.

Le conseil le plus important pour une entreprise est peut-être de ne jamais dimensionner son budget multilingue uniquement à partir de tests réalisés en anglais. Mesurer le coût réel sur les langues visées permet d'éviter une mauvaise surprise lorsque le service commence à être utilisé à grande échelle.

Les modèles multilingues et locaux peuvent-ils corriger le problème ?

Des tokenizers mieux adaptés à plusieurs écritures constituent une piste logique : un vocabulaire construit avec une représentation linguistique plus équilibrée peut réduire certaines fragmentations excessives. Mais il faut vérifier cet effet expérimentalement. Le simple fait qu'un modèle soit présenté comme multilingue ne prouve pas que toutes les langues bénéficient d'un découpage équitable.

La production de données linguistiques de meilleure qualité représente une autre voie. En Inde, l'initiative RESPIN, portée par l'Indian Institute of Science avec un financement de la fondation Gates, a collecté auprès de locuteurs natifs des textes et de la parole lue concernant 38 dialectes. Ce type de travail peut contribuer à mieux représenter des usages linguistiques négligés.

Les modèles ouverts et éventuellement déployés localement offrent également des possibilités d'adaptation. Daniel Björkegren, de Columbia University, relève que le coût représente un obstacle majeur pour les entreprises et les administrations des pays à faible revenu. La possibilité de personnaliser un modèle peut donc devenir importante, même si elle suppose des compétences techniques.

Il serait cependant excessif de présenter le déploiement local comme une solution automatique : un modèle installé sur ses propres machines conserve les limites de son tokenizer et exige des ressources pour fonctionner.

La solution durable ne consiste pas à optimiser uniquement les messages des utilisateurs. Elle implique aussi que les concepteurs de modèles prennent les langues moins représentées au sérieux dès la construction des données, des vocabulaires et des évaluations. Une IA véritablement mondiale ne devrait pas demander aux populations les moins favorisées de financer les imperfections de son architecture linguistique.

Questions fréquentes

Pourquoi l'IA coûte-t-elle plus cher dans certaines langues ?

Les modèles utilisent des tokens pour traiter et facturer les textes. Un tokenizer peut découper une phrase en beaucoup plus de fragments dans une langue peu représentée dans son vocabulaire. Pour les API facturées au token, cette différence augmente directement le coût d'un contenu équivalent.

Le swahili, l'amharique ou le hindi coûtent-ils systématiquement plus cher que l'anglais ?

Il n'existe pas de multiplicateur universel valable pour ces langues. Le nombre de tokens dépend du modèle, du tokenizer, de l'écriture et du texte analysé. Une comparaison fiable doit être réalisée sur des phrases équivalentes avec les outils réellement utilisés.

Pourquoi une mauvaise tokenisation réduit-elle la mémoire d'un assistant IA ?

La fenêtre de contexte possède une capacité limitée en tokens. Lorsqu'un même document nécessite davantage de tokens, il occupe une plus grande partie de cette capacité. L'assistant peut alors conserver moins d'historique ou traiter moins de documents simultanément.

Comment une entreprise peut-elle réduire ses coûts d'IA multilingue ?

Elle peut comparer plusieurs modèles sur des contenus réels, mesurer séparément les tokens d'entrée et de sortie, raccourcir les instructions redondantes et éviter de transmettre des historiques inutiles. Elle peut également étudier les modèles ouverts et les solutions personnalisables. Le bon choix doit tenir compte à la fois du coût, de la qualité linguistique et des contraintes techniques.

Sources