Den samme forespørselen til kunstig intelligens kan koste betydelig mer avhengig av språket som brukes. En studie fra Coalition for Language Equity in AI Research, publisert i september 2026 og omtalt av Rest of World, finner forskjeller i tokenforbruk på mellom 1,5 og 5 ganger blant de tjue mest brukte språkene på internett. Denne tekniske forskjellen skaper økonomisk ulikhet som særlig rammer språk og skriftsystemer som er svakt representert i digitale data.

Tenk deg to selskaper som tilbyr nøyaktig samme tjeneste: en assistent som svarer på kundespørsmål. Det ene jobber hovedsakelig på engelsk, det andre på et afrikansk eller asiatisk språk. Med tilsvarende funksjoner kan det andre selskapet måtte kjøpe flere enheter språklig databehandling for å formidle samme innhold. Verken kundene eller utviklerne har nødvendigvis bedt om en mer komplisert tjeneste. Språket deres støttes ganske enkelt dårligere av mekanismen som klargjør tekst for KI.

Denne forskjellen har et navn: tokeniseringsavgiften, eller tokenizer tax. Den reiser et spørsmål som sjelden stilles: Hvorfor skal arkitekturen til et verktøy som fremstilles som universelt, gi enkelte språk økonomiske fordeler?

Hvorfor bruker samme setning flere tokens på noen språk?

En språkmodell mottar ikke ordene direkte slik vi leser dem. Før behandling deler et program kalt en tokenizer teksten inn i mindre enheter: tokens. Enhetene kan være hele ord, deler av ord eller tegnfragmenter.

En vanlig metode kalt byte-pair encoding, eller BPE, lærer gradvis å slå sammen hyppige sekvenser. Når en kombinasjon ofte forekommer i tekstene som brukes til å bygge ordforrådet, er det større sjanse for at den blir ett token. Sjeldnere kombinasjoner forblir oppdelt.

Problemet oppstår når dataene som brukes til å lage dette ordforrådet, favoriserer engelsk sterkt. Vanlige engelske strukturer får da en effektiv oppdeling. Andre språk, særlig de som bruker mindre representerte skriftsystemer, kan trenge langt flere fragmenter for å uttrykke en tilsvarende idé.

En engelsk setning og oversettelsen er ikke like for en tokenizer

Rest of World viser et eksempel basert på en tokenizer fra OpenAI. Den engelske setningen «People should benefit from AI, regardless of the language they speak.» deles inn i relativt gjenkjennelige enheter. Oversettelsen til malayalam, et språk med indisk skrift, deles langt finere opp, noen ganger også inne i tegn som er representert med flere byte.

Dette viser verken en forskjell i uttrykksrikdom eller at et språk naturlig er mer komplisert. Det skyldes måten digitale representasjoner er bygget opp på.

Fenomenet er heller ikke begrenset til språk med få brukere. Ifølge oppsummeringen hos explainx.ai er burmesisk, tibetansk, tifinagh, khmer, lao og ol chiki blant skriftsystemene som rammes hardest i sammenligningene. Asturisk kan derimot, til tross for liten digital tilstedeværelse, dra nytte av egenskapene til det latinske alfabetet.

Med andre ord kan ikke størrelsen på et språksamfunn alene forutsi regningen. Skriftformen og valgene som ligger bak tokenizeren, spiller også en rolle.

Hva koster denne språklige ulikheten i praksis?

Studien fra september 2026, omtalt av Rest of World, viser en forskjell på 1,5 til 5 ganger i antall tokens mellom de mest og minst favoriserte av de tjue mest brukte språkene på internett. Da sammenligningen ble utvidet til to hundre språk, rapporterte forskerne et avvik på opptil omtrent 17 ganger for én modell.

Det siste resultatet må imidlertid behandles med varsomhet: De tilgjengelige omtalene beskriver ikke modellen og fremgangsmåten godt nok, og den presise formuleringen av forskjellen varierer mellom rapportene. Det ville derfor være misvisende å hevde at hver forespørsel på yoruba, swahili eller amharisk alltid koster 17 ganger så mye som på engelsk.

For å forstå den økonomiske effekten kan vi ta et rent illustrerende regnestykke. Hvis en forespørsel bruker 100 tokens på ett språk og 300 på et annet, bruker sistnevnte tre ganger så mange inndataenheter. Med samme pris per token tredobles dermed inndatakostnaden. Dette er ikke en måling av swahili, hindi eller noe annet bestemt språk, men bare en illustrasjon av faktureringen.

Annonse

Abonnementsbaserte chattetjenester velter ikke nødvendigvis denne forskjellen direkte over på den enkelte brukerens regning. For en bedrift som bruker et API med betaling etter tokenvolum, kan effekten derimot merkes i driftskostnadene.

Denne skjevheten er ikke en helt ny oppdagelse. I mai 2023 analyserte Ahia og kolleger kostnaden og nytten av OpenAIs API på 22 typologisk ulike språk. Arbeidet viste allerede at mange språkbrukere måtte betale mer og samtidig fikk svakere ytelse, ofte i områder der KI-tjenester var mindre økonomisk tilgjengelige.

Her ligger den egentlige urettferdigheten: å betale mer garanterer ikke at man får mer. I enkelte språklige sammenhenger er det tvert imot motsatt.

Hvorfor reduserer avgiften også hukommelsen og svarkvaliteten?

Tokens brukes både til fakturering og til å måle kontekstvinduet: hvor mye informasjon en modell kan ta hensyn til på et gitt tidspunkt.

Hvis et språk trenger flere tokens for å formidle samme innhold, fylles det tilgjengelige vinduet raskere. Da blir det mindre plass til dokumenter, detaljerte instruksjoner eller tidligere samtaler.

I en læringsassistent kan det for eksempel være nyttig å huske elevens tidligere feil for å tilpasse senere forklaringer. Pratyush Choudhury, medgrunnlegger av Activate AI, fremhever nettopp hvor viktig denne hukommelsen er for en digital veileder. Dersom samtalehistorikken bruker opp konteksten raskere på et bestemt språk, kan kontinuiteten i opplæringen svekkes.

Ulempen gjelder også hastigheten. Siden modellene lager svar token for token, kan et svar som krever flere tokens ta lengre tid å generere. Den ekstra forsinkelsen er særlig problematisk når datakraft og nettilgang er begrenset.

Vi må likevel skille mellom to forhold. Dårlig oppdeling reduserer mekanisk kontekstplassen for tilsvarende innhold. Svak språkkvalitet kan også skyldes mangel på treningsdata eller mangelfull tilpasning av modellen. Tokenisering alene forklarer derfor ikke alle dårlige svar.

Hva lærer afrikanske og asiatiske språk oss om KIs begrensninger?

Swahili, yoruba, amharisk og hindi viser hvor ulike språkene er, og hvorfor det er risikabelt å generalisere fra resultater på engelsk. Skriftsystemene, den språklige oppbygningen og den digitale representasjonen er forskjellige. Ingen universell multiplikator kan beregne den relative kostnaden uten kjennskap til tokenizeren som brukes.

En benchmark publisert på GitHub av bedr-ux sammenligner amharisk og engelsk ved hjelp av 1 012 parallelle setninger fra FLORES-200 og ni ulike tokenizere. Den ser blant annet på tokens per ord, tegn per token og tokens i forhold til UTF-8-byte. Fremgangsmåten viser verdien av å måle verktøy med sammenlignbart innhold, i stedet for bare å se på antall språkbrukere.

I Sør-Afrika peker grunnleggeren av ManyHands, et selskap som blant annet utvikler en assistent tilgjengelig via WhatsApp, på hvor vanskelig det er å få en agent til å samtale effektivt på landets elleve offisielle språk. Problemet handler altså om mer enn å oversette et grensesnitt: Det gjelder språkstrukturens evne til å betjene ulike befolkningsgrupper.

Etter mitt syn er det her spørsmålet blir politisk i økonomisk forstand. Et svakt representert språk er ikke bare mindre synlig i innholdet KI produserer. Det kan også få mindre samtaleplass og påføre tjenester som ønsker å støtte språket, større utgifter.

Det snakkes ofte om å demokratisere KI gjennom tilgjengelige grensesnitt. Men et oversatt grensesnitt er ikke nok hvis de usynlige driftskostnadene fortsatt rammer de samme befolkningsgruppene.

Hvordan bruke færre tokens uten å gi opp sitt eget språk?

Det ville være urimelig å be brukere om alltid å gi opp sitt eget språk for å omgå en teknisk feil. Flere tiltak kan likevel forbedre situasjonen allerede i dag.

  • Skriv presise og korte forespørsler: fjern gjentakelser, unngå å kopiere inn unødvendig kontekst og be om et svarformat tilpasset behovet. Dette kan redusere volumet som behandles, men effekten avhenger av tokenizeren.
  • Sammenlign tokenizere før du velger modell: en flerspråklig bedrift bør teste det samme innholdet på språkene kundene faktisk bruker, og måle både inn- og utdatatokens.
  • Begrens unødvendig samtalehistorikk: ved å bevare viktig informasjon i sammendrag kan man frigjøre plass i kontekstvinduet.
  • Vurder åpne modeller: modeller med åpne vekter, eller open-weight, gir større mulighet til tilpasning og kontroll. De kan være et økonomisk alternativ dersom nødvendig kompetanse og infrastruktur er tilgjengelig.
  • Test kvaliteten på svarene i hvert språk: en tokenbesparende tokenizer garanterer ikke automatisk en pålitelig modell. Forståelse, nøyaktighet og nytte må også vurderes.

Det viktigste rådet til bedrifter er kanskje å aldri beregne et flerspråklig budsjett utelukkende fra tester på engelsk. Ved å måle faktiske kostnader på målspråkene kan man unngå ubehagelige overraskelser når tjenesten tas i bruk i stor skala.

Kan flerspråklige og lokale modeller løse problemet?

Tokenizere som er bedre tilpasset ulike skriftsystemer, er et naturlig spor: et ordforråd bygget på mer balansert språkrepresentasjon kan redusere overdreven oppdeling. Men effekten må verifiseres gjennom forsøk. At en modell markedsføres som flerspråklig, betyr ikke at alle språk behandles rettferdig.

Å produsere språkdata av høyere kvalitet er en annen mulighet. I India har RESPIN-initiativet, ledet av Indian Institute of Science med finansiering fra Gates Foundation, samlet inn tekster og opplest tale fra morsmålsbrukere av 38 dialekter. Slikt arbeid kan bidra til å representere forsømte språkformer bedre.

Åpne modeller som eventuelt kjøres lokalt, gir også muligheter for tilpasning. Daniel Björkegren ved Columbia University peker på at kostnader utgjør en stor barriere for bedrifter og myndigheter i lavinntektsland. Muligheten til å tilpasse en modell kan derfor være viktig, selv om den krever teknisk kompetanse.

Det ville likevel være feil å fremstille lokal drift som en automatisk løsning: en modell som kjører på egne maskiner, beholder begrensningene til tokenizeren og krever ressurser for å fungere.

En varig løsning handler ikke bare om å optimalisere brukernes meldinger. Modellutviklere må også ta svakt representerte språk på alvor allerede når de bygger datasett, ordforråd og evalueringer. En virkelig global KI bør ikke la de dårligst stilte betale for feilene i den språklige arkitekturen.

Vanlige spørsmål

Hvorfor koster KI mer på enkelte språk?

Modeller bruker tokens til å behandle og fakturere tekst. En tokenizer kan dele opp en setning i mange flere fragmenter på et språk som er dårlig representert i ordforrådet. For API-er som faktureres per token, øker dette direkte kostnaden for tilsvarende innhold.

Koster swahili, amharisk eller hindi alltid mer enn engelsk?

Det finnes ingen universell multiplikator for disse språkene. Antall tokens avhenger av modellen, tokenizeren, skriftsystemet og teksten som analyseres. En pålitelig sammenligning må utføres med likeverdige setninger og de verktøyene som faktisk brukes.

Hvorfor svekker dårlig tokenisering hukommelsen til en KI-assistent?

Kontekstvinduet har begrenset kapasitet målt i tokens. Når det samme dokumentet krever flere tokens, tar det opp en større del av kapasiteten. Assistenten kan da beholde mindre historikk eller behandle færre dokumenter samtidig.

Hvordan kan en bedrift redusere kostnadene til flerspråklig KI?

Den kan sammenligne modeller med ekte innhold, måle inn- og utdatatokens hver for seg, korte ned gjentatte instruksjoner og unngå å sende unødvendig historikk. Åpne modeller og tilpassbare løsninger kan også vurderes. Valget må ta hensyn til både kostnad, språkkvalitet og tekniske begrensninger.

Kilder