인공지능에 똑같은 요청을 보내도 사용하는 언어에 따라 비용이 훨씬 많이 들 수 있다. Coalition for Language Equity in AI Research가 2026년 9월 발표하고 Rest of World가 보도한 연구에서는 인터넷에서 가장 많이 쓰이는 20개 언어 사이에 토큰 소비량이 1.5배에서 5배까지 차이 나는 것으로 나타났다. 이러한 기술적 차이는 디지털 데이터에 충분히 포함되지 않은 언어와 문자 체계에 특히 불리한 경제적 불평등을 낳는다.

고객 질문에 답하는 도우미라는 똑같은 서비스를 제공하는 두 회사를 생각해 보자. 한 회사는 주로 영어를, 다른 회사는 아프리카나 아시아 언어를 사용한다. 기능이 비슷해도 두 번째 회사는 같은 내용을 전달하기 위해 더 많은 언어 처리 단위를 구매해야 할 수 있다. 고객이나 개발자가 더 복잡한 서비스를 요구한 것도 아니다. 그저 해당 언어가 AI를 위한 텍스트 준비 과정에서 충분히 지원되지 않을 뿐이다.

이 차이에는 이름이 있다. 바로 토큰화 세금, 즉 tokenizer tax다. 이는 좀처럼 제기되지 않는 질문을 던진다. 보편적인 도구라고 소개되는 기술의 구조가 왜 특정 언어에 경제적 이점을 주어야 할까?

같은 문장이 언어에 따라 더 많은 토큰을 쓰는 이유는?

언어 모델은 우리가 읽는 그대로의 단어를 직접 입력받지 않는다. 처리하기 전에 토크나이저라는 프로그램이 문장을 더 작은 단위인 토큰으로 나눈다. 토큰은 완전한 단어, 단어의 일부 또는 문자 조각일 수 있다.

널리 쓰이는 byte-pair encoding(BPE) 방식은 자주 등장하는 문자열을 점차 합치는 방법을 학습한다. 어휘를 구축할 때 사용한 텍스트에 특정 조합이 자주 나타날수록 하나의 토큰이 될 가능성이 커진다. 드물게 나타나는 조합은 여러 부분으로 남는다.

문제는 이 어휘를 구성하는 데이터가 영어에 크게 편중될 때 발생한다. 흔한 영어 구조는 효율적으로 분할된다. 반면, 특히 학습 자료에서 덜 쓰이는 문자 체계를 가진 언어는 비슷한 뜻을 표현하는 데 훨씬 많은 조각이 필요할 수 있다.

영어 문장과 번역문은 토크나이저에서 동등하지 않다

Rest of World는 OpenAI 토크나이저를 이용한 사례를 소개한다. 영어 문장 “People should benefit from AI, regardless of the language they speak.”은 비교적 알아보기 쉬운 단위로 분할된다. 하지만 인도 계열 문자로 쓰는 말라얄람어 번역은 훨씬 세밀하게 나뉘며, 여러 바이트로 표현되는 문자 내부에서까지 분리되기도 한다.

이것은 표현력의 차이도, 어떤 언어가 본래 더 복잡하다는 증거도 아니다. 디지털 표현을 설계한 방식에서 비롯된 결과다.

이 현상은 사용 인구가 적은 언어에만 국한되지 않는다. explainx.ai의 요약에 따르면 보고된 비교에서 버마 문자, 티베트 문자, 티피나그 문자, 크메르 문자, 라오 문자, 올치키 문자가 특히 불리한 사례에 속한다. 반면 아스투리아스어는 디지털 자료가 적어도 라틴 문자 특성 덕분에 이점을 누릴 수 있다.

즉 언어 공동체의 규모만으로 비용을 예측할 수는 없다. 해당 언어의 표기 방식과 토크나이저 설계 선택도 중요하다.

언어 불평등으로 발생하는 실제 비용은 얼마나 될까?

Rest of World가 전한 2026년 9월 연구에 따르면 인터넷에서 가장 많이 쓰이는 20개 언어의 유리한 언어와 불리한 언어 사이에 토큰 수가 1.5~5배 차이 났다. 비교 범위를 200개 언어로 넓히자 연구진은 한 모델에서 약 17배에 이르는 격차도 보고했다.

다만 마지막 결과는 신중하게 해석해야 한다. 공개 자료에는 사용 모델과 실험 절차가 충분히 설명되어 있지 않고, 보도마다 격차를 표현하는 방식도 다르다. 따라서 요루바어, 스와힐리어, 암하라어로 된 모든 요청이 영어보다 항상 17배 비싸다고 말하는 것은 오해를 부른다.

경제적 영향을 이해하기 위한 단순한 예를 들어 보자. 한 언어에서는 100토큰, 다른 언어에서는 300토큰이 필요한 요청이라면 후자가 입력 단위를 세 배 더 소비한다. 토큰당 요금이 같다면 입력 비용도 세 배다. 이는 스와힐리어나 힌디어 등 특정 언어의 측정치가 아니라 청구 방식만 설명하는 예시다.

광고

구독형 대화 서비스에서는 이런 차이가 개인의 요금에 직접 반영되지 않을 수도 있다. 그러나 토큰 사용량에 따라 과금되는 API를 사용하는 기업에는 운영비 증가로 나타날 수 있다.

이 불균형은 완전히 새로운 발견이 아니다. 2023년 5월 Ahia와 동료 연구자들은 유형적으로 다양한 22개 언어에서 OpenAI API의 비용과 유용성을 분석했다. 당시에도 많은 언어 사용자가 더 높은 비용을 내면서 더 낮은 성능을 얻고 있으며, 이런 현상이 특히 AI 서비스 비용을 감당하기 어려운 지역에서 나타난다는 사실을 보였다.

진짜 불공정은 여기에 있다. 더 많이 지불해도 더 많은 것을 받는다는 보장은 없다. 어떤 언어에서는 오히려 그 반대다.

이 세금이 AI의 기억과 답변 품질까지 떨어뜨리는 이유는?

토큰은 요금을 계산할 때뿐 아니라 컨텍스트 창을 측정할 때도 쓰인다. 이는 모델이 한 번에 고려할 수 있는 정보의 양이다.

동일한 내용을 전달하는 데 어떤 언어가 더 많은 토큰을 필요로 하면 컨텍스트 창이 더 빨리 찬다. 따라서 문서, 자세한 지시, 이전 대화를 담을 공간이 줄어든다.

교육용 도우미를 예로 들면 학생이 과거에 저지른 실수를 기억하면 다음 설명을 조정할 수 있다. Activate AI의 공동 창립자 Pratyush Choudhury는 디지털 튜터에서 이러한 기억이 중요하다고 강조한다. 특정 언어에서 대화 기록이 컨텍스트를 더 빨리 소진하면 학습의 연속성이 저하될 수 있다.

속도도 영향을 받는다. 모델은 답변을 토큰 하나씩 생성하므로 토큰이 더 많이 필요한 답변은 더 오래 걸릴 수 있다. 계산 자원과 인터넷 연결이 제한된 곳에서는 추가 지연이 특히 문제가 된다.

다만 두 현상을 구분해야 한다. 비효율적인 분할은 같은 내용에 사용할 수 있는 컨텍스트 공간을 기계적으로 줄인다. 언어 품질이 낮은 원인은 학습 데이터 부족이나 모델 조정의 미흡함일 수도 있다. 따라서 토큰화만으로 모든 잘못된 답변을 설명할 수는 없다.

아프리카와 아시아 언어가 드러내는 AI의 한계는?

스와힐리어, 요루바어, 암하라어, 힌디어는 영어에서 얻은 결과를 쉽게 일반화하면 안 되는 언어의 다양성을 보여 준다. 문자 체계, 언어 구조, 디지털 표현이 모두 다르다. 사용하는 토크나이저를 알지 못하면 하나의 공통 배율로 상대적인 비용을 계산할 수 없다.

GitHub의 bedr-ux가 공개한 벤치마크는 FLORES-200에서 가져온 병렬 문장 1,012개와 서로 다른 토크나이저 9개를 이용해 암하라어와 영어를 비교한다. 단어당 토큰 수, 토큰당 문자 수, UTF-8 바이트 대비 토큰 수 등을 살펴본다. 이는 화자 수만으로 판단하기보다 비교 가능한 내용으로 도구를 측정하는 것이 왜 중요한지 보여 준다.

남아프리카공화국에서 WhatsApp으로 이용할 수 있는 도우미 등을 개발하는 ManyHands의 창립자는 자국의 11개 공용어 모두에서 에이전트가 효율적으로 대화하게 만드는 어려움을 지적한다. 문제는 단순한 화면 번역을 넘어 언어 인프라가 다양한 주민을 지원할 수 있는지와 관련된다.

내가 보기에 이 지점에서 이 문제는 경제적 의미의 정치 문제가 된다. 충분히 대표되지 못하는 언어는 AI가 생성하는 콘텐츠에서 눈에 덜 띌 뿐만 아니라 대화에 사용할 수 있는 공간도 적을 수 있다. 그 언어를 지원하려는 서비스에는 더 큰 비용이 발생할 위험도 있다.

접근하기 쉬운 인터페이스로 AI를 민주화하자는 말이 자주 나온다. 하지만 운영 과정의 보이지 않는 비용이 여전히 같은 집단에 불리하다면 화면 번역만으로는 충분하지 않다.

자신의 언어를 포기하지 않고 토큰 소비를 줄이는 방법은?

기술적 결함을 피하려고 사용자에게 항상 모국어를 포기하라고 요구하는 것은 불합리하다. 그래도 지금부터 상황을 개선할 방법이 몇 가지 있다.

  • 요청을 명확하고 간결하게 작성하기: 반복을 없애고 불필요한 맥락을 다시 복사하지 않으며 목적에 맞는 답변 형식을 요구한다. 처리량을 줄일 수 있지만 실제 효과는 토크나이저마다 다르다.
  • 모델 선택 전에 토크나이저 비교하기: 다국어 서비스를 제공하는 기업은 고객이 실제로 사용하는 언어로 동일한 내용을 시험하고 입력 및 출력 토큰을 측정해야 한다.
  • 불필요한 대화 기록 전송 줄이기: 중요한 정보를 요약해 보존하면 컨텍스트 공간을 확보할 수 있다.
  • 공개 모델 평가하기: 가중치가 공개된 open-weight 모델은 맞춤 설정과 통제의 폭이 넓다. 필요한 기술과 인프라가 있다면 경제적인 대안이 될 수 있다.
  • 언어별 답변 품질 시험하기: 토큰 효율이 높다는 이유만으로 모델의 신뢰성이 보장되지는 않는다. 이해도와 정확성, 유용성도 확인해야 한다.

기업에 가장 중요한 조언은 아마 영어 시험 결과만으로 다국어 예산을 잡지 말라는 것이다. 목표 언어별 실제 비용을 측정하면 서비스가 대규모로 사용될 때 예상 밖의 지출을 피할 수 있다.

다국어 모델과 로컬 모델이 문제를 해결할 수 있을까?

여러 문자 체계에 잘 맞는 토크나이저는 합리적인 개선 방향이다. 언어를 더 균형 있게 반영해 만든 어휘는 과도한 분할을 줄일 수 있다. 그러나 실험으로 검증해야 한다. 모델을 다국어라고 소개한다는 사실만으로 모든 언어가 공정하게 분할된다는 뜻은 아니다.

더 좋은 언어 데이터를 만드는 것도 다른 방법이다. 인도에서는 Gates Foundation의 지원을 받은 Indian Institute of Science의 RESPIN 사업이 38개 방언의 원어민에게서 텍스트와 낭독 음성을 수집했다. 이런 노력은 소홀히 다뤄진 언어 사용을 더 충실히 반영하는 데 기여할 수 있다.

공개 모델을 필요에 따라 로컬에 배포하는 방법도 맞춤화의 가능성을 제공한다. Columbia University의 Daniel Björkegren은 저소득 국가의 기업과 행정기관에 비용이 큰 장벽이라고 지적한다. 기술적 역량이 필요하더라도 모델을 맞춤 조정할 수 있는 능력이 중요해질 수 있다.

그렇다고 로컬 배포를 자동 해결책으로 보는 것은 과장이다. 자체 장비에서 실행하는 모델도 토크나이저의 한계를 유지하며 운영 자원이 필요하다.

지속 가능한 해결책은 사용자의 요청을 최적화하는 데만 있지 않다. 모델 개발자도 데이터와 어휘, 평가를 만드는 초기 단계부터 덜 대표되는 언어를 진지하게 고려해야 한다. 진정으로 세계적인 AI라면 언어 구조의 결함을 보완하는 비용을 불리한 처지의 사람들에게 떠넘겨서는 안 된다.

자주 묻는 질문

왜 일부 언어에서 AI 비용이 더 비싼가?

모델은 텍스트를 처리하고 요금을 산정할 때 토큰을 사용한다. 어휘에 충분히 포함되지 않은 언어는 토크나이저가 문장을 훨씬 많은 조각으로 나눌 수 있다. 토큰당 과금하는 API에서는 같은 내용의 비용이 직접 증가한다.

스와힐리어·암하라어·힌디어는 항상 영어보다 비싼가?

이 언어에 적용할 수 있는 보편적인 배율은 없다. 토큰 수는 모델과 토크나이저, 문자 체계, 분석하는 텍스트에 따라 달라진다. 정확한 비교는 실제 사용하는 도구로 동등한 문장을 시험해야 한다.

토큰화가 비효율적이면 AI 도우미의 기억력이 왜 줄어드는가?

컨텍스트 창은 토큰 단위로 용량이 제한된다. 같은 문서에 더 많은 토큰이 필요하면 그만큼 용량을 많이 차지한다. 그러면 도우미가 보관할 수 있는 대화 기록이나 동시에 처리할 수 있는 문서가 줄어든다.

기업이 다국어 AI 비용을 줄이는 방법은?

실제 콘텐츠로 여러 모델을 비교하고 입력 및 출력 토큰을 별도로 측정하며 중복되는 지시를 줄이고 불필요한 기록 전송을 피할 수 있다. 공개 모델과 맞춤 설정 가능한 솔루션도 검토할 만하다. 비용과 언어 품질, 기술적 제약을 모두 고려해야 한다.

출처