프랑스어로 인공지능을 사용하면 영어로 똑같은 질문을 할 때보다 더 많은 토큰이 소비될 수 있다. 2026년 9월 발표된 토마 세르발의 연구에 따르면 토크나이저에 따라 프랑스어의 추가 비용은 31~58%다. 이 보이지 않는 차이는 API 요금을 높이고 대화 기록을 담을 수 있는 공간을 줄이며 모델이 답변하는 조건에도 영향을 준다.

우리는 ChatGPT를 모든 언어로 대화할 수 있는 상대로 여기게 됐다. 자기 언어로 말하면 답을 해주니, 입력한 문장이 기계에 이해되기까지 무슨 일이 일어나는지 묻지 않는다. 하지만 이 과정에서 언어들은 평등하지 않다. 어떤 언어는 쉽게 처리되지만 다른 언어는 추가 통행료를 낸다.

프랑스어 문장은 왜 토큰을 더 많이 사용할까?

AI는 사람처럼 문장을 읽지 않는다. 언어 모델이 텍스트를 처리하기 전에 토크나이저라는 구성 요소가 이를 토큰이라는 조각으로 나눈다. 토큰은 단어 전체, 단어 일부 또는 문자일 수 있다.

OpenAI는 일반적인 영어에서 토큰 하나가 대략 네 글자, 즉 단어의 약 4분의 3에 해당한다고 설명한다. 하지만 이 근사치는 모든 언어에 똑같이 적용되지 않는다.

이유는 기술적이다. 토크나이저는 개발 과정에서 접한 문자열을 효율적으로 분할하도록 학습한다. 데이터가 영어 중심이면 흔한 영어 문자열은 쉽게 인식되는 단위가 된다. 의미가 같은 프랑스어 표현은 여러 조각으로 나뉠 수 있다.

따라서 흔한 영어 단어는 토큰 하나로 표현되지만 프랑스어 대응어에는 두세 개가 필요할 수 있다. 일부 비라틴 문자 체계에서는 차이가 더 커진다.

그렇다고 자료가 풍부한 언어와 덜 대표되는 언어만 구분해서는 안 된다. Rest of World가 보도한 Coalition for Language Equity in AI Research의 연구는 문자 체계 자체가 분할 방식에 큰 영향을 미친다고 강조한다. 아랍어나 힌디어의 불이익은 단순히 사용자 수로 설명되지 않는다.

언어별 토큰 추가 비용은 실제로 얼마나 될까?

수치는 단순한 기술적 호기심을 넘어설 만큼 크다.

NEOMA Business School 소속 토마 세르발이 다국어 말뭉치 NTREX-128로 진행한 연구에 따르면 프랑스어에는 시스템에 따라 영어보다 1.31~1.58배 많은 토큰이 필요하다. OpenAI, Meta, Alibaba, DeepSeek, Google, Mistral, Anthropic 등과 관련된 토크나이저 7종을 비교했다.

Prompt Inspiration이 2026년 5월 발표한 다른 분석은 프랑스어 프롬프트의 평균 추가 비용을 약 48%로 추정한다. 앞선 연구와 비슷한 규모지만 계산 방법이 반드시 같지는 않다. 따라서 모든 대화와 모델에 적용되는 고정 비율로 보아서는 안 된다.

다른 언어에서는 격차가 훨씬 클 수 있다. Rest of World가 전한 해당 연합의 연구에 따르면 인터넷에서 가장 많이 사용되는 20개 언어의 최저·최고 비용 격차는 1.5~5배다. 200개 언어로 확대하면 최대 17배에 이른다.

청구서에는 어떤 차이가 생길까?

순전히 설명을 위한 예를 들어보자. 영어 처리에 토큰 비용 10유로가 든다면 토큰당 요금이 같을 때 48% 증가는 14.80유로가 된다. 매일 많은 요청을 처리하는 서비스라면 이 차이가 매번 누적된다.

다만 두 상황을 구별해야 한다. ChatGPT 정액 구독자는 프랑스어로 작성한다고 자동으로 더 높은 요금을 내지 않는다. 반면 토큰 단위로 과금되는 API를 사용하는 개발자나 기업은 실제로 추가 사용량을 부담할 수 있다.

Publicité

따라서 핵심은 단순히 더 많이 지불하는 문제가 아니다. 같은 예산이나 토큰 한도에서 처리할 수 있는 양이 언어에 따라 달라진다는 점이다.

이 차이가 답변 품질을 떨어뜨릴 수 있는 이유

모든 모델에는 작업 중 고려할 수 있는 토큰 수를 제한하는 컨텍스트 창이 있다. 여기에는 지침, 이전 메시지, 전달된 문서 등이 포함된다.

두 대화의 내용이 같아도 프랑스어 대화가 더 많은 토큰을 필요로 한다면 컨텍스트 창에서 차지하는 공간도 다르다. 프랑스어 대화가 한도에 더 빨리 도달할 수 있다.

가상의 개인 교사를 생각해보자. 교사는 학생의 실수와 어려움, 이미 제공한 설명을 기억한다. 학생의 언어로 기록을 보관하는 데 토큰이 더 많이 들면 유용한 학습 정보를 유지할 공간이 줄어든다.

Rest of World 기사에서 Activate AI 공동 창업자 프라튜시 초두리가 바로 이 사례를 들었다. 언어에 따른 불이익이 교육적 불평등으로 이어질 수 있다는 뜻이다.

하지만 중요한 단서가 있다. 토큰을 더 많이 쓴다고 모델의 추론 능력이 자동으로 나빠지는 것은 아니다. 분할이 심하면 컨텍스트 부담과 응답 지연이 늘 수 있지만, 그것만으로 답변의 지적 품질이 항상 떨어진다고 입증되지는 않는다.

그럼에도 2023년 EMNLP에서 발표된 22개 언어의 OpenAI API 비용과 유용성 연구는 더 넓은 불평등을 보여준다. 영어 이외의 언어 사용자는 비용을 더 내면서도 성능이 불리한 경우가 많다.

즉, 문장이 토큰으로 나뉘는 방식과 모델이 각 언어를 얼마나 잘 처리하는지는 서로 다른 두 문제이며 동시에 나타날 수 있다. 둘을 혼동하면 무엇을 개선해야 하는지 알기 어렵다.

모든 AI 모델이 프랑스어에 똑같이 불리할까?

아니다. 어떤 토크나이저를 선택하느냐에 따라 언어별 비용은 크게 달라진다.

토마 세르발의 비교에서는 Mistral Tekken이 조사된 7개 시스템 중 프랑스어에 가장 적은 불이익을 주는 토크나이저로 나타났다. 기술 설계 자체를 바꿔 격차 일부를 줄일 수 있음을 시사한다.

Prompt Inspiration의 자료는 평가 대상 언어 전반에서 Gemini 3.1과 Qwen 3.6의 영어 대비 추가 비용 계수를 1.17로 제시한다. 반대로 Anthropic의 평균 계수는 2.07, 해당 API를 사용한 힌디어 프롬프트의 비율은 3.11로 보고한다.

이 수치는 신중히 해석해야 한다. 마지막 수치들은 2차 자료에 근거하며 모든 모델의 보편적 순위를 확정하지 못한다. 무엇보다 토큰 효율이 좋은 토크나이저가 반드시 답변도 가장 잘하는 모델과 연결되지는 않는다. 답변 품질, 추론 능력, 토큰 소비량을 따로 평가해야 한다.

이러한 언어별 불이익을 없앨 수 있을까?

희망적인 점은 추가 비용이 수학적으로 피할 수 없는 현상이 아니라는 것이다. 일부는 기술적 선택에서 비롯된다.

토마 세르발의 연구는 프랑스어에 맞춘 토크나이저가 조사된 표준 시스템보다 토큰 소비를 11.5% 줄인다고 제시한다. 다만 이 시제품이 덜 효율적인 경우도 있다. 만능 해결책은 아니지만 다른 설계가 가능함을 보여준다.

또 다른 방법은 시스템 개발에 사용되는 자료에서 다양한 언어의 대표성을 높이는 것이다. Rest of World가 소개한 RESPIN 프로젝트는 38개 방언의 원어민에게서 텍스트와 음성 자료를 수집한다.

사용자도 다음과 같은 방법으로 영향을 줄일 수 있다.

  • 토크나이저 비교하기: API 비용이 중요하다면 백만 토큰당 표시 가격만 보고 선택하지 않는다.
  • 대화 기록 길이 관리하기: 긴 대화나 많은 문서를 처리하는 도우미에서 특히 중요하다.
  • 표현 방식 시험하기: OpenAI Tokenizer 같은 시각화 도구로 텍스트 분할을 확인한다.
  • 실제 사용 언어로 모델 평가하기: 영어 중심 벤치마크에만 의존하지 않는다.

요청을 무조건 영어로 번역하면 때때로 토큰을 절약할 수 있지만 보편적인 해결책은 아니다. 단계가 늘고 의미의 뉘앙스가 달라질 수 있으며 최종 답변이 더 좋아진다는 보장도 없다.

문제는 ChatGPT 가격을 훨씬 넘어선다

이 기술적 편향은 더 근본적인 질문을 드러낸다. 같은 생각을 표현하는데 왜 어떤 언어는 다른 언어보다 적은 처리 용량을 받아야 할까?

전통적인 소프트웨어에서는 인터페이스 언어를 바꾼다고 사용자가 수행할 수 있는 작업량이 줄어들지는 않는다. 언어 모델에서는 이런 동등성이 보장되지 않는다. 화면에 드러나지 않아도 언어는 경제적·기술적 변수가 된다.

프랑스어 사용자가 가장 불리한 것은 아니다. 토마 세르발 연구를 둘러싼 관찰에서는 일부 지역 언어와 해외 영토 언어가 영어보다 최대 3.3배 많은 토큰을 소비한다. 문제는 주요 국제 언어에 국한되지 않는다.

내 생각에 진정한 발전은 모델을 더 똑똑하게 만드는 것만이 아니다. 어떤 언어로 말하든 지능을 이용하는 데 구조적으로 더 많은 비용이 들지 않도록 하는 일도 중요하다. 보편적이라고 주장하는 AI가 비영어 사용자에게 보이지 않는 통행료를 부과해서는 안 된다.

자주 묻는 질문

같은 내용을 프랑스어나 아랍어로 쓰면 왜 영어보다 토큰이 많을까?

토크나이저는 개발 자료에서 자주 접한 문자열, 대개 영어 문자열을 더 효율적으로 인식한다. 프랑스어와 다른 문자 체계를 사용하는 언어는 같은 내용을 표현하는 데 더 많은 조각이 필요할 수 있다. 격차는 언어와 토크나이저에 따라 다르다.

프랑스어로 쓰면 ChatGPT 요금이 더 비싸질까?

정액 구독료가 프랑스어 사용자에게 자동으로 올라가지는 않는다. 다만 토큰당 과금되는 API는 비용이 늘 수 있다. 토마 세르발의 연구에서는 프랑스어가 토크나이저에 따라 31~58% 더 많은 토큰을 사용했다. 컨텍스트 한도에도 영향을 줄 수 있다.

ChatGPT는 프랑스어로 추론을 더 못할까?

토큰 사용량이 많다는 사실만으로 추론 품질 저하가 증명되지는 않는다. 하지만 기록과 문서를 담을 공간이 줄어 긴 작업에 영향을 줄 수 있다. 2023년 EMNLP 연구는 언어 간 비용과 성능 차이도 기록했다.

어떤 모델이 언어별 토큰 추가 비용을 가장 줄일까?

프랑스어를 다룬 토마 세르발의 연구에서는 Mistral Tekken이 7개 토크나이저 중 추가 비용이 가장 낮았다. 다른 다국어 비교에서는 Gemini와 Qwen도 주목받는다. 결과는 말뭉치와 토크나이저에 따라 달라지므로 답변 품질도 함께 비교해야 한다.

출처