用法语与人工智能交流，可能比用英语提出完全相同的问题消耗更多 token。托马·塞尔瓦尔于2026年9月发表的研究发现，根据分词器的不同，法语的额外成本为31%至58%。这种隐形差异可能推高 API 费用，减少上下文窗口能够保留的对话内容，并影响模型生成回答时的条件。

我们已经习惯把 ChatGPT 当作通用的交谈对象。使用自己的语言提问，它就会回答，因此很少有人追问：从输入句子到机器理解，中间究竟发生了什么？但在这一机制中，各种语言并不平等。有些语言能够轻松进入系统，另一些却需要支付额外的“通行费”。

为什么法语句子会消耗更多 token？

人工智能并不像人类一样阅读句子。语言模型处理文本之前，一个称为分词器（tokenizer）的组件会将文本拆分为 token。这些片段可能是完整单词、单词的一部分，也可能是单个字符。

OpenAI 对常见英语给出过一个粗略规则：一个 token 约等于四个字符，或者一个单词的四分之三。但这一估算并不适用于所有语言。

原因在于技术设计。分词器会学习如何高效切分开发过程中遇到的字符序列。当训练资料以英语为主时，许多英语序列便成为容易识别的单位，而含义相同的法语表达可能被拆成多个片段。

因此，一个常见英语单词可能只占一个 token，对应的法语词却可能需要两三个。在某些非拉丁文字体系中，这种现象更加明显。

不过，不能只按语言资源丰富与否来区分。Rest of World 关于 Coalition for Language Equity in AI Research 研究的报道指出，书写系统本身会显著影响文本切分。因此，阿拉伯语或印地语面临的不利情况，不能仅凭使用人数来解释。

这种语言附加成本究竟有多高？

相关数字已经大到不能只当作技术趣闻。

NEOMA 商学院的托马·塞尔瓦尔基于多语言语料库 NTREX-128 开展研究，发现法语需要的 token 数量是英语的1.31至1.58倍，具体取决于系统。研究比较了七种分词器，涉及 OpenAI、Meta、阿里巴巴、DeepSeek、Google、Mistral 和 Anthropic 等公司。

Prompt Inspiration 于2026年5月发布的另一项分析估计，法语提示词的平均额外成本约为48%。这一量级与前述研究相近，但计算方法未必相同，因此不能将48%视为适用于所有对话和模型的固定比例。

其他语言的差距可能更大。根据 Rest of World 报道的该研究联盟成果，在互联网使用最多的20种语言中，成本最低与最高的语言相差1.5至5倍；将范围扩大到200种语言后，差距最高可达17倍。

这些数字会如何影响账单？

举一个纯粹用于说明的例子：如果某项英语处理任务的 token 成本为10欧元，那么在每个 token 单价相同的情况下，增加48%后，同等任务将花费14.80欧元。对于每天处理大量请求的服务，这种差额会不断累积。

不过，需要区分两种情况。支付固定 ChatGPT 订阅费的用户，不会因为使用法语就自动收到更高的账单。但按 token 计费的 API 用户，无论是开发者还是企业，都可能实际承担这部分额外消耗。

Publicité

真正的问题因此不只是多付钱，而是在预算或 token 上限相同的情况下，不同语言获得的处理容量却不同。

为什么这种差异可能影响回答质量？

每个模型都有上下文窗口，即工作时能够考虑的 token 数量上限。其中包括指令、此前的消息以及提交的文档。

如果两段对话表达的内容相同，但法语版本需要更多 token，它们占用的上下文空间就不同。法语对话可能更快触及上限。

设想一位虚拟私人教师：它辅导学生，记住学生的错误、困难和已经讲解过的知识。如果用学生的语言保存这些记录需要更多 token，那么用于保留有效教学信息的空间就会减少。

这正是 Activate AI 联合创始人 Pratyush Choudhury 在 Rest of World 报道中提出的例子。语言层面的劣势可能进一步变成教育上的劣势。

但有一点必须强调：消耗更多 token，并不自动意味着模型的推理能力更差。切分更细会增加上下文压力，也可能提高延迟，但单凭这一点并不能证明回答的思考质量必然系统性下降。

不过，2023年 EMNLP 会议上发表的一项研究分析了 OpenAI API 在22种语言中的成本与实用性，记录了更广泛的不平等：许多非英语用户需要支付更高成本，却可能得到较差的性能表现。

换句话说，这里有两个可能叠加但彼此不同的问题：句子如何被切分，以及模型在各语言中的实际能力。混淆两者，就难以明确真正需要改进的环节。

所有 AI 模型对法语都同样不利吗？

不是。分词器的选择会明显改变语言成本。

在托马·塞尔瓦尔的比较中，Mistral Tekken 是七种系统里对法语额外成本最低的分词器。这说明，通过改进技术设计本身，就可能缩小部分差距。

Prompt Inspiration 汇总的数据还显示，在所评估的语言中，Gemini 3.1 和 Qwen 3.6 相对英语的总体额外成本系数为1.17。相比之下，Anthropic 的平均系数为2.07，而通过其 API 处理印地语提示词的比例为3.11。

这些比较需要谨慎看待。后面几项数字来自二手汇总资料，不足以建立所有模型的通用排名。尤其需要注意，token 使用更经济的分词器，并不一定对应回答最好的模型。回答质量、推理能力和 token 消耗必须分别评估。

能消除这种语言成本差异吗？

值得乐观的是，额外成本并非数学上不可避免的结果，而是部分源于技术选择。

托马·塞尔瓦尔的研究展示了一种专门适配法语的分词器，与所考察的标准系统相比，它可将 token 消耗降低11.5%。但这一原型在某些情况下也表现较差。因此它不是万能方案，却具体证明了另一种设计的可能性。

另一个方向是提高各种语言在系统开发资源中的代表性。Rest of World 提到的 RESPIN 项目，就在向38种方言的母语使用者收集文本和语音数据。

用户现在也可以通过以下方法减轻影响：

  • 比较不同分词器：如果 API 成本很重要，不要只看每百万 token 的标价。
  • 关注对话历史长度：尤其是长对话以及需要处理大量文档的助手。
  • 测试不同表达方式：使用 OpenAI Tokenizer 等可视化工具，了解文本如何被切分。
  • 用实际使用的语言评估模型：不要只依赖英语基准测试。

把所有请求都翻译成英语，有时确实能够节省 token，但这不是通用解决方案。它增加了步骤，可能改变表达的细微含义，也无法保证最终回答更好。

问题远不止 ChatGPT 的价格

这种技术偏差揭示了一个更深层的问题：表达同样的思想，为什么一种语言能够获得的处理容量要比另一种少？

在传统软件中，切换界面语言通常不会减少用户能够完成的工作量。但在语言模型中，这种等价性不再有保障。即使屏幕上看不出来，语言也成了经济和技术变量。

法语使用者未必处境最差。围绕托马·塞尔瓦尔研究的观察显示，一些地区语言和海外领地语言的 token 消耗可能达到英语的3.3倍。这提醒我们，问题远远超出主要国际语言的范围。

在我看来，真正的进步不仅是让模型变得更聪明，还要确保这种智能不会因为用户所说的语言不同，就在结构上变得更昂贵。号称通用的 AI，不应该向非英语用户收取隐形通行费。

常见问题

为什么相同内容用法语或阿拉伯语表达比英语消耗更多 token？

分词器更容易识别开发数据中频繁出现的序列，而这些数据往往以英语为主。法语和使用其他书写系统的语言，可能需要更多片段才能表达同样的内容。差距大小取决于具体语言和分词器。

使用法语时 ChatGPT 会更贵吗？

固定订阅费不会因为用户使用法语而自动上涨。但按 token 计费的 API 可能更贵：托马·塞尔瓦尔的研究测得，法语在不同分词器下会多消耗31%至58%的 token。这也可能影响上下文容量上限。

ChatGPT 用法语推理会更差吗？

token 消耗更高并不能直接证明推理质量较差。不过，它可能压缩保存历史消息和文档的空间，从而影响某些长任务。2023年 EMNLP 研究还记录了不同语言之间的性能和成本差异。

哪些模型能更好地降低语言附加成本？

在托马·塞尔瓦尔重点涉及法语的研究中，Mistral Tekken 是七种分词器里额外成本最低的。其他多语言比较也提到了 Gemini 和 Qwen。但结果取决于语料库与分词器，选择模型时还应比较回答质量。

资料来源