向人工智能提出同样的请求，费用却可能因使用的语言而大幅不同。Coalition for Language Equity in AI Research于2026年9月发表、由Rest of World报道的一项研究发现，互联网最常用的20种语言在Token消耗上存在1.5至5倍的差距。这种技术差异造成经济不平等，尤其影响数字数据中代表性不足的语言和文字系统。

想象两家公司提供完全相同的服务：能够回答客户问题的助手。一家主要使用英语，另一家使用某种非洲或亚洲语言。功能相当时，后一家公司可能需要购买更多语言计算单位，才能传递相同的信息。客户和开发者并没有要求更复杂的服务，只是他们的语言未能得到AI文本预处理机制的同等支持。

这种差异有一个名称：分词税，也称为tokenizer tax。它揭示了一个很少被提出的问题：一种号称通用的工具，为什么其架构会让某些语言在经济上更有优势？

为什么同一句话在不同语言中需要更多Token？

语言模型并不是直接接收我们阅读时看到的单词。在处理之前，一种名为分词器的程序会把文本拆成更小的单位，即Token。这些单位可能是完整单词、词的一部分或字符片段。

一种常见方法叫作byte-pair encoding，简称BPE，通过学习逐步合并高频序列。当某个组合频繁出现在构建词表所用的文本中，它就更可能成为一个独立Token。出现较少的组合则仍被拆分。

如果用于构建词表的数据明显偏向英语，问题就出现了。常见英语结构能够得到高效切分；其他语言，尤其采用较少被收录的文字系统的语言，表达类似想法可能需要更多片段。

对分词器来说，英文句子和译文并不平等

Rest of World展示了一个基于OpenAI分词器的例子。英文句子“People should benefit from AI, regardless of the language they speak.”被切分成较容易识别的单位。译成采用印度文字系统的马拉雅拉姆语后，却会被切得更加细碎，有时甚至拆开由多个字节表示的字符。

这并不意味着某种语言的表达能力较弱，也不能证明它天生更复杂。这只是数字表示方式如何构建所造成的结果。

这种现象并不限于使用人数较少的语言。根据explainx.ai的总结，在所报道的比较中，缅甸文、藏文、提非纳文字、柬埔寨文、老挝文和奥尔奇基文字属于受影响最严重的书写系统。相反，阿斯图里亚斯语虽然数字资源较少，却可能因采用拉丁字母而受益。

换句话说，语言使用群体的规模并不足以预测其账单。书写形式以及分词器的设计选择同样重要。

这种语言不平等究竟增加多少成本？

Rest of World报道的2026年9月研究指出，在互联网最常用的20种语言中，最有利与最不利语言的Token数量相差1.5至5倍。将比较范围扩大到200种语言后，研究人员报告某个模型的差距可能达到约17倍。

但最后这个结果需要谨慎看待：现有报道没有充分交代所用模型和实验流程，而且对差距的具体表述也不一致。因此，说每一条约鲁巴语、斯瓦希里语或阿姆哈拉语请求都必然比英语贵17倍，是不准确的。

为了理解经济影响，我们做一个纯粹用于说明的计算：如果同一请求在一种语言中占100个Token，在另一种语言中占300个，那么后者使用的输入单位就是前者的三倍。每个Token价格相同时，输入费用也会增加到三倍。这不是斯瓦希里语、印地语或其他具体语言的测量结果，只是解释计费机制。

广告

订阅制聊天产品不一定把这种差异直接反映到个人账单上。但对按照Token使用量付费的API企业用户来说，它可能转化为实际运营成本。

这种失衡并非全新发现。2023年5月，Ahia及其同事研究了OpenAI API在22种语言类型各异的语言中的成本和实用性。研究已经表明，许多使用者支付更高费用，却得到更差表现，而这种情况常出现在AI服务原本就更难负担的地区。

真正的不公平在于：支付更多并不保证得到更多。在某些语言环境中，结果甚至恰好相反。

为什么这种税还会削弱记忆和回答质量？

Token不仅用于计费，也用于衡量上下文窗口：模型在某一时刻能够考虑的信息总量。

如果一种语言传递同样内容需要更多Token，可用的上下文窗口就会更快填满。能够容纳文档、详细指令或此前对话的空间随之减少。

例如，教育助手记住学生过去的错误，就能调整后续讲解。Activate AI联合创始人Pratyush Choudhury特别强调了这种记忆对于数字辅导老师的重要性。如果某种语言的聊天记录更快耗尽上下文空间，教学的连续性就可能下降。

速度也会受到影响。模型逐个Token生成回答，因此需要更多Token的回答可能花费更长时间。在计算资源和网络连接有限的地区，额外延迟尤其棘手。

不过应当区分两种现象。低效的切分会直接减少同等内容可用的上下文空间；语言质量较差也可能源于训练数据不足或模型适配不完善。因此，分词并不能单独解释所有低质量回答。

非洲和亚洲语言揭示了AI的哪些局限？

斯瓦希里语、约鲁巴语、阿姆哈拉语和印地语表明，将英语测试结果直接推广到其他语言是危险的。它们的文字、语言结构和数字表示方式并不相同。不知道所用分词器，就不存在能计算相对费用的统一倍数。

bedr-ux在GitHub发布的一项基准测试使用FLORES-200中的1,012组平行句和9种不同分词器比较阿姆哈拉语与英语，考察每个词对应的Token数、每个Token所含字符数以及Token与UTF-8字节数的关系。这说明应在可比文本上测量工具，而不是只依据使用人数推断成本。

在南非，开发包括WhatsApp助手在内产品的ManyHands创始人指出，要让智能体在该国11种官方语言中高效交流十分困难。因此，问题不只是翻译界面，还关系到语言基础设施能否服务不同人群。

在我看来，问题在这里开始具有经济意义上的政治性。代表性不足的语言不仅在AI生成内容中更不显眼，还可能拥有更少的对话空间，并让支持它们的服务承担更高费用。

人们经常谈论通过易用界面让AI普惠大众。但如果运行这些界面的隐性成本仍然对同一批人不利，单纯翻译界面就远远不够。

如何不放弃母语，同时减少Token消耗？

要求用户为了绕过技术缺陷而长期放弃自己的语言显然不合理。不过，今天就可以采取一些措施改善情况。

  • 编写准确简洁的请求：删除重复内容，避免无必要地重复粘贴上下文，并指定符合需求的回答格式。这有助于减少处理量，但效果会因分词器而异。
  • 选模型前比较分词器：多语言企业应使用客户实际使用的语言测试相同内容，分别测量输入和输出Token。
  • 减少不必要的历史记录传输：用摘要保留关键信息，可以释放上下文空间。
  • 评估开放模型：开放权重模型，即open-weight模型，提供更多定制与控制空间。如果具备必要的技术能力和基础设施，它们可能是成本更低的替代方案。
  • 测试每种语言的回答质量：节省Token的分词器并不自动意味着模型可靠，还应检查理解能力、准确性和实用性。

对企业最重要的建议或许是：绝不要只根据英语测试决定多语言预算。针对目标语言测量真实费用，可以避免服务大规模投入使用后出现意外支出。

多语言模型和本地模型能解决问题吗？

更适合多种文字系统的分词器是合理方向：用更均衡的语言数据构建词表，可能减少过度碎片化。但必须通过实验验证。模型标榜支持多语言，并不能证明它对所有语言都公平切分。

另一个方向是生产质量更高的语言数据。在印度，由Indian Institute of Science牵头、Gates Foundation资助的RESPIN项目，从母语使用者那里收集了涉及38种方言的文本和朗读语音。这类工作有助于更好地呈现长期被忽视的语言用法。

开放模型以及可能的本地部署，也提供了定制机会。Columbia University的Daniel Björkegren指出，成本是低收入国家企业和政府部门面临的主要障碍。因此，能够按需调整模型可能非常重要，尽管这需要技术专长。

不过，把本地部署说成自动解决方案也不恰当：运行在自有设备上的模型仍受分词器局限，而且需要计算资源。

长期解决方案不能只靠优化用户提示。模型开发者还需要在构建数据、词表和评测体系时认真对待代表性不足的语言。真正面向全球的AI，不应让处境不利的人群为其语言架构的缺陷埋单。

常见问题

为什么某些语言使用AI更贵？

模型通过Token处理文本并计费。如果某种语言在词表中代表性不足，分词器可能把一句话拆成更多片段。对于按Token计费的API，同等内容的费用便会直接上升。

斯瓦希里语、阿姆哈拉语和印地语一定比英语贵吗？

并不存在适用于这些语言的统一倍数。Token数量取决于模型、分词器、文字系统和具体文本。可靠比较应使用实际部署的工具处理意思相同的句子。

为什么低效分词会减少AI助手的记忆容量？

上下文窗口的Token容量有限。同一文档如果需要更多Token，就会占用更大比例的容量。助手因此只能保留更少的历史记录，或同时处理更少的文档。

企业如何降低多语言AI成本？

企业可以用真实文本比较多个模型，分别测量输入与输出Token，缩短重复指令，避免发送无用的聊天历史，还可以评估开放模型和可定制方案。最终选择应同时考虑成本、语言质量和技术限制。

资料来源