人工知能への同じ依頼でも、使用する言語によって費用が大きく変わることがあります。Coalition for Language Equity in AI Researchが2026年9月に公表し、Rest of Worldが報じた研究では、インターネットで最も多く使われる20言語のトークン消費量に1.5～5倍の差が見られました。この技術的な違いは、デジタルデータで十分に扱われていない言語や文字体系に特に不利な経済格差を生みます。

まったく同じサービスを提供する2社を想像してください。顧客の質問に答えるアシスタントです。一方は主に英語、もう一方はアフリカやアジアの言語を使います。機能が同等でも、後者は同じ内容を伝えるために、より多くの言語処理単位を購入する必要があるかもしれません。顧客も開発者も、必ずしも高度なサービスを求めたわけではありません。その言語が、AI用に文章を準備する仕組みで十分に支えられていないだけなのです。

この差には名前があります。トークン化税、またはtokenizer taxです。ここから、あまり問われない問題が浮かび上がります。普遍的だとされる道具の構造が、なぜ特定の言語を経済的に優遇するのでしょうか。

同じ文なのに、言語によってトークン数が増えるのはなぜ？

言語モデルは、私たちが読む形の単語をそのまま受け取るわけではありません。処理の前にトークナイザーというプログラムが文章を小さな単位、すなわちトークンに分けます。単位は単語全体、単語の一部、文字の断片などです。

一般的な手法の一つであるbyte-pair encoding（BPE）は、頻繁に現れる並びを段階的に結合するよう学習します。語彙を作るための文章に何度も登場する組み合わせは、1つのトークンになりやすくなります。出現頻度が低い組み合わせは細かく分かれたままです。

問題は、その語彙を作るデータが英語に大きく偏っている場合です。英語の一般的な構造は効率よく分割されます。一方、使用例の少ない文字体系を使う言語では、同じような考えを表すにも、はるかに多くの断片が必要になることがあります。

英語の文と翻訳文はトークナイザーにとって同等ではない

Rest of WorldはOpenAIのトークナイザーを使った例を紹介しています。英語の「People should benefit from AI, regardless of the language they speak.」は、比較的見分けやすい単位に分割されます。一方、インド系の文字で書くマラヤーラム語への翻訳は、はるかに細かく区切られ、複数バイトで表現される文字の内部まで分割される場合があります。

これは表現力の豊かさの違いでも、ある言語が本質的に複雑だという証拠でもありません。デジタル表現がどのように設計されたかによる結果です。

この現象は話者数の少ない言語だけに限りません。explainx.aiのまとめによると、報告された比較では、ビルマ文字、チベット文字、ティフィナグ文字、クメール文字、ラオ文字、オル・チキ文字が特に不利なものに含まれます。逆にアストゥリアス語は、デジタル上での存在感が小さくても、ラテン文字の特徴から恩恵を受ける場合があります。

つまり、言語共同体の規模だけでは料金を予測できません。表記方法やトークナイザーの設計上の選択も重要です。

言語による不平等は実際にいくらの負担になる？

Rest of Worldが伝えた2026年9月の研究では、インターネットで最も使われる20言語のうち、有利な言語と不利な言語の間でトークン数に1.5～5倍の差がありました。対象を200言語に広げると、あるモデルでは約17倍に達する差が報告されています。

ただし最後の数字は慎重に扱う必要があります。公開された説明には使用モデルや手順の詳細が十分になく、差の表現も報道によって異なります。そのため、ヨルバ語、スワヒリ語、アムハラ語のすべての依頼が英語の17倍の費用になると断言するのは誤解を招きます。

経済的な影響を理解するため、あくまで例として計算してみましょう。ある言語で100トークン、別の言語で300トークンを使う依頼なら、後者の入力単位は3倍です。トークン単価が同じなら入力費用も3倍になります。これはスワヒリ語やヒンディー語など特定の言語の測定値ではなく、課金方法の説明にすぎません。

広告

定額制のチャットサービスでは、この差が個人の請求額にそのまま現れるとは限りません。しかし、トークン量に応じて課金されるAPIを使う企業では、運用費として表れる可能性があります。

この不均衡はまったく新しい発見ではありません。2023年5月、Ahiaらは類型的に異なる22言語でOpenAI APIの費用と有用性を調べました。その研究はすでに、多くの話者が高い費用を負担しながら低い性能しか得られないこと、しかもAIサービスを利用しにくい地域で起こりがちなことを示していました。

本当の不公平はここにあります。多く支払っても多く得られるとは限りません。言語によっては逆の結果さえ生じます。

なぜこの負担は記憶容量や回答品質にも影響する？

トークンは課金だけでなく、コンテキストウィンドウの大きさにも使われます。これはモデルが一度に参照できる情報量です。

同じ内容を伝えるために多くのトークンが必要な言語では、この枠が早く埋まります。その分、文書や細かな指示、以前の会話を入れる余地が減ります。

例えば教育用アシスタントでは、学習者が以前に犯した間違いを記憶しておくと、次の説明を調整できます。Activate AIの共同創業者Pratyush Choudhuryは、デジタル家庭教師におけるこの記憶の重要性を強調しています。ある言語で履歴がコンテキストを早く消費すると、学習支援の継続性が損なわれる可能性があります。

速度にも影響があります。モデルはトークンを一つずつ生成するため、より多くのトークンが必要な回答ほど生成に時間がかかることがあります。計算資源や通信環境が限られる場所では、この遅延が特に問題になります。

ただし、二つの現象は区別すべきです。分割が非効率だと、同等の内容に使えるコンテキスト容量が機械的に減ります。一方、回答の言語品質が低い理由には、学習データの不足やモデルの調整不足もあります。悪い回答のすべてをトークン化だけで説明することはできません。

アフリカとアジアの言語から見えるAIの限界とは？

スワヒリ語、ヨルバ語、アムハラ語、ヒンディー語は、英語で得られた結果を安易に一般化できない言語の多様性を示します。文字体系、言語構造、デジタル表現は同じではありません。使用するトークナイザーが分からなければ、共通の倍率で相対費用を計算することはできません。

GitHubでbedr-uxが公開したベンチマークは、FLORES-200の対訳文1,012組と9種類のトークナイザーを使い、アムハラ語と英語を比較します。単語あたりのトークン数、トークンあたりの文字数、UTF-8バイトに対するトークン数などを調べています。話者数だけで推測せず、比較可能な内容でツールを測る大切さが分かります。

南アフリカでは、WhatsAppで使えるアシスタントなどを開発するManyHandsの創業者が、同国の11の公用語すべてでエージェントに効果的な会話をさせる難しさを指摘しています。問題は画面を翻訳するだけではなく、言語基盤が異なる人々に対応できるかどうかです。

私には、ここで問題が経済的な意味で政治的になるように思えます。十分に扱われていない言語は、AIが生成する内容で目立たないだけではありません。会話に使える容量が少なくなり、その言語を支えるサービスに余分な費用を強いる恐れがあります。

使いやすい画面を提供してAIを民主化するとよく言われます。しかし、運用の見えない費用が同じ人々に不利なままなら、画面を翻訳するだけでは不十分です。

自分の言語を使い続けながらトークンを節約するには？

技術上の欠陥を避けるために、利用者にいつも母語を捨てるよう求めるのは理不尽です。それでも、今からできる対策はいくつかあります。

  • 依頼を明確かつ簡潔にする：重複を削り、不要な文脈の再送を避け、目的に合う回答形式を指定します。処理量を減らせますが、効果はトークナイザーによって異なります。
  • モデル選択前にトークナイザーを比較する：多言語サービスを運営する企業は、顧客が実際に使う言語で同じ内容を試し、入力と出力のトークン数を測るべきです。
  • 不要な履歴の送信を減らす：重要な情報を要約して残せば、コンテキストの空きを増やせます。
  • オープンなモデルを評価する：重みが公開されたopen-weightモデルは、より自由に調整・管理できます。必要な技術と設備があれば、費用面で有利な選択肢になります。
  • 言語ごとに回答品質を確認する：トークン効率が高くても、信頼できるモデルとは限りません。理解力、正確さ、有用性も検証する必要があります。

企業にとって最も重要なのは、英語での試験だけを基準に多言語予算を組まないことでしょう。対象言語ごとに実際の費用を測れば、大規模運用時の予想外の出費を防ぎやすくなります。

多言語モデルやローカルモデルで問題を解決できる？

複数の文字体系に適したトークナイザーは自然な改善策です。言語をより均等に反映した語彙なら、過剰な分割を減らせるかもしれません。ただし実験での確認が必要です。「多言語対応」と宣伝されていても、すべての言語が公平に分割される証拠にはなりません。

質の高い言語データを作ることも一つの道です。インドでは、Gates Foundationの資金を受けIndian Institute of Scienceが進めたRESPIN計画が、38の方言について母語話者から文章と音読音声を収集しました。こうした取り組みは見落とされてきた言語の使い方をより適切に表せます。

オープンなモデルを必要に応じてローカルで運用すれば、調整の自由度も得られます。Columbia UniversityのDaniel Björkegrenは、低所得国の企業や行政機関にとって費用が大きな障壁だと指摘します。技術的な知識は必要ですが、モデルを独自に調整できることが重要になる場合があります。

とはいえ、ローカル運用が自動的な解決策になるわけではありません。自社の機器で動くモデルにもトークナイザーの限界があり、運用資源も必要です。

長期的な解決策は、利用者の依頼文を短くすることだけではありません。開発者がデータ、語彙、評価を設計する段階から、十分に代表されていない言語を重視する必要があります。真に世界のためのAIなら、言語設計の欠陥の代金を不利な立場の人々に負担させるべきではありません。

よくある質問

なぜ言語によってAIの費用が高くなるのですか？

モデルは文章を処理し課金するためにトークンを使います。語彙に十分含まれていない言語では、トークナイザーが文を細かく分割する場合があります。トークン単位で課金されるAPIでは、同等の内容でも費用が直接増えます。

スワヒリ語やアムハラ語、ヒンディー語は必ず英語より高い？

これらの言語に共通する固定倍率はありません。トークン数はモデル、トークナイザー、文字体系、文章によって変わります。信頼できる比較には、実際のツールで意味の等しい文章を試す必要があります。

トークン化が非効率だとAIの記憶が減るのはなぜ？

コンテキストウィンドウにはトークン数の上限があります。同じ文書でも多くのトークンが必要なら、より大きな容量を占めます。その結果、保存できる会話履歴や同時に扱える文書が減ります。

企業は多言語AIの費用をどう減らせますか？

実際の文章で複数モデルを比較し、入出力のトークンを別々に測り、重複する指示を短くし、不要な履歴を送らないことです。オープンモデルや調整可能な仕組みも検討できます。費用、言語品質、技術面の制約を合わせて判断する必要があります。

出典