कृत्रिम बुद्धिमत्ता को भेजा गया एक ही अनुरोध इस्तेमाल की गई भाषा के आधार पर काफी महंगा पड़ सकता है। सितंबर 2026 में प्रकाशित Coalition for Language Equity in AI Research के अध्ययन का हवाला देते हुए Rest of World ने बताया कि इंटरनेट पर सर्वाधिक इस्तेमाल होने वाली बीस भाषाओं में टोकन की खपत 1.5 से 5 गुना तक अलग हो सकती है। यह तकनीकी अंतर आर्थिक असमानता पैदा करता है, जिसका असर डिजिटल डेटा में कम प्रतिनिधित्व वाली भाषाओं और लिपियों पर विशेष रूप से पड़ता है।

कल्पना कीजिए कि दो कंपनियाँ बिल्कुल एक जैसी सेवा देती हैं: ग्राहकों के प्रश्नों का उत्तर देने वाला सहायक। एक मुख्यतः अंग्रेज़ी में काम करती है और दूसरी किसी अफ्रीकी या एशियाई भाषा में। समान सुविधाएँ होने पर भी दूसरी कंपनी को वही जानकारी पहुँचाने के लिए भाषा प्रसंस्करण की अधिक इकाइयाँ खरीदनी पड़ सकती हैं। न उसके ग्राहकों ने और न ही उसके डेवलपरों ने ज़रूरी तौर पर अधिक जटिल सेवा माँगी है। बस उनकी भाषा को AI के लिए पाठ तैयार करने वाला तंत्र उतना अच्छी तरह संभाल नहीं पाता।

इस अंतर का नाम है टोकनाइज़ेशन टैक्स, यानी tokenizer tax। यह एक ऐसा सवाल उठाता है जो कम ही पूछा जाता है: सार्वभौमिक बताई जाने वाली तकनीक की संरचना कुछ भाषाओं को आर्थिक लाभ क्यों दे?

एक ही वाक्य के लिए कुछ भाषाओं में अधिक टोकन क्यों लगते हैं?

भाषा मॉडल शब्दों को सीधे वैसे नहीं पढ़ता जैसे हम पढ़ते हैं। प्रसंस्करण से पहले टोकनाइज़र नाम का प्रोग्राम पाठ को छोटी इकाइयों, यानी टोकन, में बाँटता है। ये पूरे शब्द, शब्दों के हिस्से या अक्षरों के टुकड़े हो सकते हैं।

byte-pair encoding या BPE नाम की एक सामान्य पद्धति बार-बार आने वाले अनुक्रमों को धीरे-धीरे जोड़ना सीखती है। शब्दावली बनाने के लिए प्रयुक्त पाठ में कोई संयोजन जितनी बार दिखाई देता है, उसके एक ही टोकन बनने की संभावना उतनी अधिक होती है। कम प्रचलित संयोजन कई हिस्सों में बँटे रहते हैं।

समस्या तब आती है जब शब्दावली बनाने वाला डेटा अंग्रेज़ी को बहुत अधिक प्राथमिकता देता है। आम अंग्रेज़ी संरचनाओं का विभाजन तब कुशलता से होता है। दूसरी भाषाओं, विशेषकर कम प्रतिनिधित्व वाली लिपियों वाली भाषाओं, में समान विचार व्यक्त करने के लिए कई अधिक टुकड़े लग सकते हैं।

टोकनाइज़र के सामने अंग्रेज़ी वाक्य और उसका अनुवाद बराबर नहीं हैं

Rest of World ने OpenAI के एक टोकनाइज़र के आधार पर उदाहरण दिया है। अंग्रेज़ी वाक्य “People should benefit from AI, regardless of the language they speak.” अपेक्षाकृत पहचानी जा सकने वाली इकाइयों में विभाजित होता है। भारतीय लिपि में लिखी जाने वाली मलयालम भाषा में उसका अनुवाद कहीं अधिक छोटे टुकड़ों में टूटता है, कभी-कभी कई बाइट में दर्शाए जाने वाले अक्षरों के भीतर भी।

यह अभिव्यक्ति की समृद्धि का अंतर नहीं है, न ही इससे साबित होता है कि कोई भाषा स्वाभाविक रूप से अधिक जटिल है। यह डिजिटल निरूपण बनाने के तरीके का परिणाम है।

यह समस्या केवल कम बोलने वालों वाली भाषाओं तक सीमित नहीं है। explainx.ai के सारांश के अनुसार, रिपोर्ट में जिन लिपियों को सबसे अधिक नुकसान बताया गया है उनमें बर्मी, तिब्बती, तिफ़िनाघ, खमेर, लाओ और ओल चिकी शामिल हैं। दूसरी ओर, डिजिटल माध्यम में कम उपस्थिति के बावजूद अस्तूरियाई भाषा अपनी लैटिन लिपि की विशेषताओं से लाभ पा सकती है।

दूसरे शब्दों में, केवल भाषा बोलने वालों की संख्या से उसकी लागत का अनुमान नहीं लगाया जा सकता। भाषा की लिपि और टोकनाइज़र के डिज़ाइन के फैसले भी मायने रखते हैं।

इस भाषाई असमानता की वास्तविक आर्थिक लागत कितनी है?

Rest of World द्वारा प्रस्तुत सितंबर 2026 के अध्ययन के अनुसार, इंटरनेट पर सबसे अधिक इस्तेमाल होने वाली बीस भाषाओं में अधिक और कम अनुकूल भाषाओं के बीच टोकन संख्या का अंतर 1.5 से 5 गुना तक है। तुलना को दो सौ भाषाओं तक बढ़ाने पर शोधकर्ताओं ने एक मॉडल में लगभग 17 गुना तक का अंतर बताया।

हालाँकि इस आखिरी परिणाम को सावधानी से समझना चाहिए: उपलब्ध विवरण मॉडल और परीक्षण प्रक्रिया को पर्याप्त स्पष्टता से नहीं बताते और अलग-अलग रिपोर्ट में अंतर का वर्णन भी बदलता है। इसलिए यह दावा करना भ्रामक होगा कि योरूबा, स्वाहिली या अम्हारिक में हर अनुरोध हमेशा अंग्रेज़ी से 17 गुना महंगा पड़ता है।

आर्थिक असर समझने के लिए केवल एक उदाहरण लें। किसी अनुरोध को एक भाषा में 100 और दूसरी में 300 टोकन लगें, तो दूसरी भाषा में इनपुट इकाइयों की खपत तीन गुना होगी। प्रति टोकन समान दर पर इनपुट की लागत भी तीन गुना होगी। यह स्वाहिली, हिंदी या किसी खास भाषा का मापन नहीं, बल्कि बिलिंग की प्रक्रिया समझाने वाला उदाहरण है।

विज्ञापन

सदस्यता पर मिलने वाले चैट इंटरफ़ेस में यह अंतर सीधे किसी व्यक्ति के बिल में दिखे, यह ज़रूरी नहीं। लेकिन टोकन की मात्रा के आधार पर शुल्क देने वाली API इस्तेमाल करने वाली कंपनी के परिचालन खर्च में यह दिखाई दे सकता है।

यह असंतुलन पूरी तरह नई खोज नहीं है। मई 2023 में Ahia और उनके सहकर्मियों ने भाषाई संरचना की दृष्टि से अलग 22 भाषाओं में OpenAI API की लागत और उपयोगिता का अध्ययन किया था। उनके शोध में पहले ही दिखा था कि कई भाषाओं के उपयोगकर्ता अधिक कीमत देकर भी कमजोर प्रदर्शन पाते हैं, अक्सर ऐसे क्षेत्रों में जहाँ AI सेवाएँ पहले से कम किफ़ायती हैं।

यहीं असली अन्याय है: अधिक भुगतान करने का मतलब बेहतर सेवा मिलना नहीं है। कुछ भाषाई परिस्थितियों में उलटा होता है।

यह टैक्स AI की स्मृति और उत्तरों की गुणवत्ता भी क्यों घटाता है?

टोकन का उपयोग बिल बनाने के साथ-साथ कॉन्टेक्स्ट विंडो मापने में भी होता है: अर्थात एक समय में मॉडल कितनी जानकारी पर विचार कर सकता है।

यदि वही सामग्री पहुँचाने के लिए किसी भाषा में अधिक टोकन चाहिए, तो उपलब्ध विंडो जल्दी भर जाती है। दस्तावेज़ों, विस्तृत निर्देशों या पिछली बातचीत के लिए कम जगह बचती है।

उदाहरण के लिए, शैक्षिक सहायक में विद्यार्थी की पिछली गलतियाँ याद रखने से अगली व्याख्या को बेहतर ढंग से ढाला जा सकता है। Activate AI के सह-संस्थापक Pratyush Choudhury डिजिटल शिक्षक के कामकाज में इस स्मृति के महत्व पर विशेष ज़ोर देते हैं। यदि किसी भाषा में इतिहास कॉन्टेक्स्ट जल्दी भर देता है, तो सीखने की निरंतरता प्रभावित हो सकती है।

गति पर भी असर पड़ता है। मॉडल एक-एक टोकन करके उत्तर बनाते हैं, इसलिए अधिक टोकन वाला उत्तर तैयार होने में अधिक समय लग सकता है। कंप्यूटिंग संसाधन और इंटरनेट कनेक्टिविटी सीमित होने पर यह अतिरिक्त विलंब खास तौर पर समस्याजनक है।

फिर भी दो बातों में फर्क करना चाहिए। खराब विभाजन समान सामग्री के लिए उपलब्ध कॉन्टेक्स्ट को सीधे कम करता है। कमजोर भाषाई गुणवत्ता प्रशिक्षण डेटा की कमी या मॉडल के अपर्याप्त अनुकूलन से भी हो सकती है। इसलिए केवल टोकनाइज़ेशन सभी खराब उत्तरों की वजह नहीं है।

अफ्रीकी और एशियाई भाषाएँ AI की सीमाओं के बारे में क्या बताती हैं?

स्वाहिली, योरूबा, अम्हारिक और हिंदी दिखाती हैं कि अंग्रेज़ी के नतीजों को सभी भाषाओं पर लागू करना खतरनाक हो सकता है। उनकी लिपियाँ, भाषाई संरचनाएँ और डिजिटल निरूपण अलग हैं। इस्तेमाल किए गए टोकनाइज़र को जाने बिना किसी सार्वभौमिक गुणक से उनकी सापेक्ष लागत नहीं निकाली जा सकती।

GitHub पर bedr-ux द्वारा प्रकाशित एक बेंचमार्क FLORES-200 के 1,012 समानांतर वाक्यों और नौ अलग-अलग टोकनाइज़रों से अम्हारिक और अंग्रेज़ी की तुलना करता है। यह प्रति शब्द टोकन, प्रति टोकन अक्षर और UTF-8 बाइट के संदर्भ में टोकन जैसे मापों की जाँच करता है। इससे स्पष्ट होता है कि केवल बोलने वालों की संख्या के बजाय समान सामग्री पर उपकरणों को परखना अधिक उपयोगी है।

दक्षिण अफ्रीका में ManyHands के संस्थापक, जिनकी कंपनी WhatsApp पर उपलब्ध एक सहायक भी बनाती है, देश की ग्यारह आधिकारिक भाषाओं में किसी एजेंट को प्रभावी बातचीत कराने की कठिनाई बताते हैं। समस्या केवल इंटरफ़ेस के अनुवाद की नहीं है: सवाल यह है कि भाषाई अवसंरचना अलग-अलग आबादी की सेवा कर पाती है या नहीं।

मेरे विचार में यहीं यह मुद्दा आर्थिक अर्थ में राजनीतिक बन जाता है। कम प्रतिनिधित्व वाली भाषा AI की बनाई सामग्री में केवल कम दिखाई नहीं देती। उसमें बातचीत के लिए जगह भी कम हो सकती है और उसे समर्थन देने वाली सेवाओं को अधिक खर्च करना पड़ सकता है।

सुलभ इंटरफ़ेस देकर AI को सबके लिए उपलब्ध बनाने की बात अक्सर होती है। लेकिन अनुवादित इंटरफ़ेस पर्याप्त नहीं, यदि उसे चलाने की छिपी लागत उन्हीं समुदायों के खिलाफ बनी रहे।

अपनी भाषा छोड़े बिना टोकन की खपत कैसे घटाएँ?

किसी तकनीकी खामी से बचने के लिए उपयोगकर्ताओं से हमेशा अपनी भाषा छोड़ने को कहना बेतुका होगा। फिर भी कुछ उपाय आज से ही स्थिति बेहतर कर सकते हैं।

  • स्पष्ट और संक्षिप्त अनुरोध लिखें: दोहराव हटाएँ, अनावश्यक रूप से कॉन्टेक्स्ट फिर से न भेजें और ज़रूरत के अनुसार उत्तर का स्वरूप माँगें। इससे संसाधित सामग्री घट सकती है, लेकिन वास्तविक लाभ टोकनाइज़र पर निर्भर करेगा।
  • मॉडल चुनने से पहले टोकनाइज़रों की तुलना करें: बहुभाषी कंपनी को ग्राहकों की वास्तविक भाषाओं में एक ही सामग्री जाँचकर इनपुट और आउटपुट टोकन मापने चाहिए।
  • अनावश्यक बातचीत का इतिहास भेजना कम करें: आवश्यक जानकारी का सारांश रखने से कॉन्टेक्स्ट में जगह बच सकती है।
  • खुले मॉडलों का मूल्यांकन करें: खुले वज़न वाले मॉडल, यानी open-weight मॉडल, अधिक अनुकूलन और नियंत्रण देते हैं। आवश्यक विशेषज्ञता और अवसंरचना होने पर वे किफ़ायती विकल्प हो सकते हैं।
  • हर भाषा में उत्तर की गुणवत्ता जाँचें: कम टोकन इस्तेमाल करने वाला टोकनाइज़र विश्वसनीय मॉडल की गारंटी नहीं देता। समझ, सटीकता और उपयोगिता भी परखनी चाहिए।

कंपनियों के लिए शायद सबसे अहम सलाह है कि बहुभाषी बजट केवल अंग्रेज़ी में किए गए परीक्षणों से तय न करें। लक्षित भाषाओं में वास्तविक लागत मापने से बड़े पैमाने पर सेवा शुरू होने के बाद अप्रत्याशित खर्च से बचा जा सकता है।

क्या बहुभाषी और स्थानीय मॉडल इस समस्या को ठीक कर सकते हैं?

कई लिपियों के लिए बेहतर अनुकूलित टोकनाइज़र एक स्वाभाविक समाधान हैं: अधिक संतुलित भाषाई प्रतिनिधित्व वाली शब्दावली अनावश्यक विखंडन घटा सकती है। लेकिन इसका प्रभाव प्रयोगों में जाँचना ज़रूरी है। किसी मॉडल को बहुभाषी कह देने से यह सिद्ध नहीं होता कि सभी भाषाओं का विभाजन निष्पक्ष है।

बेहतर गुणवत्ता वाला भाषाई डेटा तैयार करना दूसरा रास्ता है। भारत में Indian Institute of Science द्वारा Gates Foundation के वित्तपोषण से चलाई गई RESPIN पहल ने 38 बोलियों के मूल वक्ताओं से पाठ और पढ़कर बोली गई आवाज़ का डेटा एकत्र किया। ऐसा काम उपेक्षित भाषाई उपयोगों को बेहतर प्रतिनिधित्व दे सकता है।

खुले और संभवतः स्थानीय स्तर पर चलाए जाने वाले मॉडल भी अनुकूलन के अवसर देते हैं। Columbia University के Daniel Björkegren के अनुसार, कम आय वाले देशों की कंपनियों और प्रशासन के लिए लागत बड़ी बाधा है। इसलिए मॉडल को अपनी ज़रूरत के अनुसार ढालना महत्वपूर्ण हो सकता है, भले ही इसके लिए तकनीकी कौशल चाहिए।

लेकिन स्थानीय रूप से मॉडल चलाना अपने-आप समाधान नहीं है: अपनी मशीन पर स्थापित मॉडल में उसके टोकनाइज़र की सीमाएँ बनी रहती हैं और उसे चलाने के लिए संसाधन चाहिए।

स्थायी समाधान केवल उपयोगकर्ताओं के संदेश छोटे करने में नहीं है। मॉडल बनाने वालों को डेटा, शब्दावली और मूल्यांकन तैयार करते समय ही कम प्रतिनिधित्व वाली भाषाओं को गंभीरता से लेना होगा। वास्तव में वैश्विक AI को अपनी भाषाई संरचना की कमियों का खर्च वंचित समुदायों पर नहीं डालना चाहिए।

अक्सर पूछे जाने वाले प्रश्न

कुछ भाषाओं में AI महंगी क्यों होती है?

मॉडल पाठ संसाधित करने और शुल्क तय करने के लिए टोकन इस्तेमाल करते हैं। शब्दावली में कम प्रतिनिधित्व वाली भाषा के वाक्य को टोकनाइज़र अधिक हिस्सों में बाँट सकता है। प्रति टोकन बिल वाली API में इससे समान सामग्री की लागत सीधे बढ़ती है।

क्या स्वाहिली, अम्हारिक या हिंदी हमेशा अंग्रेज़ी से महंगी हैं?

इन भाषाओं के लिए कोई सार्वभौमिक गुणक नहीं है। टोकन की संख्या मॉडल, टोकनाइज़र, लिपि और पाठ पर निर्भर करती है। भरोसेमंद तुलना समान अर्थ वाले वाक्यों और वास्तविक उपयोग वाले उपकरणों से करनी चाहिए।

खराब टोकनाइज़ेशन AI सहायक की स्मृति क्यों घटाता है?

कॉन्टेक्स्ट विंडो की क्षमता टोकन में सीमित होती है। किसी दस्तावेज़ को अधिक टोकन चाहिए तो वह इस क्षमता का बड़ा हिस्सा घेरता है। सहायक कम बातचीत याद रख पाता है या एक साथ कम दस्तावेज़ संसाधित करता है।

कंपनी बहुभाषी AI की लागत कैसे घटा सकती है?

वह वास्तविक सामग्री पर कई मॉडलों की तुलना कर सकती है, इनपुट और आउटपुट टोकन अलग-अलग माप सकती है, दोहराए गए निर्देश घटा सकती है और अनावश्यक इतिहास भेजने से बच सकती है। खुले मॉडल तथा अनुकूलन योग्य समाधान भी देखे जा सकते हैं। चुनाव में लागत, भाषाई गुणवत्ता और तकनीकी ज़रूरत तीनों शामिल हों।

स्रोत