फ़्रेंच में कृत्रिम बुद्धिमत्ता का उपयोग करने पर अंग्रेज़ी में बिल्कुल वही सवाल पूछने की तुलना में अधिक टोकन खर्च हो सकते हैं। सितंबर 2026 में प्रकाशित थॉमस सर्वाल के अध्ययन के अनुसार, इस्तेमाल किए गए टोकनाइज़र के आधार पर फ़्रेंच में 31 से 58% अतिरिक्त लागत आती है। यह अदृश्य अंतर API का बिल बढ़ा सकता है, बातचीत का याद रखा जा सकने वाला हिस्सा घटा सकता है और मॉडल के जवाब देने की परिस्थितियाँ बदल सकता है।

हम ChatGPT को एक सार्वभौमिक संवाद साथी मानने लगे हैं। हम अपनी भाषा में बात करते हैं और वह जवाब देता है। यह अनुभव इतना सहज है कि शायद ही कोई सोचता है कि लिखे हुए वाक्य और मशीन की समझ के बीच क्या होता है। लेकिन इस प्रक्रिया में सभी भाषाओं को समान स्थान नहीं मिलता। कुछ आसानी से प्रणाली में समा जाती हैं, जबकि अन्य को अतिरिक्त कीमत चुकानी पड़ती है।

फ़्रेंच वाक्य अधिक टोकन क्यों खर्च करता है?

कृत्रिम बुद्धिमत्ता हमारी तरह वाक्य नहीं पढ़ती। भाषा मॉडल के पाठ को संसाधित करने से पहले टोकनाइज़र नामक घटक उसे टोकन कहलाने वाले टुकड़ों में बाँटता है। ये पूरे शब्द, शब्दों के हिस्से या अलग-अलग अक्षर हो सकते हैं।

OpenAI सामान्य अंग्रेज़ी के लिए एक मोटा नियम बताता है: एक टोकन लगभग चार अक्षरों या शब्द के तीन-चौथाई हिस्से के बराबर होता है। लेकिन यह अनुमान सभी भाषाओं पर एक समान लागू नहीं होता।

इसका कारण तकनीकी है। टोकनाइज़र निर्माण के दौरान मिलने वाले पाठ-क्रमों को कुशलता से विभाजित करना सीखते हैं। जब प्रशिक्षण सामग्री में अंग्रेज़ी का वर्चस्व होता है, तो कई अंग्रेज़ी क्रम आसानी से पहचानी जाने वाली इकाइयाँ बन जाते हैं। फ़्रेंच में समान अर्थ वाले वाक्यांश कई टुकड़ों में बँट सकते हैं।

इसलिए अंग्रेज़ी का कोई सामान्य शब्द एक ही टोकन में आ सकता है, जबकि उसके फ़्रेंच समकक्ष को दो या तीन टोकन लग सकते हैं। कुछ गैर-लैटिन लिपियों में यह अंतर और भी बड़ा होता है।

लेकिन केवल अधिक संसाधन वाली और कम प्रतिनिधित्व वाली भाषाओं का अंतर पर्याप्त नहीं है। Coalition for Language Equity in AI Research के काम पर Rest of World की रिपोर्ट बताती है कि लिपि स्वयं भी पाठ के विखंडन को बहुत प्रभावित करती है। इसलिए अरबी या हिंदी को ऐसी अतिरिक्त लागत उठानी पड़ सकती है जिसे केवल बोलने वालों की संख्या से नहीं समझा जा सकता।

इस भाषाई अतिरिक्त लागत की वास्तविक कीमत कितनी है?

ये आँकड़े महज़ तकनीकी जिज्ञासा से कहीं अधिक महत्त्वपूर्ण हैं।

NEOMA Business School से जुड़े थॉमस सर्वाल के NTREX-128 बहुभाषी कॉर्पस पर आधारित अध्ययन के अनुसार, जाँची गई प्रणालियों में फ़्रेंच को अंग्रेज़ी से 1.31 से 1.58 गुना अधिक टोकन चाहिए। विश्लेषण में OpenAI, Meta, Alibaba, DeepSeek, Google, Mistral और Anthropic सहित सात टोकनाइज़र की तुलना की गई।

मई 2026 में Prompt Inspiration द्वारा प्रकाशित एक अन्य विश्लेषण के अनुसार, फ़्रेंच में लिखे प्रॉम्प्ट की औसत अतिरिक्त लागत लगभग 48% है। यह पिछले अध्ययन के स्तर के करीब है, लेकिन गणना के तरीके ज़रूरी नहीं कि समान हों। इसलिए इस प्रतिशत को हर बातचीत और हर मॉडल के लिए स्थिर मानना गलत होगा।

दूसरी भाषाओं में अंतर कहीं बड़ा हो सकता है। Rest of World द्वारा उद्धृत Coalition for Language Equity in AI Research के अनुसार, इंटरनेट पर सबसे अधिक इस्तेमाल होने वाली बीस भाषाओं में सबसे सस्ती और सबसे महँगी भाषा की लागत में 1.5 से 5 गुना का अंतर है। दो सौ भाषाओं तक विश्लेषण बढ़ाने पर यह अंतर 17 गुना तक पहुँच सकता है।

बिल में इन आँकड़ों का क्या मतलब है?

सिर्फ समझाने के लिए एक उदाहरण लें। यदि अंग्रेज़ी में किसी प्रक्रिया के टोकन की लागत 10 यूरो है, तो 48% वृद्धि पर वही प्रक्रिया 14.80 यूरो की होगी, बशर्ते प्रति टोकन दर समान हो। रोज़ बहुत सारे अनुरोध संभालने वाली सेवा के लिए यह अंतर हर उपयोग पर जुड़ता जाता है।

हालाँकि दो स्थितियों में फर्क करना ज़रूरी है। ChatGPT की निश्चित शुल्क वाली सदस्यता लेने वाले व्यक्ति का बिल केवल फ़्रेंच में लिखने से अपने आप नहीं बढ़ता। लेकिन प्रति टोकन शुल्क वाली API इस्तेमाल करने वाले डेवलपर या कंपनी को अतिरिक्त खपत का खर्च उठाना पड़ सकता है।

विज्ञापन

इसलिए असली समस्या केवल ज़्यादा भुगतान नहीं है। समान बजट या टोकन सीमा में अलग-अलग प्रसंस्करण क्षमता मिलना भी समस्या है।

यह अंतर जवाबों की गुणवत्ता क्यों प्रभावित कर सकता है?

हर मॉडल की एक कॉन्टेक्स्ट विंडो होती है, यानी काम करते समय वह सीमित संख्या में टोकन पर ध्यान दे सकता है। इसमें निर्देश, पिछले संदेश और दिए गए दस्तावेज़ शामिल होते हैं।

यदि दो बातचीतों की सामग्री समान है लेकिन फ़्रेंच वाली को अधिक टोकन चाहिए, तो वे इस विंडो में अलग-अलग जगह घेरेंगी। फ़्रेंच बातचीत अपनी सीमा तक जल्दी पहुँच सकती है।

एक वर्चुअल निजी शिक्षक की कल्पना करें। वह छात्र की गलतियाँ, कठिनाइयाँ और पहले दिए गए स्पष्टीकरण याद रखता है। यदि छात्र की भाषा में यह इतिहास अधिक टोकन लेता है, तो उपयोगी जानकारी सँभालने के लिए कम जगह बचती है।

Rest of World की रिपोर्ट में Activate AI के सह-संस्थापक प्रत्यूष चौधरी ने यही उदाहरण दिया था। इस तरह भाषाई अतिरिक्त लागत शिक्षा में असमानता बन सकती है।

फिर भी एक अहम बात समझनी चाहिए: अधिक टोकन खर्च होने का मतलब यह नहीं कि मॉडल अनिवार्य रूप से कम अच्छी तरह तर्क करता है। अधिक विखंडन से कॉन्टेक्स्ट पर दबाव और जवाब में देरी बढ़ सकती है, लेकिन इससे अकेले जवाबों की बौद्धिक गुणवत्ता में लगातार गिरावट साबित नहीं होती।

2023 में EMNLP में प्रस्तुत एक अकादमिक अध्ययन ने बाईस भाषाओं में OpenAI API की लागत और उपयोगिता का आकलन किया। उसमें व्यापक असमानता दर्ज हुई: अंग्रेज़ी के अलावा कई भाषाओं के उपयोगकर्ताओं को अधिक खर्च पर अपेक्षाकृत कमजोर प्रदर्शन मिलता है।

यानी दो अलग समस्याएँ एक साथ मौजूद हो सकती हैं: वाक्यों का टोकन में विभाजन और प्रत्येक भाषा में मॉडल की वास्तविक क्षमता। दोनों को एक समझने से सही सुधार का रास्ता स्पष्ट नहीं होगा।

क्या सभी AI मॉडल फ़्रेंच के लिए समान रूप से नुकसानदेह हैं?

नहीं। टोकनाइज़र का चुनाव भाषाई लागत को काफी बदल देता है।

थॉमस सर्वाल की तुलना में सात जाँची गई प्रणालियों में Mistral Tekken फ़्रेंच के लिए सबसे कम अतिरिक्त लागत वाला टोकनाइज़र पाया गया। इससे संकेत मिलता है कि इस असमानता का कुछ हिस्सा तकनीकी डिज़ाइन में ही सुधारा जा सकता है।

Prompt Inspiration के संकलन में मूल्यांकित भाषाओं के लिए Gemini 3.1 और Qwen 3.6 का अंग्रेज़ी की तुलना में कुल अतिरिक्त लागत गुणांक 1.17 बताया गया है। इसके विपरीत Anthropic का औसत गुणांक 2.07 और उसकी API पर हिंदी प्रॉम्प्ट का अनुपात 3.11 बताया गया है।

इन तुलनाओं को सावधानी से पढ़ना चाहिए। अंतिम आँकड़े एक द्वितीयक संकलन से आते हैं और सभी मॉडलों की सार्वभौमिक रैंकिंग तय नहीं करते। सबसे अहम बात यह है कि कम टोकन खर्च करने वाला टोकनाइज़र ज़रूरी नहीं कि सबसे अच्छे जवाब देने वाले मॉडल के साथ हो। जवाब की गुणवत्ता, तर्क क्षमता और टोकन खपत को अलग-अलग परखना चाहिए।

क्या इस भाषाई अतिरिक्त लागत को समाप्त किया जा सकता है?

अच्छी बात यह है कि अतिरिक्त लागत गणित का अपरिहार्य नियम नहीं है। इसका कुछ हिस्सा तकनीकी फैसलों से पैदा होता है।

थॉमस सर्वाल के अध्ययन में फ़्रेंच के लिए विशेष रूप से अनुकूलित टोकनाइज़र भी प्रस्तुत है, जो जाँची गई मानक प्रणालियों की तुलना में टोकन खपत 11.5% घटाता है। कुछ स्थितियों में यह प्रोटोटाइप कम अच्छा भी काम करता है। इसलिए यह कोई जादुई समाधान नहीं, बल्कि अलग डिज़ाइन की संभावना का ठोस प्रमाण है।

दूसरा तरीका प्रणालियों के विकास में इस्तेमाल संसाधनों में भाषाओं का प्रतिनिधित्व सुधारना है। Rest of World में उल्लेखित RESPIN परियोजना अड़तीस बोलियों के मूल वक्ताओं से लिखित और ध्वनि संबंधी डेटा एकत्र करती है।

उपयोगकर्ता अभी से कुछ उपाय अपना सकते हैं:

  • टोकनाइज़र की तुलना करें, खासकर जब API की लागत महत्त्वपूर्ण हो; केवल प्रति दस लाख टोकन की घोषित कीमत न देखें।
  • बातचीत के इतिहास का आकार देखें, विशेषकर लंबी बातचीत या बहुत से दस्तावेज़ सँभालने वाले सहायकों में।
  • अलग-अलग वाक्य-रचनाएँ जाँचें और OpenAI Tokenizer जैसे विज़ुअलाइज़ेशन टूल से देखें कि पाठ कैसे विभाजित होता है।
  • मॉडल को उसी भाषा में परखें जिसका वास्तव में उपयोग होगा, केवल अंग्रेज़ी बेंचमार्क पर भरोसा न करें।

हर अनुरोध को अंग्रेज़ी में अनुवाद करने से कभी-कभी टोकन बच सकते हैं, लेकिन यह सार्वभौमिक समाधान नहीं है। इससे एक अतिरिक्त चरण जुड़ता है, अर्थ की बारीकियाँ बदल सकती हैं और बेहतर अंतिम जवाब की गारंटी नहीं मिलती।

समस्या ChatGPT की कीमत से कहीं आगे जाती है

यह तकनीकी पक्षपात एक गहरा सवाल उठाता है: समान विचार व्यक्त करने के लिए एक भाषा को दूसरी से कम प्रसंस्करण क्षमता क्यों मिलनी चाहिए?

पारंपरिक सॉफ़्टवेयर में इंटरफ़ेस की भाषा बदलने से आम तौर पर उपयोगकर्ता की काम करने की क्षमता नहीं घटती। भाषा मॉडल में यह समानता सुनिश्चित नहीं है। भाषा एक आर्थिक और तकनीकी कारक बन जाती है, भले ही स्क्रीन पर यह दिखाई न दे।

ज़रूरी नहीं कि फ़्रेंच बोलने वाले सबसे अधिक नुकसान में हों। थॉमस सर्वाल के अध्ययन के आसपास प्रस्तुत टिप्पणियों में कुछ क्षेत्रीय और समुद्रपारीय भाषाओं की खपत अंग्रेज़ी की तुलना में 3.3 गुना तक पाई गई। इससे पता चलता है कि मुद्दा केवल बड़ी अंतरराष्ट्रीय भाषाओं तक सीमित नहीं है।

मेरे विचार में वास्तविक प्रगति केवल मॉडलों को अधिक बुद्धिमान बनाना नहीं होगी। यह सुनिश्चित करना भी होगा कि उनसे किस भाषा में बात की जाती है, उसके आधार पर उस बुद्धिमत्ता की कीमत संरचनात्मक रूप से अधिक न हो। खुद को सार्वभौमिक कहने वाली AI को गैर-अंग्रेज़ी वक्ताओं पर अदृश्य शुल्क नहीं लगाना चाहिए।

अक्सर पूछे जाने वाले सवाल

फ़्रेंच या अरबी का वही पाठ अंग्रेज़ी से अधिक टोकन क्यों लेता है?

टोकनाइज़र अपने निर्माण डेटा में अक्सर मिलने वाले क्रमों को अधिक कुशलता से पहचानते हैं, और इस डेटा में अक्सर अंग्रेज़ी प्रमुख होती है। फ़्रेंच तथा दूसरी लिपियों वाली भाषाओं में समान सामग्री के लिए अधिक टुकड़ों की ज़रूरत हो सकती है। अंतर टोकनाइज़र और भाषा पर निर्भर करता है।

फ़्रेंच में लिखने पर क्या ChatGPT अधिक महँगा होता है?

निश्चित शुल्क वाली सदस्यता फ़्रेंच उपयोगकर्ता के लिए अपने आप महँगी नहीं होती। लेकिन प्रति टोकन शुल्क वाली API का खर्च बढ़ सकता है: थॉमस सर्वाल के अध्ययन में तुलना किए गए टोकनाइज़र के आधार पर फ़्रेंच में 31 से 58% अधिक टोकन पाए गए। यह खपत कॉन्टेक्स्ट सीमा पर भी असर डाल सकती है।

क्या ChatGPT फ़्रेंच में कम अच्छी तरह सोचता है?

अधिक टोकन खपत अपने आप कमजोर तर्क क्षमता का प्रमाण नहीं है। लेकिन इससे इतिहास और दस्तावेज़ों के लिए उपलब्ध जगह घट सकती है, जो कुछ लंबे कामों को प्रभावित करती है। 2023 के EMNLP अध्ययन ने भाषाओं के बीच प्रदर्शन और लागत में अंतर भी दर्ज किया।

कौन-से मॉडल भाषाई अतिरिक्त लागत सबसे अधिक घटाते हैं?

फ़्रेंच पर केंद्रित थॉमस सर्वाल के अध्ययन में सात टोकनाइज़र में Mistral Tekken की अतिरिक्त लागत सबसे कम थी। अन्य बहुभाषी तुलनाओं में Gemini और Qwen का उल्लेख होता है। फिर भी परिणाम कॉर्पस और टोकनाइज़र पर निर्भर हैं; मॉडल चुनने से पहले जवाब की गुणवत्ता भी जाँचनी चाहिए।

स्रोत