Tool overview
LLM टोकन काउंटर क्या है?
LLM टोकन काउंटर एक टूल है जो आपको रंग-कोडेड सीमा मानचित्र के साथ टोकन गिनें में मदद करता है।
LLM टोकन काउंटर क्यों उपयोग करें?
जब आपको रंग-कोडेड सीमा मानचित्र के साथ टोकन गिनें की ज़रूरत हो तो यह पठनीयता और गति बढ़ाता है — पूरी तरह ब्राउज़र में, बिना सर्वर अपलोड के।
मुख्य विशेषताएँ
क्लाइंट-साइड गोपनीयता, तत्काल परिणाम और एक-क्लिक कॉपी। रंग-कोडेड सीमा मानचित्र के साथ टोकन गिनें
उपयोग कैसे करें
ऊपर दिए टूल से सटीक परिणाम पाने के लिए इन चरणों का पालन करें।
- मॉडल को भेजे जाने वाला सटीक टेक्स्ट पेस्ट करें: सिस्टम प्रॉम्प्ट, उपयोगकर्ता संदेश, टूल JSON, या संयोजित RAG कॉन्टेक्स्ट ब्लॉक।
- तीन एन्कोडिंग कार्ड तुलना करें — GPT-4o के लिए o200k_base, GPT-4 / Claude सन्निकटन के लिए cl100k_base, लीगेसी Codex के लिए p50k_base।
- टोकन बाउंड्री मैप खोलें और Token ID देखने के लिए होवर करें; लक्ष्य मॉडल बदलने पर मैप एन्कोडिंग बदलें।
- स्कीमा और टूल पेलोड के लिए Minify JSON, गद्देदार गद्य के लिए Strip Spaces क्लिक करें, फिर फिर से गिनें।
- अनुमानित मासिक वॉल्यूम दर्ज कर GPT-4o, GPT-4o mini और Claude 3.5 Sonnet इनपुट लागत प्रोजेक्ट करें।
- मल्टी-एन्कोडिंग मेट्रिक्स डिज़ाइन डॉक, टिकट या PR में कॉपी करें ताकि टीम एक बजट संख्या साझा करे।
- दोहराएँ: सबसे महँगा few-shot या स्कीमा खंड पहले हटाएँ, फिर गिनें, और चैट रैपर के लिए 10–20% मार्जिन रखें।
- एजेंट स्टैक के लिए AI एजेंट बिल्डर में tools + MCP + प्रॉम्प्ट जोड़ें और संयुक्त बजट फिर जाँचें।
LLM टोकन काउंटर — पूर्ण गाइड और उपयोग मामले
प्रामाणिक वॉकथ्रू: एन्कोडिंग, चरण-दर-चरण बजट, वास्तविक उपयोग मामले, ओवरफ़्लो सुधार, बाउंड्री मैप और मूल्य नोट्स — ऊपर के कॉकपिट पर लागू।
LLM टोकन काउंटर गाइड — यहाँ से शुरू करें
यह पृष्ठ DevUtilities के साथ ब्राउज़र में LLM टोकन गिनने की प्रामाणिक गाइड है। पढ़ते समय ऊपर इंटरैक्टिव Prompt Budget Cockpit उपयोग करें, या नीचे किसी विषय पर जाएँ। सब कुछ js-tiktoken के ज़रिए क्लाइंट-साइड चलता है — प्रॉम्प्ट आपकी मशीन नहीं छोड़ते।
Prompt Budget Cockpit क्या करता है
LLM Token Counter (Prompt Budget Cockpit) टेक्स्ट को उन्हीं BPE तालिकाओं से टोकनाइज़ करता है जो OpenAI tiktoken में भेजता है। यह तीन एन्कोडिंग की साथ-साथ तुलना करता है, टोकन सीमाएँ दिखाता है, GPT-4o, GPT-4o mini और Claude 3.5 Sonnet की इनपुट लागत अनुमानित करता है, और प्रोडक्शन API से पहले प्रॉम्प्ट सिकोड़ने में मदद करता है।
आपको क्या मिलता है
- o200k_base (GPT-4o), cl100k_base (GPT-4 / Claude सन्निकटन) और p50k_base (लेगेसी Codex) के समवर्ती काउंट
- होवर करने योग्य Token ID वाला रंग-कोडेड Token Boundary Map
- प्रॉम्प्ट वजन घटाने के लिए Minify JSON और Strip Spaces क्रियाएँ
- स्थिर प्रकाशित इनपुट दरों से प्रति-क्वेरी और मासिक लागत एक्सट्रपोलेशन
- डिज़ाइन डॉक और बजट समीक्षा के लिए कॉपी करने योग्य मल्टी-एन्कोडिंग मेट्रिक्स
इस टूल का उपयोग तब करें जब
- आपको जानना हो कि system prompt + tools + उपयोगकर्ता संदेश कॉन्टेक्स्ट विंडो में फिट होता है या नहीं
- मॉडल चुनने से पहले GPT-4o बनाम Claude-जैसी टोकन बजट की तुलना कर रहे हों
- OpenAI या Anthropic API बुलाए बिना स्थानीय, गोपनीयता-सुरक्षित गिनती चाहिए
- लागत बढ़ाने वाले RAG चंक, few-shot उदाहरण या JSON स्कीमा काट रहे हों
अपेक्षा न करें
- बाइट-समान Claude बिलिंग — Anthropic अलग प्रोडक्शन टोकनाइज़र उपयोग करता है; cl100k_base उपयोगी अंग्रेज़ी सन्निकटन है
- चैट रैपर ओवरहेड (रोल टैग, टूल एनवेलप) जो API कच्चे टेक्स्ट के चारों ओर जोड़ते हैं
- लाइव बाज़ार कीमतें — लागत पैनल स्थिर प्रकाशित दरें उपयोग करता है जो बदल सकती हैं
o200k vs cl100k vs p50k — सही एन्कोडिंग चुनें
Token ID एन्कोडिंग-विशिष्ट होते हैं। वही अंग्रेज़ी वाक्य o200k_base बनाम cl100k_base में अलग लंबाई और ID दे सकता है। हमेशा उस एन्कोडिंग से बजट बनाएँ जो आपका लक्ष्य मॉडल वास्तव में उपयोग करता है।
इस वर्कस्पेस में तुलना की गई एन्कोडिंग
| एन्कोडिंग | विशिष्ट मॉडल | यहाँ कब उपयोग करें |
|---|---|---|
| o200k_base | GPT-4o, GPT-4o mini | आधुनिक OpenAI चैट और GPT-4o परिवार के लागत कार्ड के लिए डिफ़ॉल्ट |
| cl100k_base | GPT-4, GPT-4 Turbo, GPT-3.5 Turbo; Claude approximation | लेगेसी OpenAI चैट बजट और मोटे Claude अंग्रेज़ी अनुमान |
| p50k_base | Legacy Codex / older completion models | ऐतिहासिक तुलना और पुराने completion पाइपलाइन |
किसी विशिष्ट मॉडल परिवार के मर्ज जाँचने पर तुलना कार्ड से स्वतंत्र Token Boundary Map एन्कोडिंग बदलें।
चरण-दर-चरण: गिनें, अनुकूलित करें, बजट कॉपी करें
पहली बार कॉकपिट खोलते समय इस वॉकथ्रू का पालन करें। उसके बाद अधिकांश सत्र पेस्ट → तुलना → अनुकूलन → कॉपी होते हैं।
- जिस पूर्ण प्रॉम्प्ट पेलोड की परवाह है उसे पेस्ट करें: सिस्टम संदेश, उपयोगकर्ता टर्न, टूल JSON, या संयोजित RAG कॉन्टेक्स्ट ब्लॉक।
- तीन तुलना कार्ड पढ़ें। सबसे ऊँची एन्कोडिंग नोट करें — यदि अभी मॉडल चुनना है तो यही रूढ़िवादी बजट है।
- Token Boundary Map खोलें और आश्चर्यजनक रूप से लंबे स्पैन (URL, इमोजी, इंडेंटेड JSON) पर होवर कर ठोस Token ID देखें।
- यदि इनपुट JSON-भारी है तो Minify JSON क्लिक करें। यदि दोहरे स्पेस या पैडेड न्यूलाइन वाली गद्य है तो Strip Spaces क्लिक करें।
- अनुमानित मासिक कॉल वॉल्यूम दर्ज कर GPT-4o, GPT-4o mini और Claude 3.5 Sonnet इनपुट खर्च प्रोजेक्ट करें।
- मेट्रिक्स सारांश डिज़ाइन डॉक, टिकट या PR विवरण में कॉपी करें ताकि टीम एक संख्या साझा करे।
「अच्छा」 कैसा दिखता है
- System + tools + औसत उपयोगकर्ता टर्न चुनी कॉन्टेक्स्ट विंडो में मॉडल उत्तर के लिए जगह छोड़ते हैं
- उत्पादन प्रॉम्प्ट में JSON स्कीमा minify होते हैं भले ही मनुष्य सुंदर प्रतियाँ संपादित करें
- लागत एक्सट्रपोलेशन बिल किए गए मॉडल से मेल खाती एन्कोडिंग उपयोग करते हैं
उपयोग मामला: सिस्टम प्रॉम्प्ट कॉन्टेक्स्ट ओवरफ़्लो रोकें
समस्या: नीतियाँ, टोन नियम और तीन few-shot उदाहरण जोड़ने के बाद सपोर्ट एजेंट प्रॉम्प्ट बातचीत के बीच में कट जाता है।
यह टूल कैसे हल करता है
- केवल वर्तमान system prompt पेस्ट करें और o200k_base (या cl100k_base) काउंट रिकॉर्ड करें।
- प्रत्येक few-shot उदाहरण एक-एक कर जोड़ें और डेल्टा नोट करें — सबसे कम मूल्यवान उदाहरण पहले हटाएँ।
- प्रतिनिधि उपयोगकर्ता संदेश और हर कॉल पर भेजा जाने वाला tools JSON पेस्ट करें; मॉडल की कॉन्टेक्स्ट विंडो के विरुद्ध जोड़ें।
- गद्य पर Strip Spaces और स्कीमा पर Minify JSON उपयोग करें, फिर बचत मापने के लिए फिर गिनें।
- अंतिम बजट एजेंट रनबुक में कॉपी करें ताकि भविष्य के प्रॉम्प्ट संपादन उसी छत के नीचे रहें।
परिणाम: आप ठीक जानते हैं किस अनुभाग ने बजट तोड़ा और प्रत्येक अनुकूलन ने कितने टोकन वापस किए — अगले प्रोडक्शन ट्रंकेशन से पहले।
उपयोग मामला: OpenAI टूल स्कीमा में टोकन बर्बादी काटें
समस्या: OpenAI function-calling स्कीमा पठनीयता के लिए इंडेंटेशन के साथ लिखे जाते हैं, फिर लाइव अनुरोधों में पेस्ट होते हैं। तार्किक स्कीमा नहीं बदला फिर भी टोकन खर्च बढ़ता है।
यह टूल कैसे हल करता है
- सुंदर tools ऐरे या parameters ऑब्जेक्ट इनपुट पैनल में पेस्ट करें।
- अपने API मॉडल की एन्कोडिंग पर टोकन काउंट नोट करें (आमतौर पर GPT-4o के लिए o200k_base)।
- Minify JSON क्लिक कर नया काउंट तुलना करें — अंतर शुद्ध व्हाइटस्पेस कर है।
- boundary map जाँचें: दोहराई कुंजियाँ और लंबी enum सूचियाँ अक्सर हावी होती हैं; फ़ील्ड काटने से पहले विवरण छोटा करें।
- API कॉल में minify स्कीमा भेजें; सुंदर प्रति केवल सोर्स कंट्रोल या Agent Builder संपादक में रखें।
परिणाम: टूल व्यवहार बदले बिना प्रत्येक टूल-सक्षम कॉल पर कम इनपुट लागत।
उपयोग मामला: मासिक LLM इनपुट खर्च का पूर्वानुमान
समस्या: वित्त मॉडल को हज़ारों बार कॉल करने वाली सुविधा लॉन्च से पहले मासिक LLM खर्च अनुमान माँगता है।
यह टूल कैसे हल करता है
- यथार्थवादी औसत पेलोड (system + tools + विशिष्ट उपयोगकर्ता टेक्स्ट) बनाकर यहाँ पेस्ट करें।
- अपने प्रोडक्शन मॉडल से मेल खाती एन्कोडिंग का तुलना कार्ड पुष्टि करें।
- Estimated monthly volume को अनुमानित कॉल संख्या पर सेट करें।
- एक ही पेलोड पर विक्रेता तुलना के लिए GPT-4o, GPT-4o mini और Claude 3.5 Sonnet मासिक कॉलम पढ़ें।
- दस्तावेज़ करें कि दरें स्थिर प्रकाशित इनपुट कीमतें हैं — विक्रेता मूल्य पृष्ठ बदलें तो अनुमान ताज़ा करें।
परिणाम: 「टोकन सस्ते हैं」 के अस्पष्ट अनुमान के बजाय पेलोड-विशिष्ट, बचाव योग्य पूर्वानुमान।
उपयोग मामला: कठोर टोकन बजट से RAG चंक आकार दें
समस्या: RAG पाइपलाइन प्रति क्वेरी पाँच चंक लाती है। कुछ मुख्यतः व्हाइटस्पेस या बॉयलरप्लेट हेडर हैं, और उपयोगी टेक्स्ट कटने से मॉडल उत्तर चूकता है।
यह टूल कैसे हल करता है
- प्रत्येक उम्मीदवार चंक अलग पेस्ट करें और अपने रिट्रीवल मॉडल की एन्कोडिंग में काउंट रिकॉर्ड करें।
- सघन चंक प्राथमिकता दें: Strip Spaces, दोहराए नेविगेशन हेडर हटाएँ, लगभग-डुप्लिकेट पैराग्राफ़ छोड़ें।
- भेजने वाले top-k सेट को जोड़ें और जाँचें कि कुल अभी भी प्रश्न और उत्तर के लिए जगह छोड़ता है।
- boundary map से टोकनाइज़र-महँगे अनुक्रम (लंबे URL, टेबल, इमोजी) खोजें जो मनुष्यों को छोटे लगते हैं।
- इस टूल से मापे गए योग से रिट्रीवर में प्रति क्वेरी कठोर टोकन बजट सेट करें।
परिणाम: रिट्रीवल प्रति टोकन अधिक सिग्नल पैक करता है और मौन कॉन्टेक्स्ट ट्रंकेशन से कम विफल होता है।
ठीक करें: context_length_exceeded और मौन ट्रंकेशन
लक्षण: API 400 context_length_exceeded, कटे completion, या सत्र के बीच शुरुआती निर्देश 「भूलने」 वाले एजेंट।
यह क्यों होता है
संयुक्त system prompt, tools, इतिहास और उपयोगकर्ता टर्न मॉडल की कॉन्टेक्स्ट विंडो से अधिक हैं। सुंदर JSON और लंबे few-shot बैंक आम मौन अपराधी हैं।
निदान करें
क्लाइंट द्वारा भेजा गया सटीक पेलोड पेस्ट करें (या पुनर्निर्माण करें)। टोकन योग को मॉडल की सूचीबद्ध कॉन्टेक्स्ट विंडो से तुलना करें। अलग गिनकर सबसे बड़े अनुभाग पहचानें।
सुधार
- टूल स्कीमा Minify JSON करें और गद्य से अतिरिक्त व्हाइटस्पेस हटाएँ।
- कम उपयोग की नीतियाँ हमेशा-चालू system prompt के बजाय ऑन-डिमांड रिट्रीवल में ले जाएँ।
- प्रत्येक कॉल से पहले चैट इतिहास सीमित करें (सारांश या सबसे पुराने टर्न हटाएँ)।
- माप के बाद ही बड़े-कॉन्टेक्स्ट मॉडल पर जाएँ — अनुमान न लगाएँ।
हर बदलाव के बाद फिर गिनें। 8k-टोकन tools ब्लॉब पर 10% व्हाइटस्पेस कट अक्सर छोटे नीति पैराग्राफ़ हटाने से अधिक जगह वापस लाता है।
ठीक करें: स्थानीय गिनती API उपयोग से मेल नहीं खाती
लक्षण: स्थानीय काउंट ठीक लगते हैं, पर OpenAI उपयोग डैशबोर्ड असहमत — या Claude बिल आपकी स्प्रेडशीट से अलग है।
यह क्यों होता है
आपने गलत एन्कोडिंग से बजट बनाया, या कच्चे टेक्स्ट की तुलना ऐसे API से की जो संदेशों को रोल और टूल एनवेलप से लपेटता है।
निदान करें
मॉडल का दस्तावेज़ीकृत टोकनाइज़र पुष्टि करें। GPT-4o परिवार के लिए o200k_base; GPT-4 / 3.5 के लिए cl100k_base। यहाँ Claude आँकड़े केवल सन्निकटन मानें।
सुधार
- तुलना फ़ोकस और boundary map मिलान एन्कोडिंग पर स्विच करें।
- केवल पठनीय प्रॉम्प्ट ड्राफ़्ट नहीं, SDK द्वारा वास्तव में भेजे गए सीरियलाइज़्ड संदेश गिनें।
- कठोर सीमाएँ योजना बनाते समय चैट फ़ॉर्मेटिंग के लिए छोटा ओवरहेड बफ़र (अक्सर दर्जनों से कुछ सौ टोकन) जोड़ें।
- Anthropic बिलिंग के लिए SLA लॉक करने से पहले महत्वपूर्ण प्रॉम्प्ट Anthropic के अपने काउंटर से सत्यापित करें।
ठीक करें: सुंदर JSON और खाली पंक्तियाँ टोकन बढ़ाती हैं
लक्षण: प्रॉम्प्ट के अर्थ बदले बिना Minify JSON या Strip Spaces के बाद टोकन काउंट नाटकीय रूप से गिरता है।
यह क्यों होता है
BPE एन्कोडिंग इंडेंटेशन न्यूलाइन, अलाइनमेंट स्पेस और दोहराई खाली पंक्तियों पर शुल्क लेती हैं। मनुष्य उन्हें नज़रअंदाज़ करते हैं; टोकनाइज़र नहीं।
निदान करें
सुंदर पेलोड पेस्ट करें, काउंट नोट करें, Minify JSON / Strip Spaces चलाएँ और तुलना करें। बड़े डेल्टा का अर्थ है व्हाइटस्पेस मुख्य लागत चालक था।
सुधार
- मानव-संपादनीय सुंदर JSON git में रखें; अनुरोध समय पर minify करें।
- system prompt में पैडेड ASCII आरेख या विशाल इंडेंटेड लॉग से बचें।
- लंबे नीति दस्तावेज़ों में बहु-खाली-पंक्ति अनुभाग विभाजक संकुचित करें।
boundary map व्हाइटस्पेस टोकन को अलग रंगीन स्पैन के रूप में दिखाता है — टीम को minify क्यों मायने रखता है सिखाने में उपयोगी।
टोकन बाउंड्री मैप कैसे पढ़ें
Token Boundary Map प्रत्येक BPE मर्ज को रंगीन स्पैन के रूप में रंगता है। रंग केवल दृश्य अलगाव के लिए चक्रित होते हैं — वे टोकन श्रेणियाँ एन्कोड नहीं करते।
कैसे पढ़ें
- चयनित मैप एन्कोडिंग के लिए संख्यात्मक Token ID देखने हेतु स्पैन पर होवर करें
- URL या base64 पर लंबे अटूट स्पैन अक्सर महँगे एक/कुछ-टोकन चंक दर्शाते हैं जिन्हें छोटा करना उचित है
- इमोजी और CJK टेक्स्ट समान दृश्य लंबाई की लैटिन गद्य से अधिक टोकन उपयोग कर सकते हैं
- GPT-4o बनाम GPT-4 उसी स्ट्रिंग को कैसे खंडित करेंगे तुलना करते समय मैप एन्कोडिंग बदलें
लागत एक्सट्रपोलेटर कैसे काम करता है
लागत कार्ड स्थानीय टोकन काउंट को स्थिर प्रकाशित इनपुट दरों से गुणा करते हैं: GPT-4o $5 / 1M, GPT-4o mini $0.15 / 1M, Claude 3.5 Sonnet $3 / 1M। मासिक वॉल्यूम प्रति-क्वेरी लागत स्केल करता है।
सावधानियाँ
- आउटपुट टोकन शामिल नहीं — पूर्ण TCO के लिए completion अनुमान अलग जोड़ें
- कैश्ड-इनपुट या बैच छूट मॉडल नहीं की गईं
- विक्रेता सूची कीमतें बदलती हैं; आँकड़ों को चालान नहीं, योजना सहायता मानें
टोकन बजट सर्वोत्तम अभ्यास
- प्रोडक्शन से मेल खाती एन्कोडिंग से बजट बनाएँ, फिर चैट रैपर और रिट्राई के लिए 10–20% सुरक्षा मार्जिन रखें
- केवल system prompt नहीं, पूर्ण अनुरोध आकार (system + tools + इतिहास + उपयोगकर्ता) गिनें
- मशीन-उपभोग JSON minify करें; मनुष्यों के लिए सुंदर प्रतियाँ रखें
- few-shot उदाहरण, MCP कॉन्फ़िग या लंबे नीति परिशिष्ट जोड़ते ही फिर गिनें
- लॉन्च से पहले लागत दिखाने के लिए डिज़ाइन समीक्षा में मासिक वॉल्यूम प्रक्षेपण उपयोग करें
- मालिकाना प्रॉम्प्ट के लिए स्थानीय गिनती प्राथमिकता दें — यह टूल आपका टेक्स्ट अपलोड नहीं करता
टोकनाइज़र और विशेष टोकन संदर्भ
बाउंड्री रंग tiktoken बाइट-पेयर एन्कोडिंग से मैप होते हैं। <|endoftext|> जैसे विशेष टोकन शाब्दिक टेक्स्ट के रूप में मौजूद होने पर गिने जाते हैं।
टोकनाइज़र और विशेष-टोकन संदर्भ
| फ़ील्ड प्रकार | नमूना पेलोड | संरचनात्मक नियम |
|---|---|---|
| cl100k_base | GPT-4, GPT-4 Turbo, Claude 3 | डिफ़ॉल्ट OpenAI चैट एन्कोडिंग; अंग्रेज़ी गद्य में ~4 अक्षर प्रति टोकन; शब्द सीमाओं पर व्हाइटस्पेस मर्ज। |
| o200k_base | GPT-4o, GPT-4o mini | omni मॉडल के लिए विस्तारित शब्दावली एन्कोडिंग; समान स्ट्रिंग के लिए Token ID cl100k_base से भिन्न। |
| <|endoftext|> | <|endoftext|> | GPT प्रशिक्षण कॉर्पोरा में दस्तावेज़ सीमा चिह्नित करने वाला आरक्षित नियंत्रण टोकन; शाब्दिक होने पर एक टोकन। |
| Unicode emoji | 🚀 | एन्कोडिंग के अनुसार अक्सर 1–3 टोकन; मल्टी-कोडपॉइंट ग्रेफेम कई BPE मर्ज में बँट सकते हैं। |
| JSON whitespace | {\n "key": "value"\n} | इंडेंटेशन न्यूलाइन और स्पेस टोकन खाते हैं — कॉन्टेक्स्ट उपयोग गिनने से पहले JSON पेलोड minify करें। |
अक्सर पूछे जाने वाले प्रश्न
सामान्य डिबगिंग समस्याओं और डेटा गोपनीयता से जुड़े विस्तृत उत्तर।
संबंधित टूल
इस टूल के पूरक अन्य संबंधित उपयोगिताएँ देखें।
आधिकारिक दस्तावेज़ और संदर्भ
इस उपयोगिता के लिए प्रामाणिक विनिर्देश और प्लेटफ़ॉर्म दस्तावेज़।