LLM Token Sayacı

Bu sayfa, DevUtilities ile tarayıcıda LLM token saymanın kanonik kılavuzudur. Okurken yukarıdaki etkileşimli Prompt Budget Cockpit'i kullanın veya aşağıdaki bir konuya atlayın. Her şey js-tiktoken ile istemci tarafında çalışır — istemler makinenizden çıkmaz.

LLM Token Counter (Prompt Budget Cockpit), OpenAI'nin tiktoken'da gönderdiği aynı BPE tablolarıyla metni tokenleştirir. Üç kodlamayı yan yana karşılaştırır, token sınırlarını görselleştirir, GPT-4o, GPT-4o mini ve Claude 3.5 Sonnet için girdi maliyetini tahmin eder ve üretim API'sine ulaşmadan önce istemleri küçültmenize yardımcı olur.

Ne elde edersiniz

• o200k_base (GPT-4o), cl100k_base (GPT-4 / Claude yaklaşımı) ve p50k_base (eski Codex) için eşzamanlı sayımlar
• Üzerine gelince Token ID gösteren renk kodlu Token Boundary Map
• İstem ağırlığını azaltmak için Minify JSON ve Strip Spaces eylemleri
• Statik yayınlanmış girdi oranlarından sorgu başına ve aylık maliyet extrapolasyonları
• Tasarım belgeleri ve bütçe incelemeleri için kopyalanabilir çoklu kodlama metrikleri

Bu aracı şu durumlarda kullanın

• System prompt + tools + kullanıcı mesajının bağlam penceresine sığıp sığmadığını bilmeniz gerektiğinde
• Model seçmeden önce GPT-4o ile Claude tarzı token bütçelerini karşılaştırırken
• OpenAI veya Anthropic API çağırmadan yerel, gizlilik güvenli sayım istediğinizde
• Maliyeti şişiren RAG parçalarını, few-shot örnekleri veya JSON şemalarını kırparken

Beklemeyin

• Bayt birebir Claude faturalandırması — Anthropic farklı bir üretim tokenizer kullanır; cl100k_base yararlı bir İngilizce yaklaşımdır
• API'lerin ham metnin etrafına eklediği sohbet sarmalayıcı ek yükü (rol etiketleri, araç zarfları)
• Canlı piyasa fiyatları — maliyet paneli sapabilecek statik yayınlanmış oranlar kullanır

Token ID'ler kodlamaya özgüdür. Aynı İngilizce cümle o200k_base ile cl100k_base altında farklı uzunluklar ve ID'ler üretebilir. Her zaman hedef modelinizin gerçekten kullandığı kodlamayla bütçe yapın.

Belirli bir model ailesinin birleşimlerini incelerken karşılaştırma kartlarından bağımsız olarak Token Boundary Map kodlamasını değiştirin.

Cockpit'i ilk açtığınızda bu yürüyüşü izleyin. Sonrasında çoğu oturum yapıştır → karşılaştır → optimize et → kopyala şeklindedir.

1. Önemsediğiniz tam istem yükünü yapıştırın: sistem mesajı, kullanıcı turu, araç JSON'u veya birleştirilmiş RAG bağlam bloğu.
2. Üç karşılaştırma kartını okuyun. En yüksek kodlamayı not edin — hâlâ model seçmeniz gerekiyorsa bu muhafazakâr bütçenizdir.
3. Token Boundary Map'i açın ve şaşırtıcı derecede uzun görünen span'lere (URL, emoji, girintili JSON) gelerek somut Token ID'leri görün.
4. Girdi JSON ağırlıklıysa Minify JSON'a tıklayın. Çift boşluklu veya dolgulu satır sonlu düzyazıysa Strip Spaces'e tıklayın.
5. Tahmini aylık çağrı hacmini girerek GPT-4o, GPT-4o mini ve Claude 3.5 Sonnet girdi harcamasını projekte edin.
6. Metrik özetini tasarım belgesine, bilete veya PR açıklamasına kopyalayın ki ekip tek bir sayıyı paylaşsın.

「İyi」 nasıl görünür

• System + tools + ortalama kullanıcı turu, seçilen bağlam penceresinde model yanıtı için pay bırakır
• İnsanlar güzel kopyaları düzenlese bile üretim istemlerinde JSON şemaları minify edilir
• Maliyet extrapolasyonları faturalanan modelle eşleşen kodlamayı kullanır

Sorun: politikalar, ton kuralları ve üç few-shot örneği ekledikten sonra destek ajanı istemi konuşmanın ortasında kesilir.

Bu araç nasıl çözer

1. Yalnızca mevcut system prompt'u yapıştırın ve o200k_base (veya cl100k_base) sayımını kaydedin.
2. Her few-shot örneğini tek tek ekleyip deltayı not edin — önce en az değerli örneği çıkarın.
3. Temsili bir kullanıcı mesajı ve her çağrıda gönderdiğiniz tools JSON'unu yapıştırın; modelin bağlam penceresine karşı toplayın.
4. Düzyazıda Strip Spaces, şemalarda Minify JSON kullanın, sonra tasarrufu ölçmek için yeniden sayın.
5. Son bütçeyi ajan runbook'una kopyalayın ki gelecekteki istem düzenlemeleri aynı tavanın altında kalsın.

Sonuç: hangi bölümün bütçeyi patlattığını ve her optimizasyonun kaç token kurtardığını tam bilirsiniz — bir sonraki üretim kesmesinden önce.

Sorun: OpenAI function-calling şemaları okunabilirlik için girintili yazılır, sonra canlı isteklere yapıştırılır. Mantıksal şema değişmese de token harcaması artar.

Bu araç nasıl çözer

1. Güzel biçimli tools dizisini veya parameters nesnesini giriş paneline yapıştırın.
2. API modelinizin kullandığı kodlamadaki token sayısını not edin (genellikle GPT-4o için o200k_base).
3. Minify JSON'a tıklayıp yeni sayımı karşılaştırın — fark saf boşluk vergisidir.
4. Boundary map'i inceleyin: tekrarlayan anahtarlar ve uzun enum listeleri sıkça baskındır; alanları kesmeden önce açıklamaları kısaltın.
5. API çağrılarında minify şemayı gönderin; güzel kopyayı yalnızca kaynak kontrolünde veya Agent Builder düzenleyicisinde tutun.

Sonuç: araç davranışını değiştirmeden her araçlı çağrıda daha düşük girdi maliyeti.

Sorun: finans, modeli binlerce kez çağıracak bir özelliği başlatmadan önce aylık LLM harcama tahmini ister.

Bu araç nasıl çözer

1. Gerçekçi bir ortalama yük (system + tools + tipik kullanıcı metni) oluşturup buraya yapıştırın.
2. Üretim modelinizle eşleşen kodlamanın karşılaştırma kartını doğrulayın.
3. Estimated monthly volume'u öngörülen çağrı sayısına ayarlayın.
4. Aynı yükte satıcıları karşılaştırmak için GPT-4o, GPT-4o mini ve Claude 3.5 Sonnet aylık sütunlarını okuyun.
5. Oranların statik yayınlanmış girdi fiyatları olduğunu belgeleyin — satıcılar fiyat sayfalarını değiştirince tahmini yenileyin.

Sonuç: 「tokenler ucuz」 belirsiz tahmin yerine yüke özgü, savunulabilir bir öngörü.

Sorun: Bir RAG boru hattı sorgu başına beş parça getirir. Bazıları çoğunlukla boşluk veya şablon başlıklardır ve yararlı metin kesildiği için model cevabı kaçırır.

Bu araç nasıl çözer

1. Her aday parçayı ayrı yapıştırıp retrieval modelinizin kodlamasında sayımları kaydedin.
2. Daha yoğun parçaları tercih edin: Strip Spaces, tekrarlayan gezinme başlıklarını kaldırın, neredeyse yinelenen paragrafları atın.
3. Göndermeyi planladığınız top-k kümesini birleştirip toplamın soru ve cevap için yer bıraktığını doğrulayın.
4. Boundary map ile insanlara kısa görünen tokenizer-pahalı dizileri (uzun URL'ler, tablolar, emoji) bulun.
5. Bu araçla ölçülen toplamları kullanarak retriever'da sorgu başına sert token bütçesi koyun.

Sonuç: retrieval token başına daha fazla sinyal paketler ve sessiz bağlam kesmesinden daha az başarısız olur.

Belirtiler: API 400 context_length_exceeded, kesilmiş completion'lar veya oturum ortasında erken talimatları 「unutan」 ajanlar.

Neden olur

Birleşik system prompt, tools, geçmiş ve kullanıcı turu modelin bağlam penceresini aşıyor. Pretty JSON ve uzun few-shot bankaları yaygın sessiz suçlulardır.

Teşhis

İstemcinizin gönderdiği tam yükü yapıştırın (veya yeniden oluşturun). Token toplamını modelin listelenen bağlam penceresiyle karşılaştırın. En büyük bölümleri ayrı sayarak belirleyin.

Düzeltmeler

1. Araç şemalarını Minify JSON yapın ve düzyazıdan fazla boşluğu çıkarın.
2. Nadir kullanılan politikaları her zaman açık system prompt yerine isteğe bağlı retrieval'a taşıyın.
3. Her çağrıdan önce sohbet geçmişini sınırlayın (özetleyin veya en eski turları atın).
4. Yalnızca ölçümden sonra daha büyük bağlamlı modele geçin — tahmin etmeyin.

Her değişiklikten sonra yeniden sayın. 8k tokenlik tools blob'unda %10 boşluk kesimi, kısa bir politika paragrafını silmekten sıkça daha fazla pay kurtarır.

Belirtiler: yerel sayımlar iyi görünür ama OpenAI kullanım panoları uyuşmaz — veya Claude faturası tablonuzdan farklıdır.

Neden olur

Yanlış kodlamayla bütçe yaptınız veya ham metni, mesajları rol ve araç zarflarıyla saran bir API ile karşılaştırdınız.

Teşhis

Modelin belgelenmiş tokenizer'ını doğrulayın. GPT-4o ailesi için o200k_base; GPT-4 / 3.5 için cl100k_base. Buradaki Claude rakamlarını yalnızca yaklaşım sayın.

Düzeltmeler

1. Karşılaştırma odağını ve boundary map'i eşleşen kodlamaya alın.
2. Yalnızca okunabilir istem taslağını değil, SDK'nizin gerçekten gönderdiği serileştirilmiş mesajları sayın.
3. Sert limitler planlarken sohbet biçimlendirmesi için küçük bir ek yük tamponu (sıkça onlarca–yüzlerce token) ekleyin.
4. Anthropic faturalandırması için SLA kilitlemeden önce kritik istemleri Anthropic'in kendi sayacıyla doğrulayın.

Belirtiler: istem anlamı değişmeden Minify JSON veya Strip Spaces sonrası token sayısı dramatik düşer.

Neden olur

BPE kodlamaları girinti satır sonları, hizalama boşlukları ve tekrarlayan boş satırlar için ücret alır. İnsanlar yok sayar; tokenizer'lar saymaz.

Teşhis

Güzel yükü yapıştırın, sayımı not edin, Minify JSON / Strip Spaces çalıştırıp karşılaştırın. Büyük deltalar boşluğun birincil maliyet sürücüsü olduğunu gösterir.

Düzeltmeler

1. İnsanların düzenlediği güzel JSON'u git'te saklayın; istek anında minify edin.
2. System prompt içinde dolgulu ASCII diyagramları veya dev girintili günlüklerden kaçının.
3. Uzun politika belgelerinde çoklu boş satır bölüm ayırıcılarını daraltın.

Boundary map boşluk tokenlerini ayrı renkli span'ler olarak görünür kılar — ekibe minify'ın neden önemli olduğunu öğretirken yararlıdır.

Token Boundary Map her BPE birleşimini renkli bir span olarak boyar. Renkler yalnızca görsel ayrım için döner — token kategorilerini kodlamaz.

Nasıl okunur

• Seçili harita kodlamasının sayısal Token ID'sini görmek için bir span'in üzerine gelin
• URL veya base64 üzerindeki uzun kesintisiz span'ler sıkça kısaltmaya değer pahalı tek/az token parçaları demektir
• Emoji ve CJK metin, aynı görsel uzunluktaki Latin düzyazıdan daha fazla token kullanabilir
• Aynı diziyi GPT-4o ile GPT-4'ün nasıl böleceğini karşılaştırırken harita kodlamasını değiştirin

Maliyet kartları yerel token sayılarını statik yayınlanmış girdi oranlarıyla çarpar: GPT-4o $5 / 1M, GPT-4o mini $0.15 / 1M, Claude 3.5 Sonnet $3 / 1M. Aylık hacim sorgu başına maliyeti ölçekler.

Uyarılar

• Çıktı tokenleri dahil değildir — tam TCO için completion tahminlerini ayrı ekleyin
• Önbellekli girdi veya toplu indirimler modellenmez
• Satıcı liste fiyatları değişir; rakamları fatura değil planlama yardımı sayın

• Üretimle eşleşen kodlamayla bütçe yapın, sonra sohbet sarmalayıcıları ve yeniden denemeler için %10–20 güvenlik payı bırakın
• Yalnızca system prompt değil, tam istek şeklini (system + tools + geçmiş + kullanıcı) sayın
• Makinenin tükettiği JSON'u minify edin; insanlar için güzel kopyaları tutun
• Few-shot örnekleri, MCP yapılandırmaları veya uzun politika ekleri eklediğinizde yeniden sayın
• Lansmandan önce maliyet görünsün diye tasarım incelemelerinde aylık hacim projeksiyonları kullanın
• Özel istemler için yerel sayımı tercih edin — bu araç metninizi asla yüklemez

Sınır renkleri tiktoken bayt-çift kodlamalarına eşlenir. <|endoftext|> gibi özel tokenler literal metin olarak varken sayılır.