LLM-Token-Zähler

Diese Seite ist der kanonische Leitfaden zum Zählen von LLM-Tokens im Browser mit DevUtilities. Nutzen Sie das interaktive Prompt Budget Cockpit oben beim Lesen oder springen Sie zu einem Thema unten. Alles läuft clientseitig über js-tiktoken — Prompts verlassen nie Ihren Rechner.

Der LLM Token Counter (Prompt Budget Cockpit) tokenisiert Text mit denselben BPE-Tabellen, die OpenAI in tiktoken liefert. Er vergleicht drei Kodierungen nebeneinander, visualisiert Token-Grenzen, schätzt Input-Kosten für GPT-4o, GPT-4o mini und Claude 3.5 Sonnet und hilft, Prompts zu verkleinern, bevor sie eine Produktions-API treffen.

Was Sie erhalten

• Parallele Zählungen für o200k_base (GPT-4o), cl100k_base (GPT-4-/Claude-Näherung) und p50k_base (Legacy-Codex)
• Farbkodierte Token Boundary Map mit hoverbaren Token IDs
• Aktionen Minify JSON und Strip Spaces zur Reduktion des Prompt-Gewichts
• Kostenextrapolationen pro Anfrage und monatlich aus statischen veröffentlichten Input-Tarifen
• Kopierbare Multi-Kodierungs-Metriken für Design-Docs und Budget-Reviews

Nutzen Sie dieses Tool, wenn

• Sie wissen müssen, ob System-Prompt + Tools + Nutzernachricht in ein Kontextfenster passen
• Sie GPT-4o- vs. Claude-ähnliche Token-Budgets vergleichen, bevor Sie ein Modell wählen
• Sie eine lokale, datenschutzsichere Zählung ohne OpenAI- oder Anthropic-APIs wollen
• Sie RAG-Chunks, Few-Shot-Beispiele oder JSON-Schemas kürzen, die Kosten aufblähen

Erwarten Sie nicht

• Byte-identische Claude-Abrechnung — Anthropic nutzt einen anderen Produktions-Tokenizer; cl100k_base ist eine nützliche englische Näherung
• Chat-Wrapper-Overhead (Rollen-Tags, Tool-Envelopes), den APIs um Rohtext legen
• Live-Marktpreise — das Kostenpanel nutzt statische veröffentlichte Tarife, die abweichen können

Token IDs sind kodierungsspezifisch. Derselbe englische Satz kann unter o200k_base vs cl100k_base unterschiedliche Längen und IDs erzeugen. Budgetieren Sie immer mit der Kodierung, die Ihr Zielmodell tatsächlich nutzt.

Wechseln Sie die Kodierung der Token Boundary Map unabhängig von den Vergleichskarten, wenn Sie Merges für eine bestimmte Modellfamilie prüfen müssen.

Folgen Sie diesem Walkthrough beim ersten Öffnen des Cockpits. Danach sind die meisten Sitzungen Einfügen → Vergleichen → Optimieren → Kopieren.

1. Fügen Sie den vollständigen Prompt-Payload ein, der Sie interessiert: Systemnachricht, User-Turn, Tool-JSON oder einen verketteten RAG-Kontextblock.
2. Lesen Sie die drei Vergleichskarten. Notieren Sie, welche Kodierung am höchsten ist — das ist Ihr konservatives Budget, falls Sie noch ein Modell wählen müssen.
3. Öffnen Sie die Token Boundary Map und hovern Sie über Spans, die überraschend lang wirken (URLs, Emoji, eingerücktes JSON), um konkrete Token IDs zu sehen.
4. Bei JSON-lastigem Input klicken Sie Minify JSON. Bei Prosa mit Doppelspaces oder gepolsterten Newlines klicken Sie Strip Spaces.
5. Geben Sie Ihr geschätztes monatliches Call-Volumen ein, um GPT-4o-, GPT-4o-mini- und Claude-3.5-Sonnet-Input-Ausgaben zu projizieren.
6. Kopieren Sie die Metrik-Zusammenfassung in ein Design-Doc, Ticket oder eine PR-Beschreibung, damit das Team eine Zahl teilt.

So sieht „gut“ aus

• System + Tools + durchschnittlicher User-Turn lassen Spielraum für die Modellantwort im gewählten Kontextfenster
• JSON-Schemas werden in Produktions-Prompts minifiziert, auch wenn Menschen pretty-printed Kopien editieren
• Kostenextrapolationen nutzen die Kodierung, die zum abgerechneten Modell passt

Problem: Ein Support-Agent-Prompt wird mitten im Gespräch abgeschnitten, nachdem Sie Richtlinien, Tonregeln und drei Few-Shot-Beispiele hinzugefügt haben.

So löst dieses Tool es

1. Fügen Sie den aktuellen System-Prompt allein ein und notieren Sie die o200k_base- (oder cl100k_base-) Zählung.
2. Hängen Sie jedes Few-Shot-Beispiel einzeln an und notieren Sie das Delta — streichen Sie zuerst das am wenigsten wertvolle Beispiel.
3. Fügen Sie eine repräsentative Nutzernachricht und das Tools-JSON ein, das Sie bei jedem Call senden; summieren Sie die Teile gegen das Kontextfenster Ihres Modells.
4. Nutzen Sie Strip Spaces auf Prosa und Minify JSON auf Schemas, zählen Sie dann neu, um Einsparungen zu quantifizieren.
5. Kopieren Sie das finale Budget in Ihr Agent-Runbook, damit künftige Prompt-Edits unter derselben Decke bleiben.

Ergebnis: Sie wissen genau, welcher Abschnitt das Budget gesprengt hat und wie viele Tokens jede Optimierung zurückgeholt hat — vor einer weiteren Produktions-Truncation.

Problem: OpenAI-Function-Calling-Schemas werden mit Einrückung für Lesbarkeit geschrieben und dann in Live-Requests eingefügt. Der Token-Verbrauch steigt, obwohl das logische Schema unverändert ist.

So löst dieses Tool es

1. Fügen Sie das pretty-printed Tools-Array oder Parameters-Objekt in das Eingabefeld ein.
2. Notieren Sie die Token-Zählung der Kodierung Ihres API-Modells (meist o200k_base für GPT-4o).
3. Klicken Sie Minify JSON und vergleichen Sie die neue Zählung — die Differenz ist reine Whitespace-Steuer.
4. Prüfen Sie die Boundary Map: wiederholte Keys und lange Enum-Listen dominieren oft; kürzen Sie Beschreibungen, bevor Sie Felder streichen.
5. Liefern Sie das minifizierte Schema in API-Calls; behalten Sie die pretty-Kopie nur in Git oder im Agent-Builder-Editor.

Ergebnis: niedrigere Input-Kosten bei jedem Tool-Call ohne Änderung des Tool-Verhaltens.

Problem: Finance verlangt eine monatliche LLM-Ausgabenschätzung, bevor Sie ein Feature launchen, das das Modell tausende Male aufruft.

So löst dieses Tool es

1. Bauen Sie einen realistischen Durchschnitts-Payload (System + Tools + typischer User-Text) und fügen Sie ihn hier ein.
2. Bestätigen Sie die Vergleichskarte für die Kodierung, die zu Ihrem Produktionsmodell passt.
3. Setzen Sie Estimated monthly volume auf Ihre projizierte Call-Anzahl.
4. Lesen Sie die monatlichen Spalten GPT-4o, GPT-4o mini und Claude 3.5 Sonnet, um Anbieter am gleichen Payload zu vergleichen.
5. Dokumentieren Sie, dass Tarife statische veröffentlichte Input-Preise sind — aktualisieren Sie die Schätzung, wenn Anbieter Preis-Seiten ändern.

Ergebnis: eine belastbare, payload-spezifische Prognose statt einer vagen Vermutung „Tokens sind billig“.

Problem: Eine RAG-Pipeline holt fünf Chunks pro Query. Manche Chunks sind hauptsächlich Whitespace oder Boilerplate-Header, und das Modell verfehlt die Antwort trotzdem, weil nützlicher Text trunciert wurde.

So löst dieses Tool es

1. Fügen Sie jeden Kandidaten-Chunk separat ein und notieren Sie Token-Zählungen unter der Kodierung Ihres Retrieval-Modells.
2. Bevorzugen Sie dichtere Chunks: Strip Spaces, entfernen Sie wiederholte Navigations-Header und streichen Sie nahezu doppelte Absätze.
3. Verketten Sie das Top-k-Set, das Sie senden wollen, und prüfen Sie, dass die Summe noch Platz für Frage und Antwort lässt.
4. Nutzen Sie die Boundary Map, um tokenizer-teure Sequenzen (lange URLs, Tabellen, Emoji) zu finden, die Menschen kurz erscheinen.
5. Setzen Sie ein hartes Token-Budget pro Query in Ihrem Retriever anhand der mit diesem Tool gemessenen Totals.

Ergebnis: Retrieval packt mehr Signal pro Token und scheitert seltener an stiller Kontext-Truncation.

Symptome: API 400 context_length_exceeded, truncierte Completions oder Agenten, die frühe Anweisungen mitten in der Session „vergessen“.

Warum es passiert

Der kombinierte System-Prompt, Tools, History und User-Turn überschreiten das Kontextfenster des Modells. Pretty-printed JSON und lange Few-Shot-Bänke sind häufige stille Übeltäter.

Diagnose

Fügen Sie den exakten Payload ein, den Ihr Client sendet (oder rekonstruieren Sie ihn). Vergleichen Sie die Token-Summe mit dem für Ihr Modell gelisteten Kontextfenster. Identifizieren Sie die größten Abschnitte, indem Sie sie isoliert zählen.

Fixes

1. Minify JSON Tool-Schemas und streichen Sie überschüssigen Whitespace aus Prosa.
2. Verschieben Sie selten genutzte Richtlinien in On-Demand-Retrieval statt in den immer aktiven System-Prompt.
3. Deckel Chat-History (zusammenfassen oder älteste Turns droppen) vor jedem Call.
4. Wechseln Sie erst nach Messung zu einem Modell mit größerem Kontext — nicht raten.

Zählen Sie nach jeder Änderung neu. Ein 10%-Whitespace-Schnitt an einem 8k-Token-Tools-Blob holt oft mehr Spielraum zurück als das Löschen eines kurzen Policy-Absatzes.

Symptome: lokale Zählungen wirken in Ordnung, aber OpenAI-Usage-Dashboards widersprechen — oder Claude rechnet anders ab als Ihre Tabelle.

Warum es passiert

Sie haben mit der falschen Kodierung budgetiert oder Rohtext mit einer API verglichen, die Nachrichten mit Rollen- und Tool-Envelopes umschließt.

Diagnose

Bestätigen Sie den dokumentierten Tokenizer des Modells. Für die GPT-4o-Familie o200k_base; für GPT-4 / 3.5 cl100k_base. Behandeln Sie Claude-Zahlen hier nur als Näherungen.

Fixes

1. Stellen Sie Vergleichsfokus und Boundary Map auf die passende Kodierung um.
2. Zählen Sie die serialisierten Nachrichten, die Ihr SDK tatsächlich sendet, nicht nur den lesbaren Prompt-Entwurf.
3. Addieren Sie einen kleinen Overhead-Puffer (oft einige Dutzend bis einige Hundert Tokens) für Chat-Formatierung bei harten Limits.
4. Für Anthropic-Abrechnung kritische Prompts gegen Anthropics eigenen Counter validieren, bevor Sie SLAs festziehen.

Symptome: die Token-Zählung fällt nach Minify JSON oder Strip Spaces dramatisch, ohne semantische Prompt-Änderung.

Warum es passiert

BPE-Kodierungen berechnen Indentations-Newlines, Alignment-Spaces und wiederholte Leerzeilen. Menschen ignorieren sie; Tokenizer nicht.

Diagnose

Fügen Sie den pretty Payload ein, notieren Sie die Zählung, führen Sie Minify JSON / Strip Spaces aus und vergleichen Sie. Große Deltas bedeuten, dass Whitespace ein Haupttreiber der Kosten war.

Fixes

1. Speichern Sie menscheneditierbares pretty JSON in Git; minifizieren Sie zur Request-Zeit.
2. Vermeiden Sie gepolsterte ASCII-Diagramme oder riesige eingerückte Logs in System-Prompts.
3. Kollabieren Sie Mehrfach-Leerzeilen-Abschnittsseparatoren in langen Policy-Docs.

Die Boundary Map macht Whitespace-Tokens als separate farbige Spans sichtbar — nützlich, um dem Team zu zeigen, warum Minify zählt.

Die Token Boundary Map malt jeden BPE-Merge als farbigen Span. Farben zyklieren nur zur visuellen Trennung — sie kodieren keine Token-Kategorien.

So lesen Sie sie

• Hovern Sie einen Span, um seine numerische Token ID für die gewählte Map-Kodierung zu sehen
• Lange ununterbrochene Spans auf URLs oder Base64 bedeuten oft teure Ein- oder Wenig-Token-Chunks, die sich lohnen zu kürzen
• Emoji und CJK-Text können mehr Tokens nutzen als lateinische Prosa gleicher visueller Länge
• Ändern Sie die Map-Kodierung, wenn Sie vergleichen, wie GPT-4o vs GPT-4 dieselbe Zeichenkette segmentieren würden

Kostenkarten multiplizieren lokale Token-Zählungen mit statischen veröffentlichten Input-Tarifen: GPT-4o $5 / 1M, GPT-4o mini $0.15 / 1M, Claude 3.5 Sonnet $3 / 1M. Monatliches Volumen skaliert die Kosten pro Query.

Einschränkungen

• Output-Tokens sind nicht enthalten — addieren Sie Completion-Schätzungen separat für volles TCO
• Cached-Input- oder Batch-Rabatte sind nicht modelliert
• Vendor-Listenpreise ändern sich; behandeln Sie Zahlen als Planungshilfen, nicht als Rechnungen

• Budgetieren Sie mit der Kodierung, die zur Produktion passt, und halten Sie 10–20 % Sicherheitsmarge für Chat-Wrapper und Retries
• Zählen Sie die volle Request-Form (System + Tools + History + User), nicht nur den System-Prompt
• Minifizieren Sie maschinenverbrauchtes JSON; behalten Sie pretty-Kopien für Menschen
• Zählen Sie neu, sobald Sie Few-Shot-Beispiele, MCP-Configs oder lange Policy-Anhänge hinzufügen
• Nutzen Sie monatliche Volumenprojektionen in Design-Reviews, damit Kosten vor dem Launch sichtbar sind
• Bevorzugen Sie lokales Zählen für proprietäre Prompts — dieses Tool lädt Ihren Text nie hoch

Boundary-Farben mappen auf tiktoken-Byte-Pair-Kodierungen. Spezialtokens wie <|endoftext|> werden gezählt, wenn sie als Literaltext vorliegen.