LLM 令牌计数器

本页是使用 DevUtilities 在瀏覽器中統計 LLM Token 的权威指南。阅讀時可使用上方交互式 Prompt Budget Cockpit，或跳转到下方主題。全部通过 js-tiktoken 在客戶端运行 — 提示詞不會离開你嘅裝置。

LLM Token Counter（Prompt Budget Cockpit）使用与 OpenAI 在 tiktoken 中提供的相同 BPE 表对文字分詞。它并排比较三种編碼、可视化 Token 边界、估算 GPT-4o、GPT-4o mini 与 Claude 3.5 Sonnet 的輸入成本，并帮助您在提示詞进入生產 API 之前壓縮它们。

您将获得

• o200k_base（GPT-4o）、cl100k_base（GPT-4 / Claude 近似）与 p50k_base（旧版 Codex）的并發计数
• 带悬停 Token ID 的彩色 Token Boundary Map
• 用于减轻提示重量的 Minify JSON 与 Strip Spaces 操作
• 基于静态公開輸入费率的單次查询与月度成本外推
• 可複製的多編碼指標，用于設计文件与预算评审

在以下情况使用本工具

• 需要确认 system prompt + tools + 用户消息是否装得进上下文窗口
• 在選型前比较 GPT-4o 与 Claude 風格的 Token 预算
• 希望本地、私隱安全地计数，而不调用 OpenAI 或 Anthropic API
• 正在裁剪會抬高成本的 RAG 分块、few-shot 示例或 JSON Schema

请勿期望

• 与 Claude 计费逐字节一致 — Anthropic 使用不同的生產分詞器；cl100k_base 是有用的英文近似
• API 在原始文字外附加的聊天包装開销（角色標籤、工具信封）
• 实時市场价格 — 成本面板使用可能漂移的静态公開费率

Token ID 因編碼而异。同一英文句子在 o200k_base 与 cl100k_base 下可能產生不同長度与不同 ID。请始终按目標模型实际使用的編碼做预算。

需要检查特定模型系列的合并時，可独立于比较卡片切换 Token Boundary Map 的編碼。

首次開啟驾驶舱時请按此演练。之后多数工作階段是粘贴 → 比较 → 优化 → 複製。

1. 粘贴您關心的完整提示载荷：系统消息、用户轮次、工具 JSON，或拼接的 RAG 上下文块。
2. 阅讀三张比较卡片。记下最高的編碼 — 若仍需選型，这就是保守预算。
3. 開啟 Token Boundary Map，悬停看起來异常長的片段（URL、emoji、縮进 JSON）以查看具體 Token ID。
4. 若輸入偏 JSON，点擊 Minify JSON；若是带雙空格或填充换行的散文，点擊 Strip Spaces。
5. 輸入预估月调用量，以推算 GPT-4o、GPT-4o mini 与 Claude 3.5 Sonnet 的輸入支出。
6. 将指標摘要複製到設计文件、工單或 PR 描述，让团队共享同一个数字。

「良好」状态的样子

• System + tools + 平均用户轮次在所選上下文窗口内為模型回複留出余量
• 即使人工编辑美化副本，生產提示中的 JSON Schema 也已 minify
• 成本外推使用与计费模型匹配的編碼

問題：加入政策、語气规则与三个 few-shot 示例后，客服智能體提示在对话中途被截断。

本工具如何解决

1. 單独粘贴当前 system prompt，記錄 o200k_base（或 cl100k_base）计数。
2. 逐个追加 few-shot 示例并記錄增量 — 先刪价值最低的示例。
3. 粘贴代表性用户消息与每次调用發送的 tools JSON；对照模型上下文窗口求和。
4. 对散文用 Strip Spaces，对 Schema 用 Minify JSON，再重新计数以量化节省。
5. 将最终预算複製到智能體运行手册，使后续提示编辑保持同一上限。

結果：您确切知道哪一段撑破预算、每次优化回收了多少 Token — 在下一次生產截断之前。

問題：OpenAI function-calling Schema 為可讀性带縮进编寫，再粘贴进线上请求。逻辑 Schema 未变，Token 支出却上升。

本工具如何解决

1. 将美化后的 tools 陣列或 parameters 物件粘贴到輸入面板。
2. 在 API 模型所用編碼上記錄 Token 数（GPT-4o 通常為 o200k_base）。
3. 点擊 Minify JSON 并比较新计数 — 差额即纯空白税。
4. 检查 boundary map：重複鍵与長 enum 列表往往占主導；先縮短描述再刪字段。
5. 在 API 调用中發送 minify 后的 Schema；美化副本仅保留在版本控製或 Agent Builder 編輯器中。

結果：在不改变工具行為的前提下，降低每次启用工具调用的輸入成本。

問題：财務要求在上线将调用模型数千次的功能前，给出月度 LLM 支出估算。

本工具如何解决

1. 构建现实的平均载荷（system + tools + 典型用户文字）并粘贴到此处。
2. 确认与生產模型匹配的編碼比较卡片。
3. 将 Estimated monthly volume 設為预计调用次数。
4. 阅讀 GPT-4o、GPT-4o mini 与 Claude 3.5 Sonnet 月度列，在同一载荷上比较供应商。
5. 注明费率為静态公開輸入价 — 供应商改价页時刷新估算。

結果：得到可辩护、针对载荷的预测，而非「Token 很便宜」的模糊猜测。

問題：RAG 流水线每次查询检索五个分块。部分分块多為空白或样板页眉，有用文字被截断導致模型仍答錯。

本工具如何解决

1. 分别粘贴每个候選分块，在检索模型編碼下記錄 Token 数。
2. 优先更密的分块：Strip Spaces、去掉重複導航页眉、刪除近重複段落。
3. 拼接计划發送的 top-k 集合，确认总量仍為問題与答案留出空间。
4. 用 boundary map 找出对人眼顯得短但对分詞器昂贵的序列（長 URL、表格、emoji）。
5. 用本工具测得的总量，在检索器中設定每查询硬 Token 预算。

結果：检索每 Token 装入更多信號，因静默上下文截断而失败更少。

症状：API 400 context_length_exceeded、截断的 completion，或工作階段中途「忘记」早期指令的智能體。

為何會發生

合并的 system prompt、tools、历史与用户轮次超过模型上下文窗口。美化 JSON 与長 few-shot 庫是常见的静默元凶。

诊断

粘贴客戶端实际發送的载荷（或重建它）。将 Token 总量与模型所列上下文窗口比较。通过單独计数找出最大段落。

修複

1. 对工具 Schema 做 Minify JSON，并去掉散文中多余空白。
2. 将少用政策移到按需检索，而非始终在线的 system prompt。
3. 每次调用前限製聊天历史（摘要或丢弃最旧轮次）。
4. 仅在测量后再换更大上下文模型 — 不要猜测。

每次更改后重新计数。对 8k Token 的 tools 块削减 10% 空白，往往比刪除一小段政策更能腾出余量。

症状：本地计数看起來正常，但 OpenAI 用量仪表盤不一致 — 或 Claude 账單与電子表格不符。

為何會發生

用了錯誤編碼做预算，或把原始文字与用角色/工具信封包装消息的 API 做了比较。

诊断

确认模型文件中的分詞器。GPT-4o 系列用 o200k_base；GPT-4 / 3.5 用 cl100k_base。此处 Claude 数字仅作近似。

修複

1. 将比较焦点与 boundary map 切换到匹配編碼。
2. 統計 SDK 实际發送的序列化消息，而非仅可讀提示草稿。
3. 规划硬限製時為聊天格式加入小额開销缓冲（常為数十到数百 Token）。
4. Anthropic 计费：在锁定 SLA 前，用 Anthropic 自有计数器驗證關鍵提示。

症状：提示語义未变，但 Minify JSON 或 Strip Spaces 后 Token 数大幅下降。

為何會發生

BPE 編碼对縮进换行、对齐空格与重複空行计费。人眼忽略它们；分詞器不會。

诊断

粘贴美化载荷，记下计数，运行 Minify JSON / Strip Spaces 并比较。大差额意味着空白是主要成本驱动。

修複

1. 在 git 中保存人工可编辑的美化 JSON；在请求時 minify。
2. 避免在 system prompt 中塞入填充 ASCII 图或巨大縮进日志。
3. 折叠長政策文件中的多空行分节符。

boundary map 将空白 Token 顯示為独立彩色片段 — 适合向团队说明為何 minify 重要。

Token Boundary Map 将每个 BPE 合并绘成彩色片段。颜色仅循环用于视觉分隔 — 不編碼 Token 类别。

如何阅讀

• 悬停片段可顯示所選地图編碼的数字 Token ID
• URL 或 base64 上的長连续片段通常意味着值得縮短的昂贵單 Token 或少 Token 块
• Emoji 与 CJK 文字可能比相同视觉長度的拉丁散文使用更多 Token
• 比较 GPT-4o 与 GPT-4 如何切分同一字串時更改地图編碼

成本卡片将本地 Token 计数乘以静态公開輸入费率：GPT-4o $5 / 1M、GPT-4o mini $0.15 / 1M、Claude 3.5 Sonnet $3 / 1M。月调用量會縮放單次查询成本。

注意事项

• 不含輸出 Token — 完整 TCO 需另行加入 completion 估算
• 未建模缓存輸入或批量折扣
• 供应商標价會变；将数字视為规划辅助而非發票

• 按与生產匹配的編碼做预算，并為聊天包装与重试保留 10–20% 安全余量
• 統計完整请求形态（system + tools + 历史 + 用户），而非仅 system prompt
• 机器消费的 JSON 要 minify；為人保留美化副本
• 每当添加 few-shot 示例、MCP 設定或長政策附录時重新计数
• 在設计评审中使用月调用量投影，使成本在上线前可见
• 专有提示优先本地计数 — 本工具从不上传你嘅文字

边界颜色映射到 tiktoken 字节对編碼。像 <|endoftext|> 这样的特殊 Token 在作為字面文字出现時會计入。