指南
TOON 对比 JSON:将大模型提示词 Token 成本直降 30–60%
了解 TOON(面向 Token 的对象表示法)如何消除均匀 JSON 数组中的重复键名,大幅降低 GPT-5、Claude 4 与 Gemini 2.5 调用成本。
快速解答: TOON(面向 Token 的对象表示法)通过在数组头部仅声明一次键名(`users[N]{id,name}:`)并对嵌套结构采用 YAML 缩进,将统一 JSON 对象数组的 LLM 输入 Token 消耗降低 30%–60%,同时可在浏览器内存中无损还原为强类型 JSON。
为什么标准 JSON 会浪费掉一半上下文窗口
JSON 最初是为 JavaScript 解析而设计,而非针对大模型字节对分词(BPE)。每次你将 50 行数据库查询结果或 API 响应直接塞进提示词时,JSON 都会把带引号的键名、冒号、花括号和逗号完整重复 50 遍。
在 o200k_base 与 Claude 分词器中,结构标点与重复键名常常吃掉 40% 至 60% 的总输入 Token——模型甚至还没开始读入真正的业务数据。
- 结构一致的数组会因重复属性键产生大量无效 Token 负载。
- 双引号与花括号会被切分成额外的分隔 Token。
- 冗长的 JSON 数组极易把 RAG 提示词推向模型上下文上限。
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}TOON 如何结合 YAML 缩进与 CSV 表头仅声明一次键名
TOON(Token-Oriented Object Notation)对嵌套对象采用干净的 YAML 式缩进,并将均匀对象数组折叠成单次声明的表头(`users[N]{id,name,role,active}:`),随后以逗号、制表符或竖线分隔每一行记录。
不同于简陋的裸 CSV,TOON 完整保留嵌套层级、显式元素计数(`[N]`)与严谨的模式约束,因此模型既能准确读取字段,又能将 Token 消耗削减约一半。
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,true选择合适的分隔符并在本地实测节省效果
逗号分隔最符合人类阅读习惯;若字段文本本身包含较多空格或标点,将 TOON 分隔符切换为制表符(`\t`)或竖线(`|`)通常还能再多省 3%–8% 的 Token。
在正式改动线上提示词管道之前,建议先用 TxtTo 的实时 Token 对比条在本地实测 GPT-5 (o200k)、Claude 4 与 Gemini 2.5 的压缩收益——完全不必把敏感客户 JSON 贴给第三方分词网站。
从 TOON 无损往返还原为 JSON
当 AI 工作流或知识库保存了 TOON 载荷时,通过 `@toon-format/toon` 可将其确定性地解码回强类型 JSON 数组、数值、布尔值与嵌套对象。
注意:若数组每条记录的字段键名完全不同、结构高度异构,TOON 省 Token 效果有限,此时仍建议采用紧凑单行 JSON 或 JSONL。
参考资料
常见问题
使用 TOON 会降低大模型理解数据的准确率吗?
不会。显式的长度标记(如 [4])加上表头字段声明为大模型提供了清晰的行边界,同时剔除了多余的标点噪声。
哪种数据结构下 TOON 节省的 Token 最多?
包含 3 条以上记录、每条有 4 个以上相同字段的均匀对象数组,相比格式化 JSON 通常可节省 35%–60% Token。
TOON 转换回 JSON 是完全无损的吗?
是的。字符串、数字、布尔值、null 与嵌套对象都能干净无误地往返还原为合法 JSON。
相关格式
相关方案对比
相关指南
- 本地从 CSV 与 JSON 构建合法的 JSONL 大模型微调数据集在浏览器本地从表格与 JSON 数组一键生成符合 OpenAI Chat、Alpaca 与 Gemini 要求的 .jsonl 微调数据集并逐行校验。
- 在本地将 PDF、Word 与 Excel 整理为 RAG 与大模型适用的纯净 Markdown100% 在本地将机密 PDF、Word DOCX 与 Excel 工作表转为结构清晰的 Markdown,精准保留标题层级与表格,提升 RAG 切分质量。
- 将 EPUB 电子书转为适用于 Obsidian 与 AI 研读的 Markdown 笔记在本地把无 DRM 的 EPUB 电子书解包为关联清晰的 Obsidian Markdown 笔记或分章 ZIP,完整保留标题层级、链接与排版。