指南
TOON 比較 JSON:將大模型提示詞 Token 成本大省 30–60%
探索 TOON(面向 Token 的物件表示法)如何消除均勻 JSON 陣列中的重複鍵名,顯著降低 GPT-5、Claude 4 與 Gemini 2.5 提示詞成本。
快速解答: TOON(面向 Token 的物件表示法)透過在陣列標頭僅宣告一次鍵名(`users[N]{id,name}:`)並對巢狀結構採用 YAML 縮排,將統一 JSON 物件陣列的 LLM 輸入 Token 消耗降低 30%–60%,同時可在瀏覽器記憶體中無損還原為強型別 JSON。
為什麼標準 JSON 會浪費掉一半的上下文視窗
JSON 最初是為 JavaScript 解析而設計,而非針對大模型位元組對分詞(BPE)。每當你在提示詞中嵌入 50 筆資料庫查詢結果或 API 回應時,JSON 就會把帶引號的鍵名、冒號、大括號與逗號完整重複輸出 50 次。
在 o200k_base 與 Claude 分詞器中,結構標點符號與重複識別名稱往往消耗掉 40% 至 60% 的總輸入 Token——而模型甚至還沒開始讀到真正的業務數值。
- 結構一致的陣列會因重複屬性鍵名增加大量無效 Token 負載。
- 雙引號與大括號會被切分為額外的分隔 Token。
- 冗長的 JSON 陣列容易讓 RAG 提示詞逼近上下文視窗上限。
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}TOON 如何結合 YAML 縮排與 CSV 表頭只宣告一次鍵名
TOON(Token-Oriented Object Notation)對巢狀物件採用簡潔的 YAML 式縮排,並將均勻陣列轉換為單次宣告的標頭(`users[N]{id,name,role,active}:`),後方接續以逗號、Tab 或直線分隔的資料列。
與陽春 CSV 不同,TOON 完整保留巢狀階層、明確元素計數(`[N]`)與嚴格的結構還原度,使模型在精準讀取欄位的同時把 Token 用量縮減約一半。
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,true選擇最適合的分隔符號並在本地實測節省比例
逗號分隔最適合人類檢視;當字串常包含空格或逗號時,將 TOON 分隔符號改為定位字元(`\t`)或直線符號(`|`)通常還能多省下 3%–8% 的 Token。
正式修改提示詞管線前,可先透過 TxtTo 的即時長條比較 GPT-5 (o200k)、Claude 4 與 Gemini 2.5 的真實用量——完全無須把機密客戶 JSON 貼進外部線上工具。
從 TOON 無損往返解碼回 JSON
當 AI 工作流程或文件庫儲存了 TOON 酬載時,透過 `@toon-format/toon` 即可確定性地將其解碼還原為具型別的 JSON 陣列、數字、布林值與巢狀物件。
請注意:若陣列中每筆物件的鍵名完全不同且結構高度異質,TOON 節省空間有限,此時仍建議維持精簡 JSON 或 JSONL。
參考資料
常見問題
相比 JSON,TOON 會降低大模型的準確率嗎?
不會。明確的長度標記(例如 [4])與標頭欄位宣告能為 LLM 提供清晰的列邊界,同時移除重複語法雜訊。
什麼資料最能發揮 TOON 省 Token 的優勢?
包含 3 筆以上物件、每筆擁有 4 個以上相同欄位的均勻陣列,相較格式化 JSON 通常可省下 35%–60% Token。
TOON 轉回 JSON 是完全無損的嗎?
是的。字串、數字、布林值、null 與巢狀物件都能乾淨無損地還原成合法 JSON。
相關格式
相關方案比較
相關指南
- 從 CSV 與 JSON 在本機建置合法的 JSONL 微調訓練資料集在瀏覽器本機將試算表與 JSON 陣列轉為符合 OpenAI Chat、Alpaca 與 Gemini 規範的 .jsonl 微調訓練檔並逐行驗證。
- 將 PDF、Word 與 Excel 整理為適用於 RAG 與 LLM 的乾淨 Markdown100% 於本機將機密 PDF、Word DOCX 文件與 Excel 工作表轉成結構化 Markdown,提升向量切分與大模型上下文精準度。
- 將 EPUB 電子書轉為適用於 Obsidian 與 AI 學習的 Markdown 筆記在本機將無 DRM 的 EPUB 電子書解包為連結完整的 Obsidian Markdown 筆記或分章 ZIP,保留標題、連結與流暢內文。