指南

TOON 比較 JSON:將大模型提示詞 Token 成本大省 30–60%

探索 TOON(面向 Token 的物件表示法)如何消除均勻 JSON 陣列中的重複鍵名,顯著降低 GPT-5、Claude 4 與 Gemini 2.5 提示詞成本。

3 分鐘閱讀

快速解答: TOON(面向 Token 的物件表示法)透過在陣列標頭僅宣告一次鍵名(`users[N]{id,name}:`)並對巢狀結構採用 YAML 縮排,將統一 JSON 物件陣列的 LLM 輸入 Token 消耗降低 30%–60%,同時可在瀏覽器記憶體中無損還原為強型別 JSON。

為什麼標準 JSON 會浪費掉一半的上下文視窗

JSON 最初是為 JavaScript 解析而設計,而非針對大模型位元組對分詞(BPE)。每當你在提示詞中嵌入 50 筆資料庫查詢結果或 API 回應時,JSON 就會把帶引號的鍵名、冒號、大括號與逗號完整重複輸出 50 次。

在 o200k_base 與 Claude 分詞器中,結構標點符號與重複識別名稱往往消耗掉 40% 至 60% 的總輸入 Token——而模型甚至還沒開始讀到真正的業務數值。

  • 結構一致的陣列會因重複屬性鍵名增加大量無效 Token 負載。
  • 雙引號與大括號會被切分為額外的分隔 Token。
  • 冗長的 JSON 陣列容易讓 RAG 提示詞逼近上下文視窗上限。
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

TOON 如何結合 YAML 縮排與 CSV 表頭只宣告一次鍵名

TOON(Token-Oriented Object Notation)對巢狀物件採用簡潔的 YAML 式縮排,並將均勻陣列轉換為單次宣告的標頭(`users[N]{id,name,role,active}:`),後方接續以逗號、Tab 或直線分隔的資料列。

與陽春 CSV 不同,TOON 完整保留巢狀階層、明確元素計數(`[N]`)與嚴格的結構還原度,使模型在精準讀取欄位的同時把 Token 用量縮減約一半。

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

在本機將 JSON 轉為 TOON 並即時查看 Token 節省

選擇最適合的分隔符號並在本地實測節省比例

逗號分隔最適合人類檢視;當字串常包含空格或逗號時,將 TOON 分隔符號改為定位字元(`\t`)或直線符號(`|`)通常還能多省下 3%–8% 的 Token。

正式修改提示詞管線前,可先透過 TxtTo 的即時長條比較 GPT-5 (o200k)、Claude 4 與 Gemini 2.5 的真實用量——完全無須把機密客戶 JSON 貼進外部線上工具。

本機比較 GPT-5、Claude 4 與 Gemini 2.5 Token 數

從 TOON 無損往返解碼回 JSON

當 AI 工作流程或文件庫儲存了 TOON 酬載時,透過 `@toon-format/toon` 即可確定性地將其解碼還原為具型別的 JSON 陣列、數字、布林值與巢狀物件。

請注意:若陣列中每筆物件的鍵名完全不同且結構高度異質,TOON 節省空間有限,此時仍建議維持精簡 JSON 或 JSONL。

在本機將 TOON 解碼回 JSON

參考資料

常見問題

相比 JSON,TOON 會降低大模型的準確率嗎?

不會。明確的長度標記(例如 [4])與標頭欄位宣告能為 LLM 提供清晰的列邊界,同時移除重複語法雜訊。

什麼資料最能發揮 TOON 省 Token 的優勢?

包含 3 筆以上物件、每筆擁有 4 個以上相同欄位的均勻陣列,相較格式化 JSON 通常可省下 35%–60% Token。

TOON 轉回 JSON 是完全無損的嗎?

是的。字串、數字、布林值、null 與巢狀物件都能乾淨無損地還原成合法 JSON。

相關格式

相關方案比較

相關指南