ガイド
TOON vs JSON:LLM プロンプトのトークンコストを 30〜60% 削減
TOON 形式が均一配列で重複する JSON キーを排除し、GPT-5・Claude 4・Gemini 2.5 の入力トークンコストを半減させる仕組みを解説します。
クイックアンサー: TOON(Token-Oriented Object Notation)は、均一な JSON オブジェクト配列のキー名をヘッダー(`users[N]{id,name}:`)で 1 回だけ宣言し、ネストに YAML 風インデントを使うことで LLM の入力トークンを 30%〜60% 削減しつつ、ブラウザメモリ内で型付き JSON へ可逆変換します。
標準的な JSON がコンテキストウィンドウを浪費する理由
JSON は JavaScript でのパース向けに設計されており、LLM のバイトペアエンコーディング(BPE)を想定していません。50 件のデータベース取得結果や API レスポンスをプロンプトに埋め込むと、JSON は引用符付きのキー名・コロン・中括弧・カンマを 50 回すべて繰り返します。
o200k_base や Claude のトークナイザーでは、実際のデータ値をモデルが読む前に、構文記号と重複キーだけで入力トークンの 40%〜60% が消費されてしまいます。
- 均一な配列では重複するプロパティキーが無駄なトークン負荷になる。
- 二重引用符や中括弧が細かな区切りトークンに分割されやすい。
- 長い JSON 配列をそのまま渡すと RAG プロンプトが上限に達しやすくなる。
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}YAML+CSV の長所を取り入れキー宣言を1回にまとめる TOON
TOON(Token-Oriented Object Notation)は、ネストされたオブジェクトには YAML 風のインデントを採用し、均一配列は 1 行のヘッダー(`users[N]{id,name,role,active}:`)の後にカンマ・タブ・パイプ区切りの行を並べる方式へ切り替えます。
単なる CSV とは異なり、TOON はネスト階層・明示的な要素数(`[N]`)・厳格なスキーマ構造を保持するため、モデルが正確にフィールドを読み取りながらトークン消費を約半分に抑えられます。
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,true区切り文字の選び方とローカル環境での実測
人間にとって最も読みやすいのはカンマ区切りですが、値の中にスペースやカンマが含まれる場合は TOON の区切り文字をタブ(`\t`)やパイプ(`|`)へ変更するとさらに 3%〜8% ほどトークンを削減できます。
本番のプロンプトパイプラインを変更する前に、TxtTo の GPT-5 (o200k)・Claude 4・Gemini 2.5 対応ローカル計測バーで実際のデータを比較すれば、社外ツールへ機密 JSON を貼らずに検証できます。
TOON から元の型付き JSON への損失なし復元
AI ワークフローやドキュメントストアに保存した TOON データは、`@toon-format/toon` を通じて元の型付き JSON 配列・数値・真偽値・ネストオブジェクトへ決定論的に復元できます。
ただし各行のキー構成がまったく異なる不均一なツリー構造には向かないため、その場合は圧縮(Minify)JSON や JSONL を利用するのが最適です。
参考文献
よくある質問
TOON を使うと JSON と比べて LLM の回答精度が下がることはありませんか?
ありません。[4] のような明示的な要素数と列ヘッダーが行の境界をはっきり示すため、冗長な記号を減らしつつ高精度に解釈されます。
TOON で最もトークン削減効果が出やすいのはどのようなデータですか?
4 つ以上のフィールドを持つ 3 件以上の均一なオブジェクト配列であれば、整形済み JSON と比べて 35%〜60% ほどトークンが減少します。
TOON から JSON へ戻した際に型情報などは失われませんか?
はい、完全に可逆です。文字列、数値、真偽値、null、ネストされたオブジェクトが元の有効な JSON として復元されます。
関連フォーマット
関連比較ページ
関連ガイド
- CSV・JSON から有効な LLM ファインチューニング用 JSONL データセットを作成スプレッドシートや JSON 配列から OpenAI Chat・Alpaca・Gemini ファインチューニング用の有効な .jsonl を全行検証付きでローカル生成します。
- PDF・Word・Excel を RAG・LLM 向けのクリーンな Markdown へ変換する方法機密性の高い PDF、Word (DOCX)、Excel シートをサーバー送信なしで構造化された Markdown へ抽出し、ベクトル検索や LLM 入力に最適化します。
- EPUB 電子書籍を Obsidian・AI 学習向けの Markdown に変換する方法DRM フリーの EPUB を OPF スパイン順でローカル展開し、見出し・リンクを保った Obsidian 向け Markdown や章分割 ZIP を作成します。