Guides
TOON vs JSON : réduire de 30 à 60 % le coût en jetons des prompts LLM
Découvrez comment TOON supprime les clés JSON répétées dans les tableaux uniformes pour réduire vos coûts GPT-5, Claude 4 et Gemini 2.5.
Réponse rapide: TOON (Token-Oriented Object Notation) réduit de 30 % à 60 % les tokens d'entrée LLM sur les tableaux JSON uniformes en déclarant chaque clé une seule fois dans l'en-tête (`users[N]{id,name}:`), tout en garantissant un aller-retour sans perte vers JSON en mémoire locale.
Pourquoi le JSON standard gaspille la moitié de votre fenêtre de contexte
JSON a été conçu pour l'analyse JavaScript et non pour la tokenisation BPE des LLM. Dès que vous insérez une requête SQL ou une réponse API de 50 lignes dans un prompt, JSON répète chaque nom de clé entre guillemets, deux-points, accolade et virgule sur les 50 objets.
Dans les tokenizers o200k_base et Claude, la ponctuation structurelle et les clés répétées consomment fréquemment 40 % à 60 % des jetons d'entrée avant même que le modèle ne lise vos valeurs.
- Les noms de propriétés répétés alourdissent inutilement les tableaux uniformes.
- Guillemets et accolades se fragmentent en jetons séparateurs superflus.
- Les longs tableaux JSON rapprochent vite les prompts RAG de la limite de contexte.
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}Comment TOON déclare les clés une seule fois façon YAML + CSV
TOON (Token-Oriented Object Notation) adopte une indentation claire façon YAML pour les objets imbriqués et bascule les tableaux uniformes vers un seul en-tête déclaré (`users[N]{id,name,role,active}:`) suivi de lignes séparées par virgule, tabulation ou pipe.
Contrairement au CSV nu, TOON préserve les hiérarchies imbriquées, les compteurs explicites (`[N]`) et une stricte fidélité de schéma afin que les modèles lisent chaque champ sans erreur tout en divisant les jetons par deux.
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,trueChoisir le bon séparateur et mesurer l'économie localement
La virgule reste la plus lisible pour l'humain, tandis que basculer le séparateur TOON sur tabulation (`\t`) ou barre verticale (`|`) gratte souvent 3 % à 8 % de jetons en plus lorsque vos chaînes contiennent espaces ou virgules.
Avant de modifier un pipeline de production, testez votre payload exact avec la barre de jetons en direct de TxtTo comparant GPT-5 (o200k), Claude 4 et Gemini 2.5 localement — sans envoyer de données propriétaires vers des compteurs externes.
Aller-retour sans perte de TOON vers JSON
Lorsqu'un flux IA ou une documentation stocke des données TOON, `@toon-format/toon` les décode de manière déterministe en tableaux JSON typés, nombres, booléens et objets imbriqués.
Évitez TOON pour les arborescences très hétérogènes où chaque ligne possède des clés différentes : JSON minifié ou JSONL y reste préférable.
Références
Questions fréquentes
TOON diminue-t-il la précision des LLM par rapport à JSON ?
Non. Les compteurs explicites comme [4] et les en-têtes de colonnes donnent aux modèles des repères stricts tout en supprimant le bruit syntaxique répétitif.
Dans quels cas TOON économise-t-il le plus de jetons ?
Sur des tableaux uniformes d'au moins 3 objets avec 4 champs ou plus, le gain atteint couramment 35 % à 60 % face au JSON formaté.
La reconversion de TOON vers JSON est-elle sans perte ?
Oui. Chaînes, nombres, booléens, null et objets imbriqués reviennent fidèlement en JSON valide.
Formats associés
Comparatifs associés
Guides associés
- Créer des jeux d'entraînement JSONL valides depuis CSV & JSONFormatez des fichiers .jsonl valides pour OpenAI Chat, Alpaca et Gemini depuis vos tableurs et tableaux JSON en local avec contrôle ligne par ligne.
- Préparer PDF, Word & Excel en Markdown propre pour RAG & LLMTransformez PDF confidentiels, Word DOCX et feuilles Excel en Markdown structuré pour le découpage vectoriel RAG et les LLM — 100 % en local.
- Convertir des e-books EPUB en Markdown pour Obsidian & l'étude IADécompressez vos EPUB sans DRM localement en notes Markdown Obsidian ou en ZIP par chapitres — avec titres, liens et texte fluide.