Guías
TOON frente a JSON: Reduce un 30–60% los tokens en prompts LLM
Descubre cómo Token-Oriented Object Notation (TOON) elimina claves JSON repetidas para ahorrar costos de tokens en GPT-5, Claude 4 y Gemini 2.5.
Respuesta rápida: TOON (Token-Oriented Object Notation) reduce el uso de tokens de entrada en LLM entre un 30 % y un 60 % en arreglos JSON uniformes declarando las claves una sola vez en la cabecera (`users[N]{id,name}:`) y manteniendo conversión reversible y sin pérdidas a JSON en memoria local.
Por qué el JSON estándar desperdicia la mitad de tu ventana de contexto
JSON fue diseñado para el análisis en JavaScript y no para tokenizadores BPE de modelos de lenguaje. Cada vez que incrustas una consulta SQL o respuesta API de 50 filas en un prompt, JSON repite todas las claves entrecomilladas, dos puntos, llaves y comas en los 50 elementos.
En o200k_base y los tokenizadores de Claude, la puntuación estructural y los identificadores repetidos suelen consumir del 40% al 60% del total de tokens de entrada antes de que el modelo lea los valores reales.
- Las claves repetidas añaden peso muerto en arreglos uniformes.
- Las comillas dobles y llaves se dividen en tokens separadores adicionales.
- Los arreglos JSON extensos acercan los prompts RAG al límite del contexto.
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}Cómo TOON declara las claves una sola vez con ergonomía YAML + CSV
TOON (Token-Oriented Object Notation) emplea sangría limpia estilo YAML para objetos anidados y transforma arreglos uniformes en una cabecera declarada una sola vez (`users[N]{id,name,role,active}:`) seguida de filas delimitadas por coma, tabulador o barra vertical.
A diferencia del CSV puro, TOON conserva jerarquías anidadas, conteos explícitos de elementos (`[N]`) y fidelidad estricta de esquema para que el LLM lea cada campo con precisión usando casi la mitad de tokens.
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,trueElegir delimitadores y medir el ahorro real localmente
Los delimitadores por coma son más cómodos de leer, mientras que cambiar el delimitador de TOON a tabulador (`\t`) o barra (`|`) puede recortar otro 3%–8% de tokens cuando hay espacios o signos de puntuación.
Antes de desplegar un cambio en producción, prueba tu payload real en la barra comparativa local de TxtTo para GPT-5 (o200k), Claude 4 y Gemini 2.5 sin pegar JSON confidencial en calculadoras externas.
Ida y vuelta sin pérdidas de TOON a JSON
Cuando un flujo de IA o archivo documental almacena cargas en TOON, `@toon-format/toon` las decodifica de manera determinista de vuelta a arreglos, números, booleanos y objetos JSON tipados.
Evita usar TOON en árboles muy heterogéneos donde cada fila tiene claves distintas: en esos casos, JSON minificado o JSONL sigue siendo más adecuado.
Referencias
Preguntas frecuentes
¿TOON reduce la precisión del LLM en comparación con JSON?
No. Marcadores explícitos de longitud como [4] y cabeceras declaradas ofrecen al modelo límites claros de fila eliminando el ruido sintáctico.
¿Cuándo ahorra más tokens TOON?
Los arreglos uniformes de 3 o más objetos con 4 o más propiedades suelen reducir entre un 35% y un 60% los tokens frente a JSON formateado.
¿TOON conserva todos los datos al reconvertir a JSON?
Sí. Cadenas, números, booleanos, null y objetos anidados vuelven sin pérdidas a JSON válido.
Formatos relacionados
Comparativas relacionadas
Guías relacionadas
- Crear datasets JSONL válidos para fine-tuning desde CSV y JSONGenera archivos .jsonl válidos para fine-tuning de OpenAI chat, Alpaca y Gemini desde hojas de cálculo y arreglos JSON en local con validación por línea.
- Preparar PDF, Word y Excel como Markdown limpio para RAG y LLMsConvierte PDFs confidenciales, documentos Word DOCX y hojas Excel en Markdown estructurado para chunking vectorial y contexto LLM — 100% en local.
- Convertir ebooks EPUB a Markdown para Obsidian y estudio con IADesempaqueta libros EPUB sin DRM localmente a notas Markdown listas para Obsidian o capítulos ZIP — conservando títulos, enlaces y prosa limpia.