Guías

TOON frente a JSON: Reduce un 30–60% los tokens en prompts LLM

Descubre cómo Token-Oriented Object Notation (TOON) elimina claves JSON repetidas para ahorrar costos de tokens en GPT-5, Claude 4 y Gemini 2.5.

3 min de lectura

Respuesta rápida: TOON (Token-Oriented Object Notation) reduce el uso de tokens de entrada en LLM entre un 30 % y un 60 % en arreglos JSON uniformes declarando las claves una sola vez en la cabecera (`users[N]{id,name}:`) y manteniendo conversión reversible y sin pérdidas a JSON en memoria local.

Por qué el JSON estándar desperdicia la mitad de tu ventana de contexto

JSON fue diseñado para el análisis en JavaScript y no para tokenizadores BPE de modelos de lenguaje. Cada vez que incrustas una consulta SQL o respuesta API de 50 filas en un prompt, JSON repite todas las claves entrecomilladas, dos puntos, llaves y comas en los 50 elementos.

En o200k_base y los tokenizadores de Claude, la puntuación estructural y los identificadores repetidos suelen consumir del 40% al 60% del total de tokens de entrada antes de que el modelo lea los valores reales.

  • Las claves repetidas añaden peso muerto en arreglos uniformes.
  • Las comillas dobles y llaves se dividen en tokens separadores adicionales.
  • Los arreglos JSON extensos acercan los prompts RAG al límite del contexto.
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

Cómo TOON declara las claves una sola vez con ergonomía YAML + CSV

TOON (Token-Oriented Object Notation) emplea sangría limpia estilo YAML para objetos anidados y transforma arreglos uniformes en una cabecera declarada una sola vez (`users[N]{id,name,role,active}:`) seguida de filas delimitadas por coma, tabulador o barra vertical.

A diferencia del CSV puro, TOON conserva jerarquías anidadas, conteos explícitos de elementos (`[N]`) y fidelidad estricta de esquema para que el LLM lea cada campo con precisión usando casi la mitad de tokens.

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

Convertir JSON a TOON con ahorro de tokens en vivo

Elegir delimitadores y medir el ahorro real localmente

Los delimitadores por coma son más cómodos de leer, mientras que cambiar el delimitador de TOON a tabulador (`\t`) o barra (`|`) puede recortar otro 3%–8% de tokens cuando hay espacios o signos de puntuación.

Antes de desplegar un cambio en producción, prueba tu payload real en la barra comparativa local de TxtTo para GPT-5 (o200k), Claude 4 y Gemini 2.5 sin pegar JSON confidencial en calculadoras externas.

Comparar conteo de tokens en GPT-5, Claude 4 y Gemini 2.5

Ida y vuelta sin pérdidas de TOON a JSON

Cuando un flujo de IA o archivo documental almacena cargas en TOON, `@toon-format/toon` las decodifica de manera determinista de vuelta a arreglos, números, booleanos y objetos JSON tipados.

Evita usar TOON en árboles muy heterogéneos donde cada fila tiene claves distintas: en esos casos, JSON minificado o JSONL sigue siendo más adecuado.

Decodificar TOON de vuelta a JSON localmente

Referencias

Preguntas frecuentes

¿TOON reduce la precisión del LLM en comparación con JSON?

No. Marcadores explícitos de longitud como [4] y cabeceras declaradas ofrecen al modelo límites claros de fila eliminando el ruido sintáctico.

¿Cuándo ahorra más tokens TOON?

Los arreglos uniformes de 3 o más objetos con 4 o más propiedades suelen reducir entre un 35% y un 60% los tokens frente a JSON formateado.

¿TOON conserva todos los datos al reconvertir a JSON?

Sí. Cadenas, números, booleanos, null y objetos anidados vuelven sin pérdidas a JSON válido.

Formatos relacionados

Comparativas relacionadas

Guías relacionadas