Guias
TOON vs JSON: Reduzindo o Custo de Tokens em Prompts de LLM em 30–60%
Veja como a notação TOON elimina chaves JSON repetidas em arrays uniformes para cortar custos de prompts no GPT-5, Claude 4 e Gemini 2.5.
Resposta rápida: TOON (Token-Oriented Object Notation) reduz o consumo de tokens de entrada em LLMs em 30% a 60% para matrizes JSON uniformes ao declarar as chaves uma única vez no cabeçalho (`users[N]{id,name}:`), preservando conversão reversível e sem perdas para JSON no navegador.
Por que o JSON padrão desperdiça metade da sua janela de contexto
O JSON foi projetado para parsing em JavaScript, não para tokenização BPE de LLMs. Sempre que você inclui uma consulta de 50 linhas do banco ou resposta de API em um prompt, o JSON repete cada nome de chave entre aspas, dois-pontos, chave e vírgula em todos os 50 itens.
Nos tokenizadores o200k_base e Claude, pontuação estrutural e identificadores repetidos costumam consumir de 40% a 60% do total de tokens de entrada antes mesmo que o modelo leia seus valores reais.
- Nomes de propriedades repetidos adicionam peso morto de tokens em arrays uniformes.
- Aspas duplas e chaves se dividem em vários tokens separadores extras.
- Arrays JSON longos empurram prompts RAG para perto do limite de janela de contexto.
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}Como o TOON declara as chaves uma só vez com ergonomia YAML + CSV
TOON (Token-Oriented Object Notation) usa indentação limpa estilo YAML para objetos aninhados e converte arrays uniformes em um cabeçalho único (`users[N]{id,name,role,active}:`) seguido de linhas delimitadas por vírgula, tabulação ou pipe.
Diferente do CSV puro, o TOON preserva hierarquias aninhadas, contagens explícitas de elementos (`[N]`) e fidelidade estrita de esquema para que modelos leiam campos com precisão reduzindo o uso de tokens pela metade.
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,trueEscolhendo delimitadores e medindo a economia real localmente
Delimitadores por vírgula facilitam a leitura humana, enquanto alternar o delimitador do TOON para tabulação (`\t`) ou pipe (`|`) pode economizar mais 3%–8% de tokens quando strings contêm espaços ou pontuação.
Antes de publicar mudanças em um pipeline de prompts, teste seu payload exato na barra ao vivo do TxtTo comparando GPT-5 (o200k), Claude 4 e Gemini 2.5 localmente — sem colar JSON proprietário de clientes em tokenizadores externos.
Retorno sem perdas de TOON de volta para JSON
Quando um fluxo de IA ou base de documentação armazena payloads TOON, o `@toon-format/toon` decodifica tudo deterministicamente de volta para arrays JSON tipados, números, booleanos e objetos aninhados.
Evite usar TOON para árvores profundamente heterogêneas onde cada item tem chaves totalmente diferentes — nesses casos, JSON minificado ou JSONL continuam sendo ideais.
Referências
Perguntas frequentes
O TOON reduz a precisão do LLM em comparação ao JSON?
Não. Marcadores explícitos de tamanho como [4] e cabeçalhos de coluna declarados dão aos LLMs fronteiras claras de linha enquanto eliminam ruído sintático repetitivo.
Quando o TOON economiza mais tokens?
Arrays uniformes com 3+ objetos e 4 ou mais campos costumam cair de 35% a 60% na contagem de tokens em comparação ao JSON formatado.
O TOON é sem perdas ao converter de volta para JSON?
Sim. Strings, números, booleanos, nulos e objetos aninhados fazem ida e volta para JSON válido sem perdas.
Formatos relacionados
Comparativos relacionados
Guias relacionados
- Criando Datasets JSONL Válidos para Fine-Tuning a Partir de CSV e JSONFormate arquivos .jsonl válidos de fine-tuning para OpenAI Chat, Alpaca e Gemini direto de planilhas e arrays JSON no navegador.
- Preparando PDF, Word e Excel em Markdown Limpo para RAG e LLMsConverta PDFs confidenciais, documentos DOCX do Word e planilhas Excel em Markdown estruturado para RAG e LLMs 100% no navegador.
- Convertendo E-books EPUB para Markdown no Obsidian e Estudo com IAExtraia e-books EPUB sem DRM localmente em notas Markdown para Obsidian ou ZIPs por capítulo preservando títulos, links e ordem.