가이드

TOON vs JSON: LLM 프롬프트 토큰 비용 30–60% 절감하기

TOON 표기법이 균일한 배열에서 반복되는 JSON 키를 제거해 GPT-5, Claude 4, Gemini 2.5 프롬프트 비용을 크게 줄이는 원리를 알아봅니다.

읽기 3분

빠른 답변: TOON(Token-Oriented Object Notation)은 균일한 JSON 객체 배열의 키를 헤더(`users[N]{id,name}:`)에 한 번만 선언하고 중첩에는 YAML 들여쓰기를 사용해 LLM 입력 토큰을 30%~60% 줄이며, 브라우저 메모리에서 손실 없이 JSON으로 복원됩니다.

표준 JSON이 컨텍스트 윈도우의 절반을 낭비하는 이유

JSON은 LLM의 바이트 페어 토크나이징이 아니라 JavaScript 파싱을 위해 설계되었습니다. 50개 행으로 이루어진 데이터베이스 조회 결과나 API 응답을 프롬프트에 넣으면 JSON은 따옴표로 감싼 키 이름, 콜론, 중괄호, 쉼표를 50번 모두 반복합니다.

o200k_base와 Claude 토크나이저에서는 모델이 실제 데이터 값을 읽기도 전에 구조 구두점과 반복 식별자만으로 전체 입력 토큰의 40%~60%가 소모되곤 합니다.

  • 균일한 배열에서는 반복되는 속성 키가 불필요한 토큰 무게를 더합니다.
  • 큰따옴표와 중괄호가 여러 개의 구분자 토큰으로 쪼개집니다.
  • 긴 JSON 배열은 RAG 프롬프트를 컨텍스트 윈도우 한계에 빠르게 도달하게 만듭니다.
json
{
  "users": [
    { "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
    { "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
  ]
}

YAML과 CSV의 장점을 결합해 키를 한 번만 선언하는 TOON

TOON(Token-Oriented Object Notation)은 중첩 객체에는 YAML 스타일 들여쓰기를 사용하고, 균일 배열은 단 한 번의 헤더 선언(`users[N]{id,name,role,active}:`) 뒤에 쉼표, 탭 또는 파이프 구분 행을 나열하는 방식으로 전환합니다.

단순 CSV와 달리 TOON은 중첩 계층, 명시적 요소 수(`[N]`) 및 엄격한 스키마 정합성을 유지하므로 모델이 필드를 안정적으로 읽으면서도 토큰 사용량을 약 절반으로 줄여 줍니다.

toon
users[2]{id,name,role,active}:
  1,Alice Chen,admin,true
  2,Bob Tanaka,editor,true

실시간 토큰 절감률을 보며 JSON을 TOON으로 변환

구분자 선택과 로컬 환경에서의 실제 절감률 측정

사람이 읽기에는 쉼표 구분자가 가장 편하지만, 문자열 안에 공백이나 쉼표가 자주 등장한다면 TOON 구분자를 탭(`\t`)이나 파이프(`|`)로 바꾸어 토큰을 3%~8% 추가로 줄일 수 있습니다.

운영 프롬프트 파이프라인에 반영하기 전, 민감한 고객 JSON을 외부 토크나이저 사이트에 붙여넣지 말고 TxtTo의 오프라인 GPT-5 (o200k)·Claude 4·Gemini 2.5 비교 바에서 직접 테스트해 보세요.

GPT-5, Claude 4, Gemini 2.5 토큰 수 비교하기

TOON에서 원래 JSON으로 무손실 왕복 변환

AI 워크플로나 문서 저장소에 저장한 TOON 페이로드는 `@toon-format/toon`을 통해 원래의 타입이 지정된 JSON 배열, 숫자, 불리언, 중첩 객체로 결정론적이게 디코딩할 수 있습니다.

단, 항목마다 키 구조가 완전히 다른 비정형 트리의 경우에는 절감 폭이 크지 않으므로 표준 압축 JSON이나 JSONL을 사용하는 편이 좋습니다.

TOON을 로컬에서 JSON으로 디코딩하기

참고 자료

자주 묻는 질문

JSON 대신 TOON을 사용하면 LLM 응답 정확도가 떨어지지는 않나요?

떨어지지 않습니다. [4] 같은 명시적 길이 표기와 선언된 열 헤더가 LLM에 명확한 행 경계를 알려 주면서 불필요한 구문 잡음만 제거해 줍니다.

TOON이 가장 큰 토큰 절감 효과를 발휘하는 데이터 형태는 무엇인가요?

4개 이상의 필드를 가진 3건 이상의 균일한 객체 배열에서는 일반 포맷된 JSON 대비 보통 35%~60%의 토큰이 절감됩니다.

TOON을 다시 JSON으로 바꿀 때 데이터 손실은 없나요?

없습니다. 문자열, 숫자, 불리언, null 및 중첩 객체가 모두 유효한 JSON으로 정확히 왕복 복원됩니다.

관련 파일 형식

관련 비교 페이지

관련 가이드