가이드
TOON vs JSON: LLM 프롬프트 토큰 비용 30–60% 절감하기
TOON 표기법이 균일한 배열에서 반복되는 JSON 키를 제거해 GPT-5, Claude 4, Gemini 2.5 프롬프트 비용을 크게 줄이는 원리를 알아봅니다.
빠른 답변: TOON(Token-Oriented Object Notation)은 균일한 JSON 객체 배열의 키를 헤더(`users[N]{id,name}:`)에 한 번만 선언하고 중첩에는 YAML 들여쓰기를 사용해 LLM 입력 토큰을 30%~60% 줄이며, 브라우저 메모리에서 손실 없이 JSON으로 복원됩니다.
표준 JSON이 컨텍스트 윈도우의 절반을 낭비하는 이유
JSON은 LLM의 바이트 페어 토크나이징이 아니라 JavaScript 파싱을 위해 설계되었습니다. 50개 행으로 이루어진 데이터베이스 조회 결과나 API 응답을 프롬프트에 넣으면 JSON은 따옴표로 감싼 키 이름, 콜론, 중괄호, 쉼표를 50번 모두 반복합니다.
o200k_base와 Claude 토크나이저에서는 모델이 실제 데이터 값을 읽기도 전에 구조 구두점과 반복 식별자만으로 전체 입력 토큰의 40%~60%가 소모되곤 합니다.
- 균일한 배열에서는 반복되는 속성 키가 불필요한 토큰 무게를 더합니다.
- 큰따옴표와 중괄호가 여러 개의 구분자 토큰으로 쪼개집니다.
- 긴 JSON 배열은 RAG 프롬프트를 컨텍스트 윈도우 한계에 빠르게 도달하게 만듭니다.
{
"users": [
{ "id": 1, "name": "Alice Chen", "role": "admin", "active": true },
{ "id": 2, "name": "Bob Tanaka", "role": "editor", "active": true }
]
}YAML과 CSV의 장점을 결합해 키를 한 번만 선언하는 TOON
TOON(Token-Oriented Object Notation)은 중첩 객체에는 YAML 스타일 들여쓰기를 사용하고, 균일 배열은 단 한 번의 헤더 선언(`users[N]{id,name,role,active}:`) 뒤에 쉼표, 탭 또는 파이프 구분 행을 나열하는 방식으로 전환합니다.
단순 CSV와 달리 TOON은 중첩 계층, 명시적 요소 수(`[N]`) 및 엄격한 스키마 정합성을 유지하므로 모델이 필드를 안정적으로 읽으면서도 토큰 사용량을 약 절반으로 줄여 줍니다.
users[2]{id,name,role,active}:
1,Alice Chen,admin,true
2,Bob Tanaka,editor,true구분자 선택과 로컬 환경에서의 실제 절감률 측정
사람이 읽기에는 쉼표 구분자가 가장 편하지만, 문자열 안에 공백이나 쉼표가 자주 등장한다면 TOON 구분자를 탭(`\t`)이나 파이프(`|`)로 바꾸어 토큰을 3%~8% 추가로 줄일 수 있습니다.
운영 프롬프트 파이프라인에 반영하기 전, 민감한 고객 JSON을 외부 토크나이저 사이트에 붙여넣지 말고 TxtTo의 오프라인 GPT-5 (o200k)·Claude 4·Gemini 2.5 비교 바에서 직접 테스트해 보세요.
TOON에서 원래 JSON으로 무손실 왕복 변환
AI 워크플로나 문서 저장소에 저장한 TOON 페이로드는 `@toon-format/toon`을 통해 원래의 타입이 지정된 JSON 배열, 숫자, 불리언, 중첩 객체로 결정론적이게 디코딩할 수 있습니다.
단, 항목마다 키 구조가 완전히 다른 비정형 트리의 경우에는 절감 폭이 크지 않으므로 표준 압축 JSON이나 JSONL을 사용하는 편이 좋습니다.
참고 자료
자주 묻는 질문
JSON 대신 TOON을 사용하면 LLM 응답 정확도가 떨어지지는 않나요?
떨어지지 않습니다. [4] 같은 명시적 길이 표기와 선언된 열 헤더가 LLM에 명확한 행 경계를 알려 주면서 불필요한 구문 잡음만 제거해 줍니다.
TOON이 가장 큰 토큰 절감 효과를 발휘하는 데이터 형태는 무엇인가요?
4개 이상의 필드를 가진 3건 이상의 균일한 객체 배열에서는 일반 포맷된 JSON 대비 보통 35%~60%의 토큰이 절감됩니다.
TOON을 다시 JSON으로 바꿀 때 데이터 손실은 없나요?
없습니다. 문자열, 숫자, 불리언, null 및 중첩 객체가 모두 유효한 JSON으로 정확히 왕복 복원됩니다.
관련 파일 형식
관련 비교 페이지
관련 가이드
- CSV와 JSON으로 유효한 JSONL 파인튜닝 데이터셋 구축하기스프레드시트와 JSON 배열에서 OpenAI 채팅, Alpaca 및 Gemini 파인튜닝에 바로 쓸 수 있는 유효한 .jsonl 파일을 줄 단위 검증과 함께 로컬 생성합니다.
- PDF, Word, Excel 문서를 RAG 및 LLM용 깔끔한 마크다운으로 변환하기보안이 중요한 PDF, Word DOCX 문서, Excel 시트를 업로드 없이 구조화된 마크다운으로 추출해 벡터 청킹과 LLM 컨텍스트에 최적화합니다.
- Obsidian 및 AI 학습을 위해 EPUB 전자책을 마크다운으로 변환하기DRM 없는 EPUB 전자책을 로컬에서 OPF 스파인 순서대로 풀어 제목과 본문이 보존된 Obsidian 마크다운 노트 또는 챕터별 ZIP으로 변환합니다.