JSON vs TOON 비교 가이드 | LLM 시대에 맞는 데이터 포맷 선택법

 

JSON과 TOON의 차이점을 비교 분석하여 LLM 시대에 적합한 데이터 포맷을 선택하는 방법과 토큰 비용을 최대 60%까지 절감하는 실전 가이드를 제공합니다.

---

JSON과 TOON, 왜 지금 비교해야 할까

 

대규모 언어 모델(LLM)이 일상화되면서 데이터 직렬화 포맷에 대한 새로운 고민이 시작되었습니다.

기존에는 JSON이 거의 유일한 표준처럼 사용되었지만, LLM의 토큰 기반 처리 방식은 기존 포맷의 한계를 드러냈습니다.

Token-Oriented Object Notation(TOON)은 이러한 문제를 해결하기 위해 등장한 새로운 직렬화 포맷입니다.

매달 수십만 건의 LLM API 호출을 처리하는 기업들은 토큰 비용 절감이 곧 경쟁력이라는 사실을 알고 있습니다.

실제로 TOON 데이터 포맷을 활용하면 동일한 데이터를 30-60% 적은 토큰으로 표현할 수 있어, 월간 수백만 원의 API 비용을 절감할 수 있습니다.

이 글에서는 JSON vs TOON을 다각도로 비교하며, 각 상황에 맞는 LLM 입력 데이터 포맷 선택 기준을 제시하겠습니다.

---

JSON 직렬화 형식의 특징과 한계

JSON(JavaScript Object Notation)은 2001년 더글러스 크록포드가 제안한 이후 웹 개발의 사실상 표준이 되었습니다.

읽기 쉽고 대부분의 프로그래밍 언어에서 지원하기 때문에 API 통신, 설정 파일, 데이터 교환 등 다양한 분야에서 활용됩니다.

 

JSON의 주요 장점

• 사람이 읽을 수 있는 텍스트 기반 포맷
• 거의 모든 프로그래밍 언어에서 파싱 라이브러리 제공
• 웹 브라우저와 완벽한 호환성
• 간단한 구조로 학습 곡선이 낮음

JSON 한계의 현실

 

하지만 LLM 입력 데이터 포맷으로 사용할 때 JSON은 몇 가지 치명적인 문제를 드러냅니다.

첫째, 중복되는 키 이름으로 인한 토큰 낭비입니다.

배열 형태의 객체를 표현할 때 동일한 키가 반복되면서 불필요한 토큰을 소모하게 됩니다.

[
  {"name": "John", "age": 30, "city": "Seoul"},
  {"name": "Jane", "age": 25, "city": "Busan"},
  {"name": "Bob", "age": 35, "city": "Incheon"}
]

 

위 예시에서 "name", "age", "city"가 각 객체마다 반복됩니다.

100개의 사용자 데이터를 전송한다면, 이 세 개의 키만으로도 300번의 불필요한 반복이 발생합니다.

둘째, 중괄호와 따옴표 등 구조적 문자로 인한 토큰 증가입니다.

GPT-4o는 입력 토큰당 $0.0025(백만 토큰당 $2.5), 출력 토큰당 $0.01(백만 토큰당 $10)을 부과합니다.

매일 100만 토큰을 처리하는 서비스라면, 월간 약 $75-300의 비용이 발생하는데, 이 중 상당 부분이 구조적 오버헤드입니다.

OpenAI의 최신 가격 정책을 확인하면 토큰 효율화가 얼마나 중요한지 알 수 있습니다.

 

✔️ 지금 확인해보세요

[OpenAI의 최신 가격 정책 확인하러 가기]

 

 

 

 

 

셋째, 주석을 공식적으로 지원하지 않아 문맥 정보를 전달하기 어렵습니다.

LLM에게 데이터의 의미를 설명하려면 별도 필드를 추가하거나 외부 문서에 의존해야 하며, 이는 다시 토큰 낭비로 이어집니다.

---

TOON 데이터 포맷의 핵심 개념

 

Token-Oriented Object Notation(TOON)은 LLM의 토큰 처리 방식에 최적화된 데이터 포맷입니다.

TOON은 2024년 말 오픈소스 커뮤니티에서 탄생했으며,

불필요한 구조적 문자를 최소화하고 의미 전달을 우선하는 설계 철학을 가지고 있습니다.

 

TOON 특징

TOON의 가장 큰 특징은 키-값 쌍의 중복을 제거한다는 점입니다.

테이블 형태의 데이터를 표현할 때 헤더를 한 번만 선언하고, 이후 값들만 나열하는 방식을 사용합니다.

[3,]{name,age,city}:
John,30,Seoul
Jane,25,Busan
Bob,35,Incheon

 

동일한 데이터를 TOON으로 표현하면 JSON 대비 약 40-60%의 토큰을 절감할 수 있습니다.

GitHub 공식 벤치마크에 따르면, 100개의 직원 레코드를 처리할 때 JSON은 4,545 토큰을 사용하는 반면 TOON은 2,744 토큰만 사용했습니다.

이는 39.6%의 토큰 절감을 의미하며, 정확도는 오히려 TOON이 73.9%로 JSON의 69.7%보다 높았습니다.

TOON 공식 GitHub 저장소에서 더 많은 벤치마크 결과를 확인할 수 있습니다.

 

인라인 주석 지원

TOON은 인라인 주석을 지원하여 데이터의 맥락을 함께 전달할 수 있습니다.

[2,]{product,revenue}:  # 2024년 1분기 매출 데이터
Widget A,150000  # 주력 상품
Widget B,95000   # 신규 출시

 

LLM이 데이터를 해석할 때 추가 컨텍스트를 활용할 수 있어 더 정확한 분석이 가능합니다.

JSON에서는 별도 필드로 추가해야 했던 메타 정보를 TOON에서는 주석으로 간결하게 표현할 수 있습니다.

 

계층적 구조 표현

계층적 구조도 들여쓰기로 직관적으로 표현합니다.

company:
  name: TechCorp
  founded: 2020
  departments[2,]{name,headcount}:
    Engineering,50
    Sales,30

 

YAML의 들여쓰기 방식과 CSV의 테이블 구조를 결합한 형태로, 사람이 읽기에도 편하고 LLM이 파싱하기에도 효율적입니다.

---

JSON 직렬화 형식 비교

두 포맷의 실제 차이를 구체적인 예시로 살펴보겠습니다.

 

기본 객체 표현

 

JSON 방식

{
  "user": {
    "id": 1234,
    "name": "Alice",
    "email": "alice@example.com",
    "role": "admin"
  }
}

 

TOON 방식

user:
  id: 1234
  name: Alice
  email: alice@example.com
  role: admin

 

 

단순 객체에서도 중괄호와 쉼표가 제거되어 토큰이 절약됩니다.

 

배열 데이터 표현

JSON 방식 (250 토큰)

{
  "repositories": [
    {
      "id": 28457823,
      "name": "freeCodeCamp",
      "stars": 430886,
      "forks": 42146
    },
    {
      "id": 132750724,
      "name": "build-your-own-x",
      "stars": 250000,
      "forks": 15000
    }
  ]
}

 

TOON 방식 (120 토큰)

repositories[2,]{id,name,stars,forks}:
28457823,freeCodeCamp,430886,42146
132750724,build-your-own-x,250000,15000

동일한 정보를 전달하는데 TOON은 JSON의 절반 정도 토큰만 사용합니다.

 

중첩된 구조 표현

 

JSON 방식

{
  "metadata": {
    "version": 1,
    "author": "test"
  },
  "items": [
    {"id": 1, "name": "Item1"},
    {"id": 2, "name": "Item2"}
  ],
  "tags": ["alpha", "beta", "gamma"]
}

 

TOON 방식

metadata:
  version: 1
  author: test
items[2,]{id,name}:
  1,Item1
  2,Item2
tags[3]: alpha,beta,gamma

 

중첩 구조에서도 TOON은 일관된 들여쓰기와 간결한 배열 표현으로 가독성과 토큰 효율을 동시에 확보합니다.

항목	JSON	TOON	절감률
기본 객체 (10개 필드)	~200 토큰	~140 토큰	30%
배열 데이터 (100개 레코드)	~4,500 토큰	~2,700 토큰	40%
분석 데이터 (60일 메트릭)	~5,800 토큰	~2,400 토큰	59%
GitHub 저장소 (100개)	~6,400 토큰	~3,200 토큰	50%

 

실제 벤치마크 데이터를 보면 데이터 유형에 따라 절감 효과가 다르게 나타나지만, 대부분의 경우 30% 이상의 토큰 절감을 달성합니다.

GitHub - toon-format/toon: 🎒 Token-Oriented Object Notation (TOON) – Compact, human-readable, schema-aware JSON for LLM pro

---

LLM 토큰 비용 절감 실전 가이드

실제 프로젝트에서 TOON을 활용하여 비용을 절감하는 방법을 단계별로 알아보겠습니다.

 

1단계: 데이터 구조 분석

먼저 현재 사용 중인 JSON 데이터의 구조를 분석합니다.

 

TOON이 가장 효과적인 데이터 유형은 다음과 같습니다

• 균일한 객체 배열 (같은 필드를 가진 여러 레코드)
• 테이블 형태의 데이터 (CSV와 유사한 구조)
• 반복적인 키-값 쌍이 많은 경우

반대로 깊게 중첩된 구조나 각 객체마다 필드가 다른 비균일 데이터는 JSON이 더 효율적일 수 있습니다.

 

2단계: 변환 도구 활용

Python, JavaScript, R 등 주요 언어별 TOON 라이브러리가 제공됩니다.

 

Python 예시

from toon import encode, decode

# JSON 데이터를 TOON으로 변환
data = {
    "users": [
        {"id": 1, "name": "Alice", "role": "admin"},
        {"id": 2, "name": "Bob", "role": "user"}
    ]
}

toon_string = encode(data)
print(toon_string)

 

JavaScript/TypeScript 예시

import { encode, decode } from "@toon-format/toon";

const data = {
  users: [
    { id: 1, name: "Alice", role: "admin" },
    { id: 2, name: "Bob", role: "user" }
  ]
};

const toonString = encode(data);
console.log(toonString);

TOON Python 라이브러리를 설치하여 간편하게 변환할 수 있습니다.

GitHub - xaviviro/python-toon: 🐍 TOON for Python (Token-Oriented Object Notation) Encoder/Decoder - Reduce LLM token costs by

 

3단계: LLM 프롬프트 최적화

TOON 포맷을 사용할 때는 LLM에게 포맷을 명시해야 합니다.

다음 데이터는 TOON(Token-Oriented Object Notation) 포맷입니다.
TOON은 key: value 구조와 들여쓰기를 사용하며,
균일한 배열은 [N,]{fields}: 형식으로 표현됩니다.

[데이터]
users[3,]{id,name,age}:
1,Alice,30
2,Bob,25
3,Charlie,35

위 데이터를 분석하여...

 

 

모델에게 포맷을 알려주면 더 정확한 데이터 해석이 가능합니다.

 

4단계: 비용 측정 및 검증

실제 토큰 절감 효과를 측정합니다.

OpenAI의 tiktoken이나 각 제공사의 토큰 카운터를 사용하여 JSON과 TOON의 토큰 수를 비교합니다.

import tiktoken

# GPT-4 토크나이저
encoding = tiktoken.encoding_for_model("gpt-4")

json_tokens = len(encoding.encode(json_string))
toon_tokens = len(encoding.encode(toon_string))

savings = (json_tokens - toon_tokens) / json_tokens * 100
print(f"토큰 절감률: {savings:.1f}%")

 

실제 사례에서 월 100만 토큰을 처리하는 서비스가 TOON으로 전환한 결과, 40% 토큰 절감으로 월 API 비용이 $90에서 $54로 감소했습니다.

---

직렬화 포맷 선택 팁

상황에 따라 최적의 포맷을 선택하는 가이드라인을 제시합니다.

 

TOON을 선택해야 하는 경우

다음 조건을 만족하면 TOON이 최선의 선택입니다

• 균일한 구조의 배열 데이터가 많은 경우 (tabular eligibility > 60%)
• LLM에게 대량의 구조화된 데이터를 입력해야 하는 경우
• 토큰 비용이 주요 관심사인 경우
• 데이터에 문맥 정보(주석)를 포함해야 하는 경우

실제로 고객 데이터 분석, GitHub 저장소 정보 처리, 시계열 메트릭 분석 등에서 TOON이 뛰어난 성능을 보입니다.

 

JSON을 유지해야 하는 경우

다음 상황에서는 JSON이 더 적합합니다

• 깊게 중첩된 구조 (5단계 이상)
• 각 객체의 필드가 다른 비균일 데이터
• 기존 시스템과의 호환성이 중요한 경우
• LLM이 아닌 일반 API 통신
• 브라우저 네이티브 지원이 필요한 경우

복잡한 설정 파일이나 API 응답은 여전히 JSON이 표준입니다.

 

하이브리드 접근법

가장 현실적인 전략은 하이브리드 방식입니다.

• 애플리케이션 내부: JSON 사용 (개발 편의성, 도구 지원)
• LLM 입력: TOON으로 변환 (토큰 효율성)
• API 응답: JSON 유지 (표준 준수)

이렇게 하면 기존 개발 워크플로우를 유지하면서도 LLM 비용을 최적화할 수 있습니다.

비교 항목	JSON	TOON
토큰 효율성	보통	우수 (30-60% 절감)
가독성	우수	우수
주석 지원	비공식	공식 지원
도구 지원	매우 광범위	성장 중
학습 곡선	낮음	중간
브라우저 지원	네이티브	라이브러리 필요
LLM 이해도	우수	매우 우수
중첩 구조	제한 없음	권장하지 않음

 

실무 의사결정 프레임워크

다음 질문에 답하면 선택이 명확해집니다

1. 데이터의 몇 %가 균일한 배열 구조인가? (60% 이상이면 TOON 유리)
2. 월간 LLM 토큰 사용량이 얼마인가? (100만 토큰 이상이면 TOON 고려)
3. 토큰 절감률이 몇 %일 때 전환 비용을 정당화할 수 있는가?
4. 기존 인프라와의 통합 난이도는 어느 정도인가?

---

구조화된 데이터 포맷의 미래

TOON은 아직 초기 단계지만, AI 중심 개발 패러다임에서 빠르게 성장하고 있습니다.

 

현재 생태계

• TypeScript/JavaScript SDK: @toon-format/toon
• Python 라이브러리: python-toon
• R 패키지: toon
• CLI 도구: toon 커맨드라인 컨버터

주요 LLM 제공사들도 TOON 포맷을 인지하고 있으며, 일부는 공식 문서에서 언급하기 시작했습니다.

 

예상되는 발전 방향

1. 네이티브 지원 확대: OpenAI, Anthropic, Google 등 주요 제공사의 공식 지원
2. 검증 도구 발전: 스키마 검증, 타입 체킹 등 개발 도구 향상
3. 하이브리드 솔루션: JSON과 TOON 자동 전환 미들웨어
4. 표준화: W3C나 IETF 같은 표준화 기구의 관심

Anthropic의 Claude나 OpenAI의 GPT 모델들은 이미 TOON 포맷을 효과적으로 이해하고 처리할 수 있습니다.

 

Overview | Claude

 

실무자를 위한 제안

지금 당장 전체 시스템을 전환할 필요는 없습니다.

다음과 같은 점진적 접근을 권장합니다:

1. 파일럿 테스트: 토큰 사용량이 많은 한두 개 엔드포인트에서 TOON 테스트
2. 벤치마킹: 실제 데이터로 토큰 절감률과 정확도 측정
3. 점진적 확대: 효과가 입증된 영역부터 확대 적용
4. 모니터링: 토큰 사용량, 응답 품질, 레이턴시 지속 관찰

LLM이 비즈니스의 핵심이 되는 시대, 데이터 포맷 선택은 더 이상 사소한 기술적 디테일이 아닙니다.

올바른 포맷 선택은 수백만 원의 비용 절감과 더 빠른 응답 속도로 이어질 수 있습니다.

---

TOON 예시 코드와 실전 활용

실무에서 바로 사용할 수 있는 TOON 예시 코드를 제공합니다.

 

Python 완전 예제

from toon import encode, decode

# 1. 간단한 객체
simple_data = {
    "name": "Alice",
    "age": 30,
    "city": "Seoul"
}
print(encode(simple_data))
# 출력:
# name: Alice
# age: 30
# city: Seoul

# 2. 테이블 형태 배열
users = [
    {"id": 1, "name": "Alice", "age": 30},
    {"id": 2, "name": "Bob", "age": 25},
    {"id": 3, "name": "Charlie", "age": 35}
]
print(encode(users))
# 출력:
# [3,]{id,name,age}:
# 1,Alice,30
# 2,Bob,25
# 3,Charlie,35

# 3. 복잡한 중첩 구조
complex_data = {
    "metadata": {
        "version": 1,
        "author": "test"
    },
    "items": [
        {"id": 1, "name": "Item1"},
        {"id": 2, "name": "Item2"}
    ],
    "tags": ["alpha", "beta", "gamma"]
}
print(encode(complex_data))

# 4. TOON을 다시 Python 객체로 디코딩
toon_string = """
[2,]{id,name}:
1,Alice
2,Bob
"""
original_data = decode(toon_string)
print(original_data)

 

Node.js/TypeScript 예제

import { encode, decode } from "@toon-format/toon";

// LLM 프롬프트에 TOON 데이터 포함
async function analyzeSalesData() {
  const salesData = {
    products: [
      { id: 1, name: "Widget A", revenue: 150000, growth: 12.5 },
      { id: 2, name: "Widget B", revenue: 95000, growth: -5.2 },
      { id: 3, name: "Widget C", revenue: 210000, growth: 28.3 }
    ]
  };

  const toonData = encode(salesData);

  const prompt = `
다음은 TOON 포맷의 분기별 매출 데이터입니다:

${toonData}

성장률이 가장 높은 제품과 그 이유를 분석해주세요.
  `;

  // LLM API 호출
  const response = await callLLMAPI(prompt);
  return response;
}

 

CLI 도구 활용

커맨드라인에서 JSON과 TOON을 빠르게 변환할 수 있습니다.

# JSON 파일을 TOON으로 변환
toon input.json -o output.toon

# TOON 파일을 JSON으로 변환
toon data.toon -o output.json

# stdin에서 파이프로 변환
echo '{"name": "Ada"}' | toon -

# 커스텀 구분자 사용
toon data.json --delimiter "\t" -o output.toon

# 길이 마커 포함
toon data.json --length-marker -o output.toon

 

실시간 토큰 비교 스크립트

import tiktoken
from toon import encode
import json

def compare_token_efficiency(data, model="gpt-4"):
    """JSON과 TOON의 토큰 효율성을 비교합니다."""

    # JSON 문자열로 변환
    json_string = json.dumps(data, ensure_ascii=False)

    # TOON 문자열로 변환
    toon_string = encode(data)

    # 토크나이저 초기화
    encoding = tiktoken.encoding_for_model(model)

    # 토큰 수 계산
    json_tokens = len(encoding.encode(json_string))
    toon_tokens = len(encoding.encode(toon_string))

    # 결과 출력
    savings = (json_tokens - toon_tokens) / json_tokens * 100

    print(f"=== 토큰 비교 결과 ({model}) ===")
    print(f"JSON 토큰: {json_tokens}")
    print(f"TOON 토큰: {toon_tokens}")
    print(f"절감률: {savings:.1f}%")
    print(f"\nJSON 미리보기:")
    print(json_string[:200] + "...")
    print(f"\nTOON 미리보기:")
    print(toon_string[:200] + "...")

    return {
        "json_tokens": json_tokens,
        "toon_tokens": toon_tokens,
        "savings_percent": savings
    }

# 사용 예시
test_data = {
    "employees": [
        {"id": i, "name": f"Employee{i}", "dept": "Engineering", "salary": 50000 + i * 1000}
        for i in range(1, 101)
    ]
}

result = compare_token_efficiency(test_data)

 

이 스크립트를 실행하면 실제 프로젝트 데이터로 토큰 절감 효과를 정확히 측정할 수 있습니다.

TOON 공식 문서에서 더 많은 예제와 활용법을 확인할 수 있습니다.

toon/docs at main · toon-format/toon

---

마무리

JSON vs TOON 비교를 통해 LLM 시대에 적합한 데이터 포맷 선택 기준을 살펴보았습니다.

TOON은 Token-Oriented Object Notation으로, JSON 대비 30-60%의 토큰을 절감하면서도 가독성과 구조를 유지하는 혁신적인 포맷입니다.

특히 균일한 배열 데이터가 많고, LLM 입력 데이터 포맷 최적화가 중요한 프로젝트에서 TOON 데이터 포맷은 명확한 이점을 제공합니다.

하지만 모든 상황에서 TOON이 정답은 아닙니다.

깊게 중첩된 구조나 비균일 데이터에서는 JSON 직렬화 형식이 여전히 우수하며, 기존 생태계와의 호환성도 중요한 고려사항입니다.

실무에서는 하이브리드 접근법을 권장합니다.

애플리케이션 내부에서는 JSON을 사용하고, LLM 토큰 비용 절감이 필요한 지점에서만 TOON으로 변환하는 방식입니다.

구조화된 데이터 포맷의 선택은 기술적 결정을 넘어 비즈니스 전략입니다.

올바른 직렬화 포맷 선택 팁을 활용하면 수백만 원의 API 비용을 절감하고, 더 빠른 응답 속도로 사용자 경험을 개선할 수 있습니다.

TOON 예시 코드와 벤치마크를 참고하여, 여러분의 프로젝트에 가장 적합한 데이터 포맷을 선택하시기 바랍니다.

---

같이 보면 좋은 글

LLM 뜻 및 개념 완벽 해부 AI 초보자 쉽게 이해하기

LLM 파인튜닝 튜토리얼 실무 가이드와 적용 사례

딥러닝 머신러닝 차이 쉽게 이해하는 핵심 가이드

인공지능 교육 완벽 가이드와 학습 로드맵

2025년 AGI 아키텍처 연구 | 범용 인공지능의 뇌를 설계하는 방법