AI '토큰', 쉽게 설명하면

AI 관련 글을 5분만 읽어도 **토큰(token)**이라는 말에 부딪힌다. 가격은 “100만 토큰당”이고, 모델엔 “토큰 한도”가 있고, 뭔가가 “토큰이 부족해서” 잘렸다고 한다. 토큰이 대체 뭐고, 왜 모든 게 여기로 돌아올까?

60초 요약

토큰은 글의 작은 조각이다. 글자도 아니고 단어도 딱 아닌, 보통 짧은 단어나 긴 단어의 일부다. AI 언어 모델은 우리처럼 글을 읽지 않는다. 글을 토큰으로 잘라서 그걸로 작업한다. 당신이 보내는 모든 프롬프트와 받는 모든 답이 토큰으로 측정된다. 그래서 토큰은 세 곳에 동시에 등장한다. 얼마를 내는가, 모델이 한 번에 감당하는 양, 답이 얼마나 길 수 있는가.

쉽게 설명하면

모델이 아주 독특한 가위로 글을 읽는다고 상상해 보자. 띄어쓰기로도, 글자로도 자르지 않고, 흔히 쓰이는 작은 조각들로 자른다. 영어의 “dog” 같은 단순한 단어는 한 번에 잘린다. “tokenization” 같은 길거나 드문 단어는 서너 조각으로 잘린다. 영어 기준 대략적인 어림으로 토큰 1개는 약 4글자, 100단어는 130~150토큰쯤 된다. (한국어는 조각내는 방식이 달라 보통 글자당 토큰이 더 많이 들어간다.)

나머지는 여기서 다 따라온다.

• 요금: 모델은 들어가고 나오는 토큰당 과금한다. 길게 붙여넣은 문서도 토큰을 쓰고, 긴 답변도 토큰을 쓴다.
• 컨텍스트 윈도우: 모델이 한 번에 머릿속에 담을 수 있는 토큰 수엔 한계가 있다. 그 한계가 “컨텍스트 윈도우”다. 넘어가면 오래된 내용부터 가장자리로 떨어져 나가고, 그래서 아주 긴 대화는 앞부분을 “잊기” 시작한다.
• 길이 제한: 답이 문장 중간에 끊기면, 대개 토큰 천장에 부딪힌 것이다.

왜 지금 중요한가

사람들이 책 한 권, 코드베이스 전체, 긴 대화 기록을 통째로 AI에 밀어넣으면서, 토큰은 실제로 예산을 잡아야 하는 대상이 됐다. 큰 컨텍스트 윈도우가 간판 기능인 이유가 바로 이것이다. 한 번에 더 많은 토큰을 머릿속에 담는다는 뜻이니까. 더 많은 문서, 더 많은 기억, 가장자리로 떨어지기 전 더 긴 대화. AI 도구를 진지하게 쓴다면 “이거 토큰 얼마나 들지/들어갈까?”가 대부분의 질문 뒤에 숨어 있다.

흔한 오해

• “토큰 1개 = 단어 1개.” 비슷하지만 아니다. 짧고 흔한 단어는 한 토큰, 길거나 드문 단어는 여러 조각으로 나뉜다. 띄어쓰기와 문장부호도 센다.
• “토큰은 모델마다 같다.” 아니다. 모델마다 자르는 방식이 달라서, 같은 문장도 모델에 따라 토큰 수가 다르다.
• “컨텍스트 윈도우는 클수록 무조건 좋다.” 여유는 도움이 되지만, 엄청난 양을 밀어넣으면 비용이 커지고 오히려 모델의 집중을 흐릴 수 있다. 담을 공간이 있다는 것과 잘 쓴다는 건 다르다.

한 줄 정리

토큰은 AI 모델이 실제로 읽고 쓰는, 한입 크기의 글 조각이다. 글을 토큰으로 그려보는 순간, 요금도, 한도도, “왜 잊어버렸지?” 하던 순간도 더는 미스터리가 아니다.