AI가 기억하는 방식의 진화, 토큰과 컨텍스트 윈도우

이제는 인공지능이 병원 진단과 금융 심사, 보고서 작성까지 사람의 역할을 빠르게 대신하고 있지만 AI의 기억력에 대해서는 의외로 잘 알려진 바가 없다. 

AI는 도대체 어떻게 이 많은 말을 기억하고 이해하는가? 이 질문의 답은 두 개의 단어에 있다. 바로 ‘토큰(Token)’과 ‘컨텍스트 윈도우(Context Window)’다. 이 두 개념은 생성형 AI의 성능을 결정하는 핵심 기준이자 사용자가 AI를 제대로 활용하기 위해 반드시 이해해야 할 기본 상식이 됐다.

AI는 사람처럼 문장을 읽지 않는다. 글자를 의미로 이해하는 것도 아니다. AI가 다룰 수 있는 것은 오직 숫자다. 그래서 사람이 쓰는 문장은 먼저 잘게 쪼개진 뒤 숫자로 바뀌는데 이때의 최소 단위가 토큰이다. 토큰은 단어일 수도 있고 단어의 일부일 수도 있다. 

영어에서는 하나의 단어가 하나의 토큰으로 처리되는 경우가 많지만 한국어처럼 조사와 어미가 붙는 언어는 한 단어가 여러 토큰으로 나뉘는 일이 흔하다. 사용자가 보기에는 문장이 짧아 보여도 AI 입장에서는 계산해야 할 토큰 수가 빠르게 늘어나는 이유다.

컨텍스트 윈도우는 AI가 한 번에 머릿속에 올려둘 수 있는 토큰의 최대치다. 질문, 이전 대화, 참고 문서, AI가 만들어낸 답변까지 전부 이 한계 안에 들어와야 한다. 컨텍스트 윈도우를 넘는 순간 가장 앞부분부터 잘려 나가고 AI는 그 내용을 기억하지 못한다. 

대화를 길게 이어가다 보면 갑자기 앞에서 한 말을 잊어버리는 현상이 발생하는 이유도 여기에 있다. 토큰이 연료라면 컨텍스트 윈도우는 연료통이다. 연료통이 작으면 아무리 성능이 좋은 엔진이라도 멀리 갈 수 없다.

이 한계는 생성형 AI 초창기에는 매우 뚜렷했다. GPT-3 시절의 컨텍스트 윈도우는 약 2천에서 4천 토큰 수준이었다. 짧은 기사나 몇 문단 정도는 처리할 수 있었지만 긴 보고서나 논문을 한 번에 다루는 것은 불가능했다. 이후 GPT-3.5와 초기 GPT-4가 등장하며 8천 토큰, 3만 2천 토큰 수준으로 늘어났지만 여전히 긴 문서는 쪼개서 넣어야 했다. 

그래서 이 시기의 AI는 똑똑해 보였지만 기억력은 여전히 짧아 다양한 상황에 적용하기에는 무리가 많았다.

2024년 이후 상황이 급격히 바뀌었다. GPT-4 Turbo와 GPT-4o를 거치며 컨텍스트 윈도우는 12만 8천 토큰까지 확대됐다. 이는 수백 페이지 분량의 문서를 한 번에 넣고 전체 흐름을 유지한 채 질문을 던질 수 있는 수준이다. 

경쟁 모델들도 빠르게 따라왔다. 앤트로픽의 클로드 계열은 20만 토큰 이상을 지원했고 구글의 제미나이는 100만 토큰을 기본 전제로 삼는 방향으로 나아갔다. 일부 모델은 200만 토큰까지도 실험 단계에서 다루고 있다. 이제 AI는 ‘문단 단위 이해’를 넘어 ‘책 단위 이해’를 시도하는 단계에 들어섰다.

컨텍스트 윈도우가 커질수록 AI는 앞뒤 맥락을 유지한 채 판단할 수 있다. 계약서 전체를 읽고 위험 조항을 찾고 긴 회의록을 통째로 요약하며 수개월치 대화를 기억한 것처럼 대응할 수 있다. 환각이라고 불리는 그럴듯한 오류도 줄어드는 경향이 있다. 맥락을 놓치지 않기 때문이다. 

기업들이 처음에는 주저하다가 이제는 대형 문서 분석과 내부 지식 관리에 LLM을 적극 도입하는 배경에도 이 변화가 있다.

기술의 흐름 또한 무작정 모델 크기를 키우기보다는 토큰을 더 효율적으로 다루고 필요한 부분만 집중해 보는 방식이 병행되고 있다. 장기 기억을 외부 저장소와 연결하는 방식, 요약을 통해 컨텍스트를 압축하는 방식, 중요한 정보에 가중치를 주는 새로운 어텐션 구조가 동시에 발전 중이다. 

따라서 컨텍스트 윈도우 경쟁은 단순한 숫자 싸움에서 실제 사용성을 높이는 방향으로 이동하고 있다고 볼 수 있다. 그렇다면 우리 같은 사용자 입장에서는 무엇을 알고 있어야 할까. 

첫째, 길게 쓰는 것이 항상 좋은 것은 아니다. 불필요한 설명은 토큰을 낭비하고 컨텍스트를 빠르게 소모한다. 핵심부터 정리해 주는 질문이 더 정확한 답을 만든다. 둘째, 긴 작업에서는 중간 요약이 중요하다. AI에게 지금까지의 내용을 정리하게 하면 기억을 정돈하고 이후 작업의 정확도를 높일 수 있다. 셋째, 언어에 따라 토큰 소모가 다르다는 점을 알아야 한다. 같은 내용이라도 한국어는 영어보다 더 많은 토큰을 사용할 가능성이 크다.

토큰과 컨텍스트 윈도우는 눈에 잘 보이지 않지만 생성형 AI의 한계를 결정하는 기준이다. 이 두 개념을 이해하면 왜 어떤 모델은 대화를 잘 이어가고 어떤 모델은 쉽게 맥락을 잃는지 설명할 수 있다. 생성형 AI의 진짜 경쟁력은 말재주가 아니라 기억력에서 시작된다. 그리고 그 기억력은 지금 이 순간에도 빠르게 진화하고 있다.