GPT 메모리란?

"GPT에서 메모리"라고 말할 때, 주로 GPT 모델이 대화를 기억하고 맥락을 유지하는 방법을 의미한다. GPT(ChatGPT 포함)는 사람이 대화를 이어갈 때마다 이전에 주고받은 메시지를 어느 정도 **‘문맥(Context)’**으로 인식하고 답변을 생성한다. 다만 이 ‘메모리’는 사람이 생각하는 장기 저장장치 같은 개념과는 다소 차이가 있다. 간단히 정리하면 다음과 같다.

1. 토큰 단위의 문맥(Context Window)
   • GPT는 내부적으로 텍스트를 ‘토큰(token)’이라는 단위로 처리한다.
   • 일정 범위(예: 몇 천~수만 개)의 토큰 안에서만 과거 대화를 ‘기억’하고, 그 범위 바깥 내용은 잊어버린다.
   • 즉, 현재 대화에서 특정 길이까지만 GPT가 맥락을 반영할 수 있다.
2. 장기 저장소는 없다
   • 일반적으로 ChatGPT나 GPT 모델은 장기 저장 공간이 따로 없어서, 대화 세션이 종료되면 해당 맥락은 사라진다.
   • 새로 대화를 시작하면 이전에 했던 이야기를 그대로 이어서 기억하지 못한다.
   • 모델 입장에서는 매번 대화할 때마다, 주어진 텍스트(맥락)만을 바탕으로 답변을 생성할 뿐이다.
3. 대화 스레드(Conversation Thread) 구조
   • ChatGPT는 브라우저 화면에서 하나의 대화 스레드가 생성될 때마다, 그 스레드 내에서만 이전 메시지를 근거로 응답을 생성한다.
   • 사용자 입장에서는 “메모리가 있는 것처럼” 느껴지지만, 실제로는 프로그램이 이전 메시지들을 계속 모델 입력에 포함시켜 GPT가 그 문맥을 반영하도록 하는 구조다.
4. 메모리 한계와 토큰 수 제한
   • 한 스레드 안에서 문맥이 길어지면(문장이 매우 많아지면), GPT는 모든 토큰을 다 반영하기 어려워진다.
   • 이 때문에 토큰 수 제한(컨텍스트 윈도우 크기)이 존재하며, 한계를 넘어서면 이전 내용 일부를 잊어버리게 된다.

정리하자면, GPT의 ‘메모리’는 사람이 생각하는 영구적 저장장치가 아니라, 정해진 길이의 텍스트 맥락(컨텍스트 윈도우)을 모델이 입력받아 답변에 반영하는 구조다. 이 한계를 넘어서는 정보는 GPT가 잊어버리게 되며, 대화 세션이 아예 끊어지고 새로 시작할 경우, 예전 정보를 자동으로 계승하지는 않는다.