허허의 오늘은 뭐 먹지?

GPT에서 말하는 "토큰(Token)"이란, 텍스트(문자열)를 모델이 처리할 수 있는 단위로 쪼개어 놓은 것을 의미한다.예를 들어, 사람이 작성한 글(문장, 단어, 문장부호 등)을 GPT가 이해하기 위해선 이를 내부적으로 작은 조각들(토큰)으로 분할해야 한다.아래는 토큰에 대한 주요 특징이다:텍스트의 최소 처리 단위토큰은 단어 전체가 될 수도 있고, 단어의 일부(접사)나 문장부호가 붙은 형태가 될 수도 있다.예를 들어, “playing”이라는 단어가 play + ing 두 개의 토큰으로 분리될 수 있다.공백, 구두점, 특별 기호 등도 독립된 토큰으로 처리될 수 있다.언어 모델 학습과 추론에 활용GPT는 입력으로 들어오는 텍스트를 토큰 단위로 인식하고, 각 토큰을 벡터(수치)로 변환해 모델에 입력한다.모델..