허허의 오늘은 뭐 먹지?

쉽게 말하면 sLLM은 LLM에 비해 매개변수가 100B이하정도로 상대적으로 적은 LLM이다. 100B도 작진 않지만... 그래도 요새 나오는 LLM모델들에 비하면 작다는 얘기.Llama, Phi, Mistral.. 그리고 요새 한참 얘기 나오고 있는 Deepseek까지..sLLM에 대해서 아주 기초적인 내용을 정리해보려고 한다. SLLM은 문자 그대로 “Smaller Large Language Model(더 작아진 대규모 언어 모델)”을 가리키는 용어로, 기존의 초거대 언어 모델(LLM)에서 파라미터 수나 모델 크기를 줄여 경량화한 모델을 의미한다. 일반적으로 수십억~수천억 개에 달하는 파라미터를 지닌 초거대 언어 모델과 달리, SLLM은 상대적으로 소규모의 파라미터를 유지하면서도 대규모 모델의 핵심 ..