허허의 오늘은 뭐 먹지?

쉽게 말하면 sLLM은 LLM에 비해 매개변수가 100B이하정도로 상대적으로 적은 LLM이다. 100B도 작진 않지만... 그래도 요새 나오는 LLM모델들에 비하면 작다는 얘기.Llama, Phi, Mistral.. 그리고 요새 한참 얘기 나오고 있는 Deepseek까지..sLLM에 대해서 아주 기초적인 내용을 정리해보려고 한다. SLLM은 문자 그대로 “Smaller Large Language Model(더 작아진 대규모 언어 모델)”을 가리키는 용어로, 기존의 초거대 언어 모델(LLM)에서 파라미터 수나 모델 크기를 줄여 경량화한 모델을 의미한다. 일반적으로 수십억~수천억 개에 달하는 파라미터를 지닌 초거대 언어 모델과 달리, SLLM은 상대적으로 소규모의 파라미터를 유지하면서도 대규모 모델의 핵심 ..

LLM은 최근 AI 트랜드의 기본이다.다시한번 정리해보려고 한다. LLM(Large Language Model)이란?LLM은 대규모 데이터를 학습하여 자연어를 이해하고 생성하는 언어 모델이다. 수십억에서 수천억 개 이상의 매개변수를 보유하며, 인간과 유사한 수준으로 문장을 이해하고 적절한 답변을 생성하거나 텍스트를 생성할 수 있다.주요 특징:대규모 데이터 학습: 웹, 책, 논문 등 방대한 텍스트 데이터를 기반으로 학습하여 다양한 문맥과 언어 패턴을 이해한다.확장 가능성: GPT, GPT-3, GPT-4 같은 모델은 대규모 병렬 처리와 분산 컴퓨팅 기술로 더 큰 데이터와 매개변수를 학습할 수 있다.다목적 활용: 질문 답변, 글쓰기, 번역, 요약 등 다목적 작업을 수행할 수 있다.LLM의 발전 과정LLM은 ..