허허의 오늘은 뭐 먹지?

vLLM에 대해 간단히 정리해보겠다.1. vLLM이란?vLLM은 대규모 언어 모델(LLM)을 빠르고 메모리 효율적으로 서빙(inference)하기 위해 만들어진 오픈소스 엔진이다.기존 파이프라인보다 높은 처리량(throughput)과 낮은 지연(latency)을 제공하면서도, 메모리 사용량(memory footprint)을 최소화하는 것을 목표로 한다.여러 사용자(세션)의 요청을 동시에 처리하거나, 대규모 모델을 제한된 자원(GPU 메모리 등)에서 효율적으로 돌려야 할 때 큰 이점을 제공한다.2. 왜 만들어졌나?LLM의 규모 확장최근 수십 억~수천 억 파라미터 규모의 모델(예: GPT, LLaMA, BLOOM 등)들이 등장하면서, 모델 추론 시 필요한 자원(GPU 메모리, CPU/GPU 연산)이 크게 늘..

AI 인프라 프로바이더(AI Infrastructure Provider)는 AI/ML(머신 러닝) 모델을 개발하고 운영하는 데 필요한 컴퓨팅, 스토리지, 네트워킹, 소프트웨어(플랫폼) 등을 클라우드 혹은 온프레미스 형태로 제공하는 업체를 뜻한다.1. AI 인프라 프로바이더 개요1.1 정의AI 인프라 프로바이더는 대규모 연산이 필요한 AI/ML 워크로드(예: 모델 학습, 추론, 데이터 처리)를 효율적으로 수행할 수 있는 환경을 구축해 주는 공급자다.CPU보다 훨씬 빠른 병렬 연산 능력을 제공하는 GPU, TPU, FPGA 등 특화 하드웨어와, 대량의 데이터를 빠르게 주고받을 수 있는 고성능 네트워크, 그리고 이 모든 리소스를 쉽게 관리·오케스트레이션할 수 있는 소프트웨어 스택을 패키지로 제공한다.1.2 주..

LLM은 최근 AI 트랜드의 기본이다.다시한번 정리해보려고 한다. LLM(Large Language Model)이란?LLM은 대규모 데이터를 학습하여 자연어를 이해하고 생성하는 언어 모델이다. 수십억에서 수천억 개 이상의 매개변수를 보유하며, 인간과 유사한 수준으로 문장을 이해하고 적절한 답변을 생성하거나 텍스트를 생성할 수 있다.주요 특징:대규모 데이터 학습: 웹, 책, 논문 등 방대한 텍스트 데이터를 기반으로 학습하여 다양한 문맥과 언어 패턴을 이해한다.확장 가능성: GPT, GPT-3, GPT-4 같은 모델은 대규모 병렬 처리와 분산 컴퓨팅 기술로 더 큰 데이터와 매개변수를 학습할 수 있다.다목적 활용: 질문 답변, 글쓰기, 번역, 요약 등 다목적 작업을 수행할 수 있다.LLM의 발전 과정LLM은 ..

온디바이스 AI 구현이란?온디바이스 AI는 데이터를 클라우드 서버로 전송하지 않고 기기 자체에서 처리하는 AI 기술을 의미한다. 이 방식은 네트워크 연결 없이도 동작하며, 데이터 프라이버시를 보호하고, 실시간 응답 속도를 제공하며, 네트워크 비용과 지연 시간을 줄이는 데 기여한다. 이를 구현하기 위해 다양한 최적화 및 기술 전략이 필요하다.온디바이스 AI 구현 전략1. 모델 최적화 및 경량화모델의 크기를 줄이기 위해 프루닝(Pruning)과 양자화(Quantization)를 적용한다. 이를 통해 메모리 사용량과 계산 복잡도를 줄인다.지식 증류(Knowledge Distillation)를 활용하여 대형 모델의 성능을 경량 모델로 전달한다.스파스 모델링(Sparse Modeling)을 통해 모델 내부의 희소..