온프레미스 LLM 서빙: TGI vs vLLM vs TensorRT-LLM 비교
자체 GPU 위에서 오픈 웨이트 모델을 직접 서빙하기로 결정했다면, 다음 갈림길은 “어떤 서빙 엔진을 쓸 것인가”입니다. 후보는 대체로 TGI(Text Generation Inference), vLLM, TensorRT-LLM 셋으로 좁혀집니다. 셋…
8 min read
// tag
#vLLM
vLLM PagedAttention과 연속 배칭으로 처리량 튜닝
LLM을 자체 서빙할 때 값비싼 GPU를 사놓고도 처리량이 기대만큼 나오지 않는 경험은 흔합니다. 원인은 대개 연산이 아니라 메모리와 스케줄링입니다. 트랜스포머 추론은 매 토큰마다 이전 토큰들의 키·값…
8 min read
LLM 추론 서버 최적화: vLLM으로 처리량 극대화하기
LLM을 프로덕션에 올리는 순간 가장 먼저 마주치는 벽은 처리량(throughput)입니다. GPU 메모리는 한정되어 있고, 사용자 요청은 길이가 제각각이며, 응답을 기다리는 동안 GPU는 생각보다 많이 쉬고 있습니다. vLLM은…
6 min read