LLM 추론 서버 최적화: vLLM으로 처리량 극대화하기
LLM을 프로덕션에 올리는 순간 가장 먼저 마주치는 벽은 처리량(throughput)입니다. GPU 메모리는 한정되어 있고, 사용자 요청은 길이가 제각각이며, 응답을 기다리는 동안 GPU는 생각보다 많이 쉬고 있습니다. vLLM은…
6 min read
// tag
LLM을 프로덕션에 올리는 순간 가장 먼저 마주치는 벽은 처리량(throughput)입니다. GPU 메모리는 한정되어 있고, 사용자 요청은 길이가 제각각이며, 응답을 기다리는 동안 GPU는 생각보다 많이 쉬고 있습니다. vLLM은…