온프레미스 LLM 서빙: TGI vs vLLM vs TensorRT-LLM 비교
자체 GPU 위에서 오픈 웨이트 모델을 직접 서빙하기로 결정했다면, 다음 갈림길은 “어떤 서빙 엔진을 쓸 것인가”입니다. 후보는 대체로 TGI(Text Generation Inference), vLLM, TensorRT-LLM 셋으로 좁혀집니다. 셋…
8 min read
// tag
자체 GPU 위에서 오픈 웨이트 모델을 직접 서빙하기로 결정했다면, 다음 갈림길은 “어떤 서빙 엔진을 쓸 것인가”입니다. 후보는 대체로 TGI(Text Generation Inference), vLLM, TensorRT-LLM 셋으로 좁혀집니다. 셋…