KV 캐시 최적화로 긴 컨텍스트 추론 메모리 줄이기
긴 컨텍스트를 다루는 LLM 추론 서버를 운영하다 보면, 어느 순간 병목이 연산이 아니라 메모리라는 사실을 깨닫게 됩니다. 프롬프트가 수만 토큰에 이르는 RAG나 코드 어시스턴트 워크로드에서는 모델…
8 min read
// tag
긴 컨텍스트를 다루는 LLM 추론 서버를 운영하다 보면, 어느 순간 병목이 연산이 아니라 메모리라는 사실을 깨닫게 됩니다. 프롬프트가 수만 토큰에 이르는 RAG나 코드 어시스턴트 워크로드에서는 모델…