LLM 토큰 비용 최적화: 컨텍스트 압축·요약 캐시 전략
LLM API를 프로덕션에 붙이고 나면 곧 청구서가 눈에 들어옵니다. 토큰 단가는 낮아 보여도, 긴 시스템 프롬프트와 누적되는 대화 기록, RAG로 밀어 넣는 문서 청크가 합쳐지면 요청당…
5 min read
// tag
LLM API를 프로덕션에 붙이고 나면 곧 청구서가 눈에 들어옵니다. 토큰 단가는 낮아 보여도, 긴 시스템 프롬프트와 누적되는 대화 기록, RAG로 밀어 넣는 문서 청크가 합쳐지면 요청당…