임베딩 캐시와 증분 인덱싱으로 벡터 검색 비용 줄이기
벡터 검색 시스템은 비용이 두 곳에서 새어 나갑니다. 하나는 문서를 임베딩으로 바꾸는 임베딩 API 호출 비용, 다른 하나는 그 벡터를 색인에 넣고 유지하는 인덱싱 연산 비용입니다.…
8 min read
// tag
#비용절감
S3 스토리지 비용 최적화: 라이프사이클·티어·인텔리전트
S3 요금 청구서를 처음 뜯어보면 대부분 놀랍니다. 저장 용량보다 요청·검색 요금이 생각보다 크고, 몇 년째 아무도 읽지 않는 오래된 객체가 여전히 표준 클래스에서 최고 단가로 과금되고…
7 min read
LLM 토큰 비용 최적화: 컨텍스트 압축·요약 캐시 전략
LLM API를 프로덕션에 붙이고 나면 곧 청구서가 눈에 들어옵니다. 토큰 단가는 낮아 보여도, 긴 시스템 프롬프트와 누적되는 대화 기록, RAG로 밀어 넣는 문서 청크가 합쳐지면 요청당…
5 min read
LLM 응답 캐싱 전략: 프롬프트 캐시로 비용·지연 잡기
LLM 기반 애플리케이션을 운영하다 보면 두 가지 비용이 동시에 커집니다. 하나는 토큰 단위로 청구되는 금전적 비용이고, 다른 하나는 사용자가 첫 토큰을 받기까지 기다리는 지연(latency)입니다. RAG 파이프라인처럼…
7 min read