임베딩 캐시와 증분 인덱싱으로 벡터 검색 비용 줄이기
벡터 검색 시스템은 비용이 두 곳에서 새어 나갑니다. 하나는 문서를 임베딩으로 바꾸는 임베딩 API 호출 비용, 다른 하나는 그 벡터를 색인에 넣고 유지하는 인덱싱 연산 비용입니다.…
8 min read
벡터 검색 시스템은 비용이 두 곳에서 새어 나갑니다. 하나는 문서를 임베딩으로 바꾸는 임베딩 API 호출 비용, 다른 하나는 그 벡터를 색인에 넣고 유지하는 인덱싱 연산 비용입니다.…
어느 인기 상품 페이지의 캐시 키가 TTL 만료로 사라지는 순간, 그 키를 조회하던 수천 개의 요청이 동시에 캐시 미스를 만난다. 각 요청은 저마다 “내가 캐시를 다시…
CDN을 앞단에 붙였는데도 오리진 트래픽이 줄지 않는다면, 십중팔구 캐시 전략이 잘못 설계된 것입니다. CDN은 “일단 앞에 두면 알아서 캐싱해주는 마법”이 아니라, 무엇을 얼마나 오래, 어떤 키로…
GitLab CI 파이프라인을 처음 구성할 때는 잘 동작하다가, 프로젝트가 커지고 잡(job)이 늘어나면 어느 순간 빌드 시간이 10분을 넘어가기 시작한다. 원인을 들여다보면 대부분 매 잡마다 의존성을 새로…