임베딩 캐시와 증분 인덱싱으로 벡터 검색 비용 줄이기
벡터 검색 시스템은 비용이 두 곳에서 새어 나갑니다. 하나는 문서를 임베딩으로 바꾸는 임베딩 API 호출 비용, 다른 하나는 그 벡터를 색인에 넣고 유지하는 인덱싱 연산 비용입니다.…
8 min read
벡터 검색 시스템은 비용이 두 곳에서 새어 나갑니다. 하나는 문서를 임베딩으로 바꾸는 임베딩 API 호출 비용, 다른 하나는 그 벡터를 색인에 넣고 유지하는 인덱싱 연산 비용입니다.…
RAG 파이프라인의 품질을 좌우하는 것은 화려한 임베딩 모델이나 재랭커가 아니라, 그 앞단에서 원문을 어떻게 잘라 넣었는가입니다. 문서를 조각(chunk)으로 나누는 방식이 검색 리콜과 답변 정확성을 사실상 결정합니다.…
검색 품질이 기대에 못 미칠 때, 많은 팀이 곧바로 더 큰 LLM이나 복잡한 리랭커부터 생각합니다. 하지만 시맨틱 검색과 RAG의 품질은 대부분 임베딩 모델에서 결정됩니다. 어떤 임베딩을…