긴 문서 청킹 전략: 오버랩·시맨틱 분할 실전 비교
RAG 파이프라인의 품질을 좌우하는 것은 화려한 임베딩 모델이나 재랭커가 아니라, 그 앞단에서 원문을 어떻게 잘라 넣었는가입니다. 문서를 조각(chunk)으로 나누는 방식이 검색 리콜과 답변 정확성을 사실상 결정합니다.…
8 min read
RAG 파이프라인의 품질을 좌우하는 것은 화려한 임베딩 모델이나 재랭커가 아니라, 그 앞단에서 원문을 어떻게 잘라 넣었는가입니다. 문서를 조각(chunk)으로 나누는 방식이 검색 리콜과 답변 정확성을 사실상 결정합니다.…
검색 품질이 기대에 못 미칠 때, 많은 팀이 곧바로 더 큰 LLM이나 복잡한 리랭커부터 생각합니다. 하지만 시맨틱 검색과 RAG의 품질은 대부분 임베딩 모델에서 결정됩니다. 어떤 임베딩을…