긴 문서 청킹 전략: 오버랩·시맨틱 분할 실전 비교
RAG 파이프라인의 품질을 좌우하는 것은 화려한 임베딩 모델이나 재랭커가 아니라, 그 앞단에서 원문을 어떻게 잘라 넣었는가입니다. 문서를 조각(chunk)으로 나누는 방식이 검색 리콜과 답변 정확성을 사실상 결정합니다.…
8 min read
// tag
#rag
하이브리드 검색으로 RAG 정확도 높이기: BM25 + 벡터
RAG 파이프라인을 처음 만들 때 대부분 벡터 검색 하나에 의존합니다. 문서와 질문을 임베딩으로 바꿔 코사인 유사도가 높은 청크를 뽑아 프롬프트에 붙이는 구조입니다. 데모에서는 잘 돌아가지만, 실사용…
8 min read
LLM 파인튜닝 vs RAG: 언제 무엇을 선택할지 결정 기준
LLM으로 도메인 특화 애플리케이션을 만들 때 반드시 마주치는 갈림길이 파인튜닝(fine-tuning)과 RAG(Retrieval-Augmented Generation)입니다. 둘 다 “기본 모델을 우리 문제에 맞게 만든다”는 목적은 같지만, 무엇을 바꾸는지가 근본적으로 다릅니다.…
8 min read
RAG 청킹 전략 실전: 문서 분할·오버랩·메타데이터로 검색 품질 끌어올리기
RAG 파이프라인을 처음 구축할 때 대부분 문서를 그냥 500자, 1000자 같은 고정 길이로 뚝뚝 잘라 벡터 DB에 넣는다. 데모는 그럴듯하게 돌아간다. 그런데 실제 질문을 던져보면 답이…
9 min read