LoRA·QLoRA 파인튜닝 실전: VRAM 최소화로 학습하기
대형 언어 모델을 자기 도메인에 맞게 파인튜닝하려 할 때 가장 먼저 부딪히는 벽은 VRAM입니다. 70억 파라미터 모델을 전체 파인튜닝(full fine-tuning)하려면 가중치·그래디언트·옵티마이저 상태를 모두 올려야 하고, 이…
8 min read
// tag
#파인튜닝
LLM 파인튜닝 vs RAG: 언제 무엇을 선택할지 결정 기준
LLM으로 도메인 특화 애플리케이션을 만들 때 반드시 마주치는 갈림길이 파인튜닝(fine-tuning)과 RAG(Retrieval-Augmented Generation)입니다. 둘 다 “기본 모델을 우리 문제에 맞게 만든다”는 목적은 같지만, 무엇을 바꾸는지가 근본적으로 다릅니다.…
8 min read
임베딩 모델 선택과 파인튜닝: 검색 품질 끌어올리기
검색 품질이 기대에 못 미칠 때, 많은 팀이 곧바로 더 큰 LLM이나 복잡한 리랭커부터 생각합니다. 하지만 시맨틱 검색과 RAG의 품질은 대부분 임베딩 모델에서 결정됩니다. 어떤 임베딩을…
5 min read