GPU 공유와 MIG 분할로 추론 인프라 활용률 높이기
추론 서비스를 운영하다 보면 GPU 청구서와 실제 사용률 사이의 간극에 놀라게 됩니다. nvidia-smi는 GPU 사용률 90%를 찍는데 정작 텐서 코어는 놀고 처리량은 기대의 절반에도 못 미치는…
추론 서비스를 운영하다 보면 GPU 청구서와 실제 사용률 사이의 간극에 놀라게 됩니다. nvidia-smi는 GPU 사용률 90%를 찍는데 정작 텐서 코어는 놀고 처리량은 기대의 절반에도 못 미치는…
여러 팀이 각자 프로바이더 SDK를 직접 호출하는 구조로 LLM 애플리케이션이 늘어나면 어느 순간 관리 불가능해집니다. API 키가 코드베이스 곳곳에 흩어지고, 어느 팀이 얼마나 토큰을 쓰는지 아무도…
RAG(검색 증강 생성)를 붙이면 환각(hallucination)이 저절로 사라진다는 기대는 대체로 배신당합니다. 검색으로 관련 문서를 넣어 줘도 모델이 그 문서만 근거로 답한다는 보장은 없기 때문입니다. 모델은 검색된 근거와…
벡터 검색 시스템은 비용이 두 곳에서 새어 나갑니다. 하나는 문서를 임베딩으로 바꾸는 임베딩 API 호출 비용, 다른 하나는 그 벡터를 색인에 넣고 유지하는 인덱싱 연산 비용입니다.…
대형 언어 모델의 추론이 느린 근본 원인은 자기회귀(autoregressive) 생성에 있습니다. 토큰을 하나 뽑으려면 모델 전체를 한 번 순전파(forward)해야 하고, 다음 토큰은 앞 토큰이 확정돼야 시작할 수…
긴 컨텍스트를 다루는 LLM 추론 서버를 운영하다 보면, 어느 순간 병목이 연산이 아니라 메모리라는 사실을 깨닫게 됩니다. 프롬프트가 수만 토큰에 이르는 RAG나 코드 어시스턴트 워크로드에서는 모델…
자체 GPU 위에서 오픈 웨이트 모델을 직접 서빙하기로 결정했다면, 다음 갈림길은 “어떤 서빙 엔진을 쓸 것인가”입니다. 후보는 대체로 TGI(Text Generation Inference), vLLM, TensorRT-LLM 셋으로 좁혀집니다. 셋…
LLM 애플리케이션을 프로덕션에 올리면, 전통적인 웹 관측성 도구만으로는 설명되지 않는 공백이 생깁니다. HTTP 상태 코드는 200인데 사용자는 “답이 틀렸다”고 하고, 지연은 평균적으로 괜찮은데 특정 요청만 30초씩…
단일 에이전트로 처리하던 작업이 커지면, 하나의 프롬프트 안에 도구 수십 개와 상충하는 지시가 뒤섞이기 시작합니다. 컨텍스트가 길어질수록 모델은 앞쪽 지시를 잊고, 도구 선택은 흔들리며, 디버깅은 “어디서…
LLM을 실제 파이프라인에 연결하는 순간 가장 먼저 부딪히는 벽은 “모델의 답이 문장”이라는 사실입니다. 다운스트림 코드가 필요한 건 if resp["risk"] == "high"처럼 바로 분기할 수 있는 필드입니다.…