AI 모델 서빙 아키텍처: 온라인 추론 vs 배치 추론 선택 기준
AI 모델을 학습하고 나면 “어떻게 서빙할 것인가”라는 질문이 반드시 따라옵니다. 실시간으로 응답해야 하는 챗봇과, 밤새 수백만 건의 상품 추천을 계산해야 하는 배치 잡은 근본적으로 다른 인프라를…
6 min read
// tag
AI 모델을 학습하고 나면 “어떻게 서빙할 것인가”라는 질문이 반드시 따라옵니다. 실시간으로 응답해야 하는 챗봇과, 밤새 수백만 건의 상품 추천을 계산해야 하는 배치 잡은 근본적으로 다른 인프라를…