LLM 스트리밍 응답 서버 설계: SSE·백프레셔·타임아웃
LLM 응답을 한 번에 받아서 보여주면 사용자는 몇 초씩 빈 화면을 바라봐야 합니다. 토큰이 생성되는 대로 흘려보내는 스트리밍은 체감 지연을 극적으로 줄여주지만, 서버 입장에서는 완전히 다른…
5 min read
// tag
#스트리밍
LLM 애플리케이션 지연시간 최적화: 프롬프트 캐싱·스트리밍 실전
LLM을 프로덕션에 투입하고 나면 곧바로 마주치는 현실이 있다. “왜 이렇게 느리지?” GPT-4급 모델의 평균 응답 완료 시간은 수십 초에 달할 수 있고, 사용자 경험 연구에 따르면…
7 min read