LLM 스트리밍 응답 서버 설계: SSE·백프레셔·타임아웃
LLM 응답을 한 번에 받아서 보여주면 사용자는 몇 초씩 빈 화면을 바라봐야 합니다. 토큰이 생성되는 대로 흘려보내는 스트리밍은 체감 지연을 극적으로 줄여주지만, 서버 입장에서는 완전히 다른…
5 min read
// tag
LLM 응답을 한 번에 받아서 보여주면 사용자는 몇 초씩 빈 화면을 바라봐야 합니다. 토큰이 생성되는 대로 흘려보내는 스트리밍은 체감 지연을 극적으로 줄여주지만, 서버 입장에서는 완전히 다른…