Cloudflare Workers 엣지 컴퓨팅으로 지연시간 줄이기
사용자가 서울에 있고 오리진 서버가 미국 동부 리전에 있다면, 요청 하나가 왕복하는 데만 물리적으로 200ms 이상이 소요됩니다. 광속은 협상 대상이 아니므로, 지연을 줄이는 유일한 방법은 연산과…
8 min read
// tag
#지연시간
LLM 애플리케이션 지연시간 최적화: 프롬프트 캐싱·스트리밍 실전
LLM을 프로덕션에 투입하고 나면 곧바로 마주치는 현실이 있다. “왜 이렇게 느리지?” GPT-4급 모델의 평균 응답 완료 시간은 수십 초에 달할 수 있고, 사용자 경험 연구에 따르면…
7 min read
Redis 캐싱 전략으로 API 응답속도 10배 개선하기
API 응답속도가 느리다는 민원이 들어오면 가장 먼저 손이 가는 해결책이 Redis 캐시입니다. 잘 적용하면 응답 지연을 100ms에서 5ms 이하로 줄이는 것이 현실적으로 가능하지만, 잘못 설계하면 캐시…
7 min read