스페큘러티브 디코딩으로 LLM 생성 속도 2배 올리기
대형 언어 모델의 추론이 느린 근본 원인은 자기회귀(autoregressive) 생성에 있습니다. 토큰을 하나 뽑으려면 모델 전체를 한 번 순전파(forward)해야 하고, 다음 토큰은 앞 토큰이 확정돼야 시작할 수…
8 min read
// tag
대형 언어 모델의 추론이 느린 근본 원인은 자기회귀(autoregressive) 생성에 있습니다. 토큰을 하나 뽑으려면 모델 전체를 한 번 순전파(forward)해야 하고, 다음 토큰은 앞 토큰이 확정돼야 시작할 수…