AI 메모리 병목의 해답: KV 캐시 문제를 해결하는 구글의 양자화 기술 터보퀀트(TurboQuant) 최근 LLM이 점점 더 긴 문장을 이해하고 처리하게 되면서 ‘KV 캐시(KV cache)’라는 구조가 생각보다 빠르게 커지고 있습니다. KV 캐시는 이전에 생성된 모든 토큰의 정보를 계속 저장해두는 공간인데, 문장이 길어질수록 이 데이터가 계속 쌓이기 때문에 메모리 사 contents.premium.naver.com 최근 LLM이 점점 더 긴 문장을 이해하고 처리하게 되면서 ‘KV 캐시(KV cache)’라는 구조가 생각보다 빠르게 커지고 있습니다.
KV 캐시는 이전에 생성된 모든 토큰의 정보를 계속 저장해두는 공간인데, 문장이 길어질수록 이 데이터가 계속 쌓이기 때문에 메모리 사용량이 크게 증가합니다. 문제는 단순히 저장 공간만 늘어나는 것이 아니라, 이 데이터를 계속 불러오고 계산에 사용하는 과정에서 GPU 내부 메모리인 HBM과 연산 장치 사이의 데이터 이동이 반복된다는 점입...
