LLM 병목 ‘KV 캐시’ 해결…메모리·속도 동시 개선 메모리 사용량 6배↓·연산 속도 최대 8배↑ “AI 경쟁, 성능에서 효율로 이동” 광고·에이전트 서비스 수익성 개선 기대 [이데일리 박정수 기자] 알파벳이 인공지능(AI) 효율을 획기적으로 개선하는 ‘터보퀀트(TurboQuant)’ 기술을 공개하며 AI 경쟁의 패러다임 변화에 대응하고 있다. 모델 성능 중심에서 비용·효율 중심으로 경쟁 축이 이동하는 가운데, 이번 기술이 수익성 개선의 핵심 변수로 부상할 전망이다.
사진=AFP 28일 금융투자업계에 따르면 알파벳은 대규모언어모델(LLM) 추론 과정에서 발생하는 병목 구간인 ‘KV 캐시 메모리’ 문제를 해결하기 위해 터 .보퀀트 기술을 도입했다. 터보퀀트는 attention 연산 과정에서 생성되는 데이터를 초저비트 수준으로 압축하는 방식이다.
기존 양자화 기술이 정확도 저하와 메모리 오버헤드 문제를 동시에 안고 있었던 것과 달리, 두 요소를 동시에 개선했다는 점에서 의미 있는 기술...
