요즘 AI 이야기 정말 많이 들리죠? 챗GPT 같은 거대 언어 모델(LLM)이 똑똑해질수록, 그 뒤에서는 어마어마한 양의 데이터가 움직이고 있답니다.
이 데이터들을 빛의 속도로 처리하기 위해 탄생한 기술이 바로 고대역폭 메모리, HBM(High Bandwidth Memory)입니다. 오늘은 이 HBM이 왜 AI 시대의 주인공이 되었는지, 그리고 HBM을 둘러싼 뜨거운 경쟁 이야기를 쉽고 재미있게 풀어볼게요.
AI의 발목을 잡던 '데이터 병목 현상' 컴퓨터는 똑똑한 두뇌(GPU)와 데이터를 보관하는 창고(D램)로 나뉘어 있어요. AI 모델이 커지면서 두뇌가 창고에서 데이터를 가져오는 시간이 너무 오래 걸리는 문제가 생겼죠.
아무리 두뇌가 빨라도 재료가 늦게 오면 요리를 할 수 없는 것처럼요. 기존 메모리(GDDR)는 속도를 높이자니 전기도 너무 많이 쓰고 열도 많이 나서 한계에 부딪혔습니다.
이 문제를 해결하기 위해 HBM이 등장했습니다. HBM은 D램을 옆으로 넓게 까는 대신, 아파...
