인공지능(AI) 반도체 시장의 미래를 둘러싼 논쟁이 격화되고 있다. 시장의 절대 강자인 엔비디아는 최근 내부자 인터뷰를 통해 GPU가 향후 5년간 시장의 70~80%를 점유하며 지배력을 유지할 것이라는 강력한 자신감을 드러냈다.
구글의 TPU 같은 커스텀 칩(ASIC) 대비 자사 GPU의 월등한 토큰 처리 속도를 그 근거로 제시했다. 이 시각은 지난 몇 년간 AI '학습' 시장을 석권하며 기술 표준을 장악해 온 엔비디아의 성공 방정식이 '추론' 시대에도 유효할 것이라는 믿음에 기반한다.
그러나 이러한 낙관론은 AI 산업의 근본적인 경제 구조 변화를 간과하고 있을 수 있다. 추론용 칩은 학습용 칩보다 저렴하다.
모델 규모 확장의 한계가 드러나고, AI 서비스의 수익성을 결정하는 핵심 변수가 천문학적인 학습 비용에서 지속적으로 발생하는 '추론 비용'으로 이동하면서, 시장의 경쟁 규칙 자체가 바뀌고 있기 때문이다. 이제 전장은 단순히 가장 빠른 칩을 만드는 기술 경쟁을 넘어, '토큰 당 ...
