[NEW] 온디바이스 AI에 대해서

오늘은 온디바이스 AI에 대해서 정리해보려고 한다. 출처 : 퀄컴 최근 온디바이스 AI 라는 키워드는 너무 핫해서 다들 접해봤을거라고 생각한다.

퀄컴에서는 "생성형 AI의 미래는 온디바이스 AI"라고 강조했고 인텔, AMD 같은 글로벌 반도체 기업들 또한 온디바이스 AI가 개인용 노트북, 모바일 기기 등에 구동할 수 있도록 고성능 칩을 개발 중이라고 한다. 온디바이스 AI 그럼 온디바이스 AI란 정확히 무엇일까?

온디바이스 AI란, 클라우드나 서버를 거치지 않고 기기 자체에서 AI가 구동되는 걸 의미한다. 흔히 우리가 아는 ChatGPT부터 다양한 인공지능들은 엄청난 데이터를 기반으로 학습하고 추론하며 점점 성능을 높인다고 생각하면 편하다.

이 과정에서 엄청난 양의 연산량이 필요하다. 엄청난 데이터가 필요하고, 이 계산을 감당 가능한 하드웨어가 필요하다.

그렇기에 우리가 흔히 들고 다니는 휴대용 기기 자체에서는 인공지능이 연산하는 건 한계가 있었다. 기기에서 수집되는 데이터들을 중앙...