멀티모달(Multimodal)이란? 멀티모달 AI를 알아보기 전에 멀티모달을 알아보자.
Multimodal은 '여러 형식'을 의미하는 단어로, AI 분야에서는 텍스트, 이미지, 음성, 영상 등 다양한 종류의 데이터를 동시에 처리하고 이해할 수 있는 인공지능 기술을 말한다. 즉 말을 듣고, 글을 읽고, 그림을 보고, 상황을 이해하는 AI 기존 AI는 대부분 텍스트만 처리하는 단일 모달(Single Modal)이었지만, 멀티모달 AI는 다양한 입력을 통합적으로 이해하고 적절한 방식으로 출력할 수 있어 인간처럼 직관적인 소통이 가능하다.
멀티모달 AI의 정의 및 작동 원리 멀티모달 AI는 입력된 데이터를 각 형식에 맞게 분석한 뒤, 이를 공통의 의미 공간(semantic space)에서 통합하여 이해한다. 예를 들어, 한 이미지을 보고 질문을 하면 AI는 이미지 내용을 해석한 후 텍스트로 응답하거나 음성으로 대답할 수 있다.
이처럼 다양한 감각정보(시각, 청각, 언어)를 융합해 하나의 맥...
