[기고 소식] 김용덕 변리사, 인공지능신문 16회차 기고문 게재

“LLM이 GUI를 직접 조작하는 시대” — 오픈AI 멀티모달 GUI 상호작용 특허 분석 (16) 안녕하세요. 아이피렉스 특허법률사무소입니다.

아이피렉스 특허법률사무소의 김용덕 변리사가 AI 전문 언론 인공지능신문(AI타임스)에 연재 중인 ‘오픈AI 특허 분석’ 시리즈의 제16회 기고문이 게재되었습니다. 이번 기고문에서는 오픈AI가 등록한 미국 특허 US 12,051,205 B1을 중심으로, 멀티모달 LLM이 이미지 및 GUI 상의 특정 요소를 직접 인식하고 강조하거나, 자동으로 클릭·조작할 수 있는 기술에 대해 분석하였습니다.

주요 분석 내 기존의 LLM은 텍스트 기반 입출력에 주로 의존해 왔지만, 오픈AI는 이미지와 텍스트를 함께 입력받아 GUI 요소를 직접 강조하거나 동작까지 수행하는 새로운 상호작용 방식을 특허로 보호했습니다. 예를 들어 “이 강아지에게 모자를 씌워줘”라는 프롬프트에 대해, 모델은 이미지 내 강아지의 위치를 파악하고 그 위에 모자를 합성합니다.

또는 “문서를 ...