[6월7일 IT뉴스] 에이전틱 AI 위험 HITL착각, 국민 AI서비스 TF 신설

HITL의 착각과 에이전틱 AI 확산으로 실제 결정이 인간의 형식적 승인에만 의존하는 구조가 확대되고 있다. 이로 인해 인공지능이 결정 권한의 상당 부분을 차지하는 현상이 강화되며, 인간은 승인 절차에 머무는 형식적 역할으로 축소될 위험이 커진다. 실제로는 HITL에서 HOTL로의 이행이 진행되며, 인간 통제의 약화가 뚜렷해지는 구조가 확산되는 양상이다. 이에 따라 거버넌스 공백과 책임 주체의 모호성이 주요 리스크로 부상한다.

핵심적으로는 인공지능이 결정 지원에서 자율 결정으로 진화하면서 인간이 결과를 검증하는 기회가 줄고, 승인 절차가 요식행위로 전락하는 현상이 나타난다. 이로 인해 인공지능 결정 과정의 검증 가능성 저하와 결과에 대한 이의 제기 및 중단 권한의 불명확성, 최종 책임 주체의 모호화가 중요한 문제로 지적된다. 기업 차원에서도 AI 활용이 확대될수록 통제 구조의 취약성 증가와 조직 내 결정 책임의 불명료화가 리스크 관리의 어려움을 크게 키운다.

가트너가 제시하는 대응 방안은 거버넌스 재설계와 인간 역할 재정의, 운영 체계 개선으로 요약된다. 거버넌스 재설계는 중단 및 이의 제기 권한의 명확화, 책임 주체의 정의와 기록 체계 구축을 통해 결정 통제를 강화하는 방향이다. 인간은 단순한 승인자를 넘어 최종 판단자 역할을 유지하고, AI 통찰을 활용하되 책임 구조를 재설계하는 방향이 강조된다. 운영 체계 차원에서는 AI 결정 과정의 책임 기록을 체계화하고, 필요 시 결정의 중단·수정 프로세스를 마련하며, 인간 전문가의 판단 능력 유지와 개입 보장을 통해 실질적 인간 참여를 확보한다.

종합적으로는 AI 발전이 결정 구조를 근본적으로 바꾸고, 형식적 인간 개입이 아닌 실질적 통제가 필요하다고 본다. AI 거버넌스가 기업 경쟁력의 핵심 요소로 부상하며, 인간 중심 설계의 중요성이 확대된다. 한편 한국 정부는 AI 시대에 맞는 공공 서비스 개발 전담조직 신설을 추진하고 있으며, 민간 전문가 중심의 AX 가속화를 목표로 한다. 영국 GDS 모델 벤치마킹을 바탕으로 공공 AI 서비스를 기획·개발·운영을 통합하는 실행 중심 조직이 마련되고, 최대 100명의 민간 전문가 채용과 신속 개발 체계가 추진된다. 공공 서비스 개발 속도와 인공지능 기반 행정 효율성을 크게 향상시키고, 민간 기술 도입을 통한 혁신을 가속화하는 것이 기대된다. 최종적으로 공공 시스템 개발 패러다임은 계획 중심에서 실행 중심으로 전환되며, 국가 차원의 행정 경쟁력 강화와 공공 AX 추진의 신호탄이 될 것으로 보인다.