AI 기술이 빠르게 발전함에 따라 기존 평가 방식의 한계가 명확해지고 있다. 특히 고위험 분야에서 AI의 잠재적 오용 가능성에 대한 우려가 커지면서, AI 개발자들은 시스템의 실제 능력을 정확히 파악하고 위험을 식별하기 위한 새로운 테스트와 평가 프레임워크를 적극적으로 개발하고 있다.
새로운 AI 평가 방식의 필요성 기존 벤치마크는 AI 모델의 급격한 성능 향상으로 한계에 직면했다. 2024년 기준 OpenAI의 GPT-4o는 기존 테스트에서 41.4% 정확도를 기록했으며, Anthropic의 Claude 3.5 Sonnet은 49%에 달해 평가 체계의 개편 필요성이 대두되었다. 2018년 개발된 GLUE와 같은 평가 시험은 불과 1년 만에 AI가 극복하며 더 이상 유효하지 않게 되었다. 이러한 상황에서 개발자들은 AI의 다면적 능력과 잠재적 위험을 더 깊이 있게 평가할 수 있는 새로운 테스트 방법을 모색하고 있다.
AI 위험 평가의 새로운 접근 방식 1. OpenAI의 '준비 프레...
