추론하는 AI를 만드는 방법 : OpenAI o1과 구글

2024년 9월 12일, OpenAI는 향상된 추론 기능을 갖춘 o1 모델을 출시했습니다. GPT 시리즈에 비해 비싸고 느리지만, 복잡한 추론이 필요한 수학, 과학, 코딩 분야에서 압도적 성능을 보이며 사용자들을 열광하게 했습니다.

AI는 확률무새일 뿐 인간의 추론 능력을 따라올 수 없다는 소리는 이제 뒤로하고, 어떻게 AI로 하여금 추론을 잘 하도록 만들었는지 그 방법을 자세히 들여다보도록 하겠습니다. o1 역시 다른 모든 LLM과 마찬가지로 트랜스포머(Transformer) 기반입니다. 트랜스포머는 구글이 2017년에 'Attention Is All You Need '라는 논문을 통해 처음 발표한 이후, 현대 자연어처리(NLP) 시스템의 기초가 된 모델입니다.

병렬처리가 어려워 학습 속도가 느리던 RNN(Recurrent Neural Network)의 한계를 극복하고, GPU 같은 병렬 컴퓨팅 자원을 효과적으로 활용할 수 있도록 했습니다. Attention Is All You N...