[IT 리포트] LLM 답변의 사회적/윤리적 평가는 왜 중요할까?

사람들은 데이터에 기반한 초거대언어모델(이하 LLM)이 인간보다 공정하고 객관적인 답변을 해줄 것이라고 기대한다. 그러나 LLM의 답변은 결코 중립적이지도 객관적이지도 않다.

이를 뒷받침하는 LLM의 편향성에 관한 흥미로운 연구결과가 있다. 어떤 기초모델(Foundation Model)을 활용하여 질문하는지에 따라 LLM의 정치적 성향이 달리 나타난다는 연구결과다.

미국 워싱턴 주립대와 카네기 멜론 등 대학의 복수 저자가 쓴 From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models라는 제목의 논문에서 다룬 연구 결과에 따르면, 14개 대규모 언어모델에 정치적으로 민감한 62개 문장에 대한 동의여부를 물어 정치 성향을 조사한 결과 오픈AI의 ‘챗GPT'와 'GPT-4'가 가장 좌파적인 자유주의자처럼 답변했고, ...