LLM09: Overreliance

https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1.pdf의 번역 자료입니다. Description Overreliance는 대형 언어 모델(LLM)이 오류가 있는 정보를 제공할 때 발생할 수 있습니다.

LLM은 창의적이고 유익한 콘텐츠를 생성할 수 있지만, 사실과 다른 정보, 부적절하거나 안전하지 않은 내용을 생성하기도 합니다. 이를 환각 또는 허위 진술(confabulation)이라고 합니다.

사람들이나 시스템이 이러한 정보를 검토나 확인 없이 신뢰할 때 보안 위반, 잘못된 정보, 의사소통 오류, 법적 문제, 평판 손상 등의 결과를 초래할 수 있습니다. LLM이 생성한 소스 코드는 보안 취약점을 초래할 수 있으며, 이는 애플리케이션의 운영 안전성과 보안에 큰 위험을 초래합니다.

이러한 위험은 다음과 같은 엄격한 검토 프로세...