LLM08: Excessive Agency

https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v1_1.pdf의 번역 자료입니다. Description LLM 기반 시스템은 종종 개발자에 의해 일정 수준의 에이전시(행동 권한)를 부여받습니다.

즉, 다른 시스템과 상호작용하고 프롬프트에 대한 응답으로 작업을 수행할 수 있는 능력을 가지게 됩니다. 어떤 기능을 호출할지에 대한 결정은 '에이전트1'이라는 LLM에 위임되어 입력 프롬프트 또는 LLM 출력에 따라 동적으로 결정될 수 있습니다.

Excessive Agency는 LLM이 오작동하는 경우(직접/간접적인 프롬프트 주입, 악성 플러그인, 잘못 설계된 무해한 프롬프트, 혹은 성능이 좋지 않은 모델 등으로 인해) 예상치 못한 모호한 출력에 응답하여 의도되지 않은 작업을 수행할 수 있는 취약점입니다. Excessive Agency의 ...