LLM 취약점을 진단해 보자 (4) - 자동화 도구 개발

로컬 LLM 취약점을 점검하는 과정에서 Ollama의 API Endpoint를 통해 파이썬에서 프롬프트를 요청하고 응답받을 수 있는 사실을 확인했습니다. 이를 활용하면, 취약점을 진단하는 사람이 매번 수동으로 프롬프트를 보내고 결과를 확인하는 번거로움을 줄일 수 있을 것이라는 생각이 들었고, 자동화 도구를 개발하게 되었습니다.

작동 방식은 간단합니다. 프로그램 실행 시 1~10 기준으로 점검 항목별 자동화 테스트 수행 예: 프롬프트 인젝션 점검 -> 1 입력 사전에 정의된 공격용 프롬프트를 Ollama LLM에 요청 LLM의 응답을 분석하여 취약/양호 여부 판단 추가적으로 1~10 전체 항목에 대해 점검, 마지막에 취약한 항목만 요약하여 출력할 수 있게 확장하였습니다.

하지만 현재 공격 프롬프트, 검증 프롬프트, 로직이 완성형이 아니므로, 실제 테스트를 반복하면서 고도화할 필요가 있습니다. 또한, 자동화 도구의 정확성을 높이기 위해 다양한 시나리오와 환경에서 점검이 필요합니다....