CS-Guard: 코드 생성 보안을 위한 LLM 보호 장치 벤치마크
LLM이 악성코드를 생성하는 것을 방지하는 보호 장치(guardrail)의 효과성을 체계적으로 평가하기 위해 CS-Guard 벤치마크를 제안한다. 텍스트-코드 생성에서 평균 공격 성공률(ASR)은 제약 해제 공격 후 약 50%, 코드-코드 생성에서는 기반 LLM에서 100%에 달한다.
코드 생성 시 보호 장치의 효과가 낮아, 실무에서는 보호 장치를 보완하거나 추가적인 검증 절차를 도입해야 한다.