LLM 에이전트가 플래그를 얻는 방식은 무엇인가? 추적 수준의 기원 분석을 통한 에이전트 오프렌시브 보안 평가
CTF 벤치마크에서 LLM 에이전트의 플래그 획득 경로를 분석하여 실제 공격과 단순 추측 등을 구분하는 CTF-ABACUS라는 추적 기반 감사 프레임워크를 제안한다. 1,435개의 CTF 시도를 분석한 결과, 추적 검증된 공격이 플래그 회수의 62-87%를 차지하는 것으로 나타났다.
시사점 이 결과는 CTF 평가에서 단순히 플래그 회수 수를 세는 방식에서 벗어나, 실제 공격을 검증하는 방식으로 전환할 필요가 있음을 시사한다.