PIDS-Bench: 프롬프트 인젝션 감지기 평가
프롬프트 인젝션 감지기(prompt-injection detector)의 성능 평가를 위해 새로운 벤치마크인 PIDS-Bench를 제안한다. 이 벤치마크는 분포 이동(distribution shift) 상황에서의 감지 정확도(F1=0.98)와 양성 오류율(FPR 0.10 이상)을 동시에 평가한다.
이 연구는 프롬프트 인젝션 감지기의 실제 운영 시 오류를 줄이기 위해 분포 이동 상황을 고려한 평가가 필요하다는 점을 시사한다.