연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
간접 프롬프트 인젝션(IPI) 방어 평가의 문제점을 분석하고 이를 개선한 허네스를 제안한다. 기존 허네스의 4가지 결함으로 인해 공격 성공률이 21.7%에서 1.2%로, 개방형 모델의 성공률이 62.8%에서 0%로 크게 달라졌다.
시사점 IPI 방어 평가의 정확성을 보장하기 위해 허네스 설계의 문제점을 인식하고 개선된 평가 방법을 적용해야 한다.
로컬 소형 언어 모델(SLM)이 클라우드 대형 언어 모델(LLM)과 상담할 때 사용자의 작업 의도(task intent)를 보호하는 새로운 방법 PriCon을 제안한다. PriCon은 작업 자체를 수학적 재구성으로 변환하여 작업 의도 추론 성공률을 0%에 가깝게 낮추며, 기존 민감값 제거와 가짜 요청 기반 보호보다 훨씬 효과적이다.
시사점 PriCon은 로컬-클라우드 언어 모델 상담 시 작업 의도를 보호하는 새로운 접근법으로, 기존 방법보다 훨씬 효과적인 보안을 제공한다.
LLM 에이전트가 실제 시스템을 조작할 수 있는 권한을 가짐에 따라, 서브에이전트의 ID 위조를 통한 공격 가능성을 분석하고 TrustFork라는 새로운 보안 벤치마크를 제안한다. TrustFork는 1,890개의 작업과 16개 에이전트 시스템에서 72.0%의 경우에 위험한 응답을 실행하는 것을 보여준다.
시사점 LLM 에이전트 오케스트레이션 시스템에서 ID 기반 권한 부여 방식의 취약점을 인식하고, 실행 전 증거 검증 방식을 도입해야 한다.
기존 취약점 탐지 벤치마크는 에이전트가 도달한 결론을 평가하지만, VulContextBench는 에이전트가 결론에 의존하는 코드를 검색하는 능력을 평가한다. 111개의 취약점 도입 커밋(VIC)을 기반으로 83개 저장소, 63개 CWE, 5개 언어를 포함한 벤치마크를 제시하고, 7개 최첨단 모델을 파일, 블록, 라인 단위로 정밀도, 재현율, F1 점수로 평가했다.
시사점 이 연구는 코딩 에이전트가 취약점을 도입하는 커밋을 분석할 때 실제 증거를 검색하는 능력을 평가하는 새로운 벤치마크를 제시하여, 기존 벤치마크의 한계를 보완할 수 있다.
공개 풋프린트에서 유추되는 정보를 측정하고 감소시키는 프레임워크를 제안한다. 128개 질문을 기반으로 16개 합성 기업을 대상으로 실시한 실험에서, 93%의 정확도를 달성한 분석기와 49-73%의 정확도를 보인 언어 모델 간의 차이를 보인다.
시사점 이 연구는 공개 정보를 통해 유추되는 민감 정보를 측정하고 감소시키는 방법을 제시하여, 개인정보 보호 및 보안 실무에 기여할 수 있다.
보안 운영 센터(SOC)에서 매일 수많은 경고를 처리해야 하는 문제를 해결하기 위해, REFINE이라는 LLM 에이전트 프레임워크를 제안한다. REFINE은 분석가의 전문성을 구조화된 기술로 인코딩하고, 분석가의 피드백을 사용하여 지속적으로 적응하며, 모든 진화 집합에서 recall=1.0을 달성한다.
시사점 이 결과로 실무에서는 보안 운영 센터의 경고 분류 작업을 자동화하고, 분석가의 전문성을 반영한 지속적인 적응 프레임워크를 도입할 수 있다.
AI 에이전트 허네스가 작성한 기록의 신뢰성을 평가하기 위해 14개 작업을 5개 허네스에서 실행하고, 3명의 LLM 감사자와 인적 패널이 기록을 분석했다. 140개 실행 중 74~91%에서 감사자가 올바른 결함을 지목했으나, 실제 과정 증명은 벤치마크가 추가한 2개 파일만 가능했으며, 10개 중 1개 미만의 인용이 허네스 외부에서 작성된 것으로 확인되었다.
시사점 에이전트 허네스 기록의 신뢰성을 확보하려면 허네스 외부에서 작성된 로그를 별도로 유지해야 한다.
LLM 에이전트가 복잡한 보안 로그에서 APT 공격 체인을 재구성하는 능력을 평가하는 벤치마크인 CyberClear을 제안한다. CyberClear은 단계별 공격 분석, 인과 관계 추론, MITRE ATT&CK 기술 매핑 등을 평가하며, 기존 텍스트 유사도 기반 평가와 달리 의미론적 일관성을 중점으로 한다.
시사점 이 연구는 LLM 에이전트의 보안 로그 분석 능력을 체계적으로 평가할 수 있는 새로운 벤치마크를 제시하여, APT 공격 탐지 및 분석 도구의 개발에 기여할 수 있다.
SkillDRE는 악성 에이전트 스킬을 실행 전 및 런타임 방어 피드백을 통해 이중 단계로 진화시키는 자동화 프레임워크이다. SkillsBench에서 평가한 결과, 4개의 피해 모델에서 평균 공격 성공률이 45.28%로 기존 최강 기준 대비 40.3% 높았으며, 최종 제출된 스킬은 SkillScan 탐지 결과가 없었다.
시사점 이 연구는 레드팀 테스트에서 실행 전 및 런타임 방어를 모두 고려한 이중 피드백 방식의 중요성을 보여주며, 보안 테스트 전략에 새로운 접근을 제시한다.
신경망 이미지 워터마킹 시스템의 잔차 전이 가능성(residual transferability)을 정식화하고, 이를 억제하는 두 가지 메커니즘과 기존 시스템에 적용 가능한 CoverLock 전략을 제안한다. 잔차 전이 가능성은 워터마킹 시스템 간의 아키텍처 설계에 큰 영향을 받으며, CoverLock은 기존 방어 기법보다 보안-로버스트성의 균형을 더 잘 유지한다.
시사점 이미지 워터마킹 시스템 설계 시 잔차 전이 가능성에 대한 이해를 바탕으로 보안성을 강화할 수 있으며, 기존 시스템에도 CoverLock 전략을 적용해 위조 저항성을 향상시킬 수 있다.
보안 트랜스포머 추론에서 비용을 줄이기 위해 구조화된 차수 희소화 기법을 제안한다. BERT/SST-2에서 92.68% 정확도를 110.55초에 달성하여 기존 방법 대비 2.29~6.63배 빠르게 처리한다.
시사점 DegreeSpar는 보안 트랜스포머 추론의 비용 효율성을 향상시켜 실시간 처리가 필요한 보안 AI 시스템에 적용할 수 있다.
LLM 에이전트의 지속 메모리 보안 문제를 분석하고, Backchain Memory Attack(BMA)이라는 새로운 공격 기법을 제안한다. BMA는 18.8%의 Path-CASR을 달성했으며, 기존 기법 대비 60.3%의 인증된 효과를 보인다.
시사점 LLM 에이전트의 지속 메모리 보안을 강화하기 위해 기존 접근 방식을 재검토해야 한다.
언어 모델의 누출 여부를 인증하기 위한 계산적 조건을 이론적으로 분석하고, 다양한 제한 조건 하에서 인증의 계산 복잡도를 조사한다. 41.06%의 쌍에서 256개 평가가 누출을 놓친다는 실험 결과를 보인다.
시사점 이 연구는 언어 모델의 누출 여부를 인증할 때 고려해야 할 계산적 조건과 평가의 한계를 실무적으로 이해하는 데 도움을 준다.
개방형 가중치 툴 호출 에이전트에 숨겨진 백도어 공격인 SilentCall을 제시하고, 런타임 모니터링과 가중치 분포 감사 등을 통해 탐지하는 방법을 제안한다. SilentCall은 특정 조건에서 사용자 인증 정보를 유출하는 툴 호출을 실행하며, 이는 정량적으로 99.6%의 요청에서 발동된다.
시사점 개방형 가중치 에이전트를 사용할 때는 모델의 자체 진술보다 런타임 모니터링과 모델 감사를 통해 툴 접근을 보안 표면으로 다뤄야 한다.
포스트 퀀텀 시대를 위한 프라이빗 클라이언트 측 검증 블록체인 기술인 Compact Shielded CSV를 제안한다. 단일 입력 거래 시 체인 상의 풋프린트는 해시 3개(3x32 바이트)로, 기존 서명 방식을 완전히 제거한 새로운 메커니즘인 degriefer를 도입하여 이중 지출을 방지한다.
시사점 이 연구는 퀀텀 저항성 암호화 기반의 프라이빗 블록체인 구현 방식을 제시하여, 향후 포스트 퀀텀 시대의 디지털 결제 시스템 설계에 참고가 될 수 있다.
랜섬웨어 공격으로 피해를 입은 의료기관과 보험사의 정보를 법적·경제적 동기로 인해 공유하지 않는 문제를 해결하기 위해, 공개된 소셜 미디어 게시글을 분석하여 공격의 영향을 파악하는 방법을 제안한다. 2018년부터 2024년까지 1,628개의 페이스북과 레딧 게시글을 수집하고, 212건의 랜섬웨어 공격과 매칭한 후 정량적·정성적 분석을 통해 공격이 의료 인프라, 환자 치료, 의료 제공자에 미치는 영향을 조사했다.
시사점 이 연구는 의료 랜섬웨어 공격의 실질적 영향을 파악하기 위해 소셜 미디어 데이터를 활용할 수 있음을 보여주며, 법적·제도적 장벽이 있는 상황에서 대체 정보 수집 방법을 제시한다.
이 연구는 IoT 네트워크에서 온라인 AutoML 시스템에 대한 회피 공격의 영향을 평가하고, 비용-효용 기반 적대적 훈련 방어 전략의 효과성을 분석했다. AT 버전의 LB와 SRP가 최고의 적대적 정확도(0.985)와 높은 정상 정확도(0.993)를 달성했다.
시사점 이 연구는 온라인 AutoML 시스템의 보안 강화를 위해 적대적 훈련 방식을 고려할 필요성을 제시한다.
유전 디지털 트윈이 센서와 일치하지 않을 때, 하드웨어 노후화, 혹한 날씨 영향, 악의적 데이터 조작을 구분하는 방법을 시뮬레이션으로 연구했다. 15개 센서와 4개 우물의 시뮬레이션 환경에서, 물리 기반 트윈을 사용한 분류기의 정확도는 0.818 macro-F1을 달성했으며, 비용 기반 정책이 144개 시나리오에서 가장 낮은 예상 비용을 보였다.
시사점 유전 시스템의 센서 편차 원인을 분석하는 확률적 속인식과 비용 기반 결정 프레임워크를 설계할 수 있다.
지식 증류(KD) 과정에서 모델 도용을 방지하기 위해 하드웨어 기반의 물리적 복제 불가 함수(PUF)를 사용한 새로운 지문 프레임워크를 제안한다. 실험 결과, 이 프레임워크는 노이즈 조건에서도 높은 탐지 정확도를 유지하며, 일반적인 KD 후 수정에도 지문이 견고하다는 것을 보인다.
시사점 이 연구는 AI 모델 도용 시 추적성을 확보할 수 있는 실용적인 하드웨어 기반 기법을 제시하여, 분산된 AI 배포 환경에서 모델 보호에 기여할 수 있다.
TokenScanner는 텍스트-이미지 생성 모델의 LoRA에 숨겨진 백도어를 탐지하기 위해 토큰별 반응을 분석하는 방식을 제안한다. 840개의 백도어 LoRA와 840개의 양성 LoRA를 대상으로 한 실험에서 95.96% AUC와 96.55% TPR을 달성했다.
시사점 이 연구는 LoRA 모델 사용 전에 백도어를 사전에 탐지할 수 있는 실용적인 방법을 제공한다.
클라우드 기반 대형 언어 모델(LLM) 서비스의 암호화 트래픽에서 모델, 프롬프트, 작업 행동을 추론하는 트래픽 분석 공격을 대규모로 측정하고 벤치마크를 제시한다. 60,000개의 사용자-LLM 상호작용과 2,838개의 다중 에이전트 실행을 기반으로 모델 식별 정확도 97.7%, 프롬프트 범주 식별 정확도 76.7%, 다중 에이전트 작업 식별 정확도 90.7%를 달성한다.
시사점 클라우드 LLM 서비스의 암호화 트래픽에서도 모델 및 작업 정보가 유출될 수 있으므로, 트래픽 분석 공격에 대한 대응이 필요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.