연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
MNIST와 Fashion-MNIST 데이터셋을 사용하여 라벨 뒤집기와 백도어 오염 공격이 로지스틱 회귀, 선형 SVM, 랜덤 포레스트 분류기의 성능에 미치는 영향을 평가하였다. 5%, 10%, 20%의 오염률에서 정확도, 정밀도, 재현율, F1 점수, 공격 성공률을 비교하여 라벨 뒤집기는 로지스틱 회귀와 선형 SVM에서 큰 성능 저하를, 백도어 오염은 높은 공격 성공률(0.9667~1.0000)을 보였다.
시사점 이 연구는 데이터 오염 공격이 기존 모델의 성능에 미치는 영향을 실증적으로 보여주어 보안 평가 시 기존 지표 외에도 공격 성공률을 고려해야 함을 시사한다.
LLM 에이전트에서 프롬프트 인젝션 공격을 탐지하고 정위치하기 위해 듀얼 헤드 경로 트랜스포머인 DriftNet을 제안한다. AgentDrift 벤치마크에서 경로 수준 F1 0.983, 정확한 주입점 복구 98.7%, 히잭된 구간 IoU 0.979를 달성했다.
시사점 DriftNet은 LLM 에이전트의 프롬프트 인젝션 공격 탐지 및 정위치에 있어 높은 성능을 보여주며, 보안 실무자들이 공격 분석과 대응에 활용할 수 있다.
기존 취약점 분석은 시스템 접근이나 동적 상호작용을 필요로 하지만, 이 연구는 접근이나 실행 시 상호작용 없이 기능성 메타데이터만을 이용한 새로운 no-box 취약점 분석 패러다임을 제안한다. MCPSEC 프로토타입을 구현하여 MCP 서버의 간접 프롬프트 인젝션 취약점을 탐지하고, 177개 도구 중 143개를 취약한 것으로 판별해 94개(98.9% 리콜)의 실제 취약점을 예측했다.
시사점 이 연구는 접근이 제한된 시스템에서도 메타데이터만으로 취약점을 분석할 수 있는 새로운 패러다임을 제시하여, 보안 분석 실무에 혁신적인 접근법을 제공한다.
Kimi K2.5와 Claude Opus 4.8 기반 펜테스트 시스템을 비교해, 자율 시스템이 3개 공개 대상 모두를 해결한 반면 기존 시스템은 2개를 완료하지 못했다. 자율 시스템은 보통 대학 GPU에서 실행되며, 메모리 구조와 자율성 변화가 성능 향상에 기여한 것으로 보인다.
시사점 펜테스트 에이전트의 능력이 빠르게 상승하고 있으므로, 방어자는 이러한 능력 상승을 지속적으로 모니터링해야 한다.
정적 분석을 통과한 보안 민감 및 LLM 생성 파이썬 코드의 동적 취약점을 측정하는 SPDF 현상과 세 단계 파이프라인을 제안한다. 1,355개 샘플 중 14.53%에서 동적 취약점이 확인되었다.
시사점 정적 분석 통과를 보안 보장의 최종 증거로 간주하는 관행을 재검토해야 하며, 동적 검증을 병행하는 평가 체계가 필요하다.
CARTS는 오토회귀 언어 모델을 활용하여 텍스트를 동일 길이의 스테가노그래피 텍스트로 변환하는 기법이다. Llama 3 8B 모델을 사용한 실증 연구에서 원본 페이로드의 정확한 복원과 키 충돌이 발생하지 않는 것을 확인하였다.
시사점 이 연구는 언어 모델을 암호화 및 프라이버시 보호 통신에 활용할 수 있는 이론적 기반을 제공한다.
LLM을 SOC에 통합할 때 발생하는 간접 프롬프트 인젝션 취약점을 해결하기 위해 결정론적 및 신경망 기반 방어를 결합한 새로운 아키텍처를 제안한다. MITRE ATLAS 세트를 기준으로 다양한 프롬프트 인젝션을 대상으로 실험 평가를 수행하여 프롬프트웨어 킬체인을 효과적으로 해체함을 보인다.
시사점 이 연구는 AI-SOC에서 LLM을 보호하기 위한 실용적 방어 전략을 제시하여, 보안 운영센터의 위협 탐지 및 대응 능력을 향상시킬 수 있다.
멀티모달 대형 언어 모델에서 발생하는 컨텍스트 내 학습 탈옥 공격을 포스터리어 재가중 프레임워크를 통해 이론적으로 설명하고, 안전한 행동을 유도하는 방어 기법을 제안한다. 실험 결과, 기존 방어 기법 대비 개선된 견고성-유틸리티 균형을 달성했다.
시사점 이 연구는 멀티모달 언어 모델의 탈옥 공격 이해와 방어에 새로운 이론적 기반을 제공하며, 실무적으로는 보다 효과적인 방어 기법의 개발을 촉진할 수 있다.
본 연구는 블랙박스 환경에서 대형 언어 모델의 멤버십 추론 공격을 수행하기 위한 새로운 기법인 WPMIA를 제안한다. WPMIA는 단어 레벨 확률 추정을 통해 기존 블랙박스 기준을 평균 TPR@5%FPR 42.0으로 초과하는 성능을 보인다.
시사점 이 연구는 블랙박스 멤버십 추론 공격의 효과성을 입증하여, 대형 언어 모델의 개인정보 보호 리스크를 평가하는 데 중요한 참고 자료가 된다.
복합 AI 파이프라인의 비결정성을 고려한 무신뢰 검증 프로토콜을 제안하고, 샘플 수보다 임계값 선택이 검증의 한계를 결정하는 것을 보인다. 합의 없이 k=5 재실행에서 44/45 정직 재현을 수용하고 104/105 분기 쌍을 거부했으나, 동일 입력 위조는 27/29 시도에서 성공한다.
시사점 복합 AI 워크플로우 검증 시 샘플 수보다 임계값 설정이 더 중요하며, 무신뢰 환경에서의 한계를 이해해야 한다.
감금 해제 공격의 성공 여부를 자동 평가하는 다양한 평가자를 비교 분석하였다. JADES가 가장 높은 성능을 보였다.
시사점 감금 해제 공격 평가 시 JADES를 사용하는 것이 효과적일 수 있다.
PuzzleMask는 기존 LLM 기반 정책 검사를 우회하기 위해 일반 영어 텍스트를 특수하게 구성한 공격 기법이다. 정책 위반 페이로드를 특수하게 구성된 텍스트로 감싸서 탐지 회피를 시도한다.
시사점 이 기법은 기존 LLM 기반 정책 검사의 한계를 드러내며, 보다 정교한 프롬프트 분석 기법이 필요하다.
LL-Verifier라는 새로운 자동화된 프레임워크를 제안하여, 대규모 언어 모델과 논리 모델 체커를 결합하여 애플리케이션의 논리 결함을 식별한다. 27개의 IoT 장치 액세스 제어 프로토콜에서 다양한 논리 취약점을 발견했다.
시사점 이 연구는 IoT 프로토콜의 논리 결함을 자동으로 탐지할 수 있는 프레임워크를 제시하여, 실무에서 보안 분석의 효율성을 높일 수 있다.
코딩 에이전트의 최종 패치에 워터마크를 삽입하는 기존 방법은 제출된 아티팩트의 출처를 증명하지만, 생성 과정을 인증하지 못한다. TrajMark은 소유권을 강력하게 추적하면서 로컬한 수정을 감지할 수 있는 트레이스 워터마킹 프레임워크로, 3개의 코딩 에이전트 프레임워크와 3개의 LLM에서 정확한 소유자 복원률 100%, 수정 탐지률 95.5%-100%, 수정 사이트 정위치율 95.8%를 보였다.
시사점 TrajMark은 코딩 에이전트의 작업 흐름을 보호하고 위조를 탐지하는 데 활용할 수 있으며, 소프트웨어 개발 과정의 무결성을 검증하는 데 유용하다.
Maverick는 행렬-벡터 곱셈 위임 프로토콜을 기반으로 사용자의 입력 비공개성과 추론 결과의 검증성을 보장하는 대형 언어 모델(LLM) 추론 방식이다. Maverick는 17x에서 157x까지의 처리량 향상을 달성했다.
시사점 이 연구는 대형 언어 모델 추론 시 사용자의 입력 비공개성과 검증성을 동시에 보장하면서 처리량을 향상시킬 수 있는 새로운 기술을 제시한다.
제로지식 증명(ZK) 시스템에서 신경망 추론을 위한 회로에서 불필요한 검증을 제거하는 자동화된 프레임워크를 제안한다. 회로 제거 후 보안성을 보장하기 위해 전체 회로 추상 해석을 사용하여 대체 증명 경로를 검증한다.
시사점 이 연구는 ZK 기반 머신러닝 회로의 성능을 향상시키는 동시에 보안성을 유지하는 방법을 제공하여, ZK 기술을 활용한 애플리케이션 개발에 실질적인 도움을 줄 수 있다.
TEE-Shielded LLM Partition(TSLP) 방식의 보안 경계를 분석하고 공통 원리를 정의하여 공격에 대한 취약점을 밝혔다. Collapse 공격을 통해 ArrowCloak, TSQP, LoRO 등의 TSLP 방식이 취약함을 실증했다.
시사점 TSLP 방식의 보안 경계를 이해하고 새로운 공격에 대비하기 위해 O_ext와 같은 확장된 방어 기법을 고려해야 한다.
LLM이 악성코드를 생성하는 것을 방지하는 보호 장치(guardrail)의 효과성을 체계적으로 평가하기 위해 CS-Guard 벤치마크를 제안한다. 텍스트-코드 생성에서 평균 공격 성공률(ASR)은 제약 해제 공격 후 약 50%, 코드-코드 생성에서는 기반 LLM에서 100%에 달한다.
시사점 코드 생성 시 보호 장치의 효과가 낮아, 실무에서는 보호 장치를 보완하거나 추가적인 검증 절차를 도입해야 한다.
연구팀은 기존의 directional ablation 공격이 대규모 혼합 전문가(MoE) 모델에서 여전히 효과적임을 보였다. 320B 파라미터 GLM-5.3-Flash 모델에서 74%의 효과가 조인트 인터벤션에만 존재하는 것으로 나타났다.
시사점 이 연구는 대규모 MoE 모델의 안전 정렬이 기존 공격에 취약함을 보여주어, 모델 보안 설계 시 새로운 고려가 필요하다.
대규모 언어 모델에서 탈옥 공격을 위해 암호화된 문장을 학습시켜 악의적인 응답을 유도하는 임의 암호 공격을 제시하고, Anthropic, Google, OpenAI의 최첨단 모델에서 성공적으로 작동함을 보였다. 암호화된 악의적 콘텐츠는 기존 해로운 콘텐츠 분류기를 우회할 수 있다.
시사점 대규모 언어 모델의 탈옥 공격 방식으로 암호화된 문장을 활용하는 새로운 공격 벡터가 등장하여, 기존 해로운 콘텐츠 필터링 방식의 한계를 드러낸다.
추천 시스템에 대한 기존 시링 공격의 한계를 극복하기 위해 Coordinato가 여러 에이전트를 조정하는 Agentic Group Attack System (AGAS)을 제안한다. AGAS는 다양한 공격 대상에 걸쳐 표적 아이템을 적응적으로 홍보하면서 양성 추천 품질을 유지하고, 기존 탐지기를 약화시키며, 이전 공격보다 더 높은 효율성을 달성한다.
시사점 추천 시스템 보안 강화를 위해 적응적 시링 공격에 대응하는 메커니즘을 고려해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.