코딩 에이전트의 최종 패치에 워터마크를 삽입하는 기존 방법은 제출된 아티팩트의 출처를 증명하지만, 생성 과정을 인증하지 못한다. TrajMark은 소유권을 강력하게 추적하면서 로컬한 수정을 감지할 수 있는 트레이스 워터마킹 프레임워크로, 3개의 코딩 에이전트 프레임워크와 3개의 LLM에서 정확한 소유자 복원률 100%, 수정 탐지률 95.5%-100%, 수정 사이트 정위치율 95.8%를 보였다.

TrajMark은 코딩 에이전트의 작업 흐름을 보호하고 위조를 탐지하는 데 활용할 수 있으며, 소프트웨어 개발 과정의 무결성을 검증하는 데 유용하다.

AI 보안트레이스 워터마킹소유권 추적위조 탐지PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Ben Merbaum 외 5명

Maverick: 행렬-벡터 곱셈 위임을 통한 비공개 및 검증 가능한 LLM 추론 실현

Maverick는 행렬-벡터 곱셈 위임 프로토콜을 기반으로 사용자의 입력 비공개성과 추론 결과의 검증성을 보장하는 대형 언어 모델(LLM) 추론 방식이다. Maverick는 17x에서 157x까지의 처리량 향상을 달성했다.

이 연구는 대형 언어 모델 추론 시 사용자의 입력 비공개성과 검증성을 동시에 보장하면서 처리량을 향상시킬 수 있는 새로운 기술을 제시한다.

LLM 추론행렬-벡터 곱셈비공개성검증성PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Zhantong Xue 외 5명

제로지식 머신러닝 회로에서 불필요한 검증 제거

제로지식 증명(ZK) 시스템에서 신경망 추론을 위한 회로에서 불필요한 검증을 제거하는 자동화된 프레임워크를 제안한다. 회로 제거 후 보안성을 보장하기 위해 전체 회로 추상 해석을 사용하여 대체 증명 경로를 검증한다.

이 연구는 ZK 기반 머신러닝 회로의 성능을 향상시키는 동시에 보안성을 유지하는 방법을 제공하여, ZK 기술을 활용한 애플리케이션 개발에 실질적인 도움을 줄 수 있다.

제로지식 증명머신러닝회로 최적화보안성 보장PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Hanyi Zhou 외 5명

오버플로우 기반 온디바이스 LLM 보호의 보안 경계 이해

TEE-Shielded LLM Partition(TSLP) 방식의 보안 경계를 분석하고 공통 원리를 정의하여 공격에 대한 취약점을 밝혔다. Collapse 공격을 통해 ArrowCloak, TSQP, LoRO 등의 TSLP 방식이 취약함을 실증했다.

TSLP 방식의 보안 경계를 이해하고 새로운 공격에 대비하기 위해 O_ext와 같은 확장된 방어 기법을 고려해야 한다.

TEELLM 보호보안 경계오버플로우PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Jinyang Li 외 2명

CS-Guard: 코드 생성 보안을 위한 LLM 보호 장치 벤치마크

LLM이 악성코드를 생성하는 것을 방지하는 보호 장치(guardrail)의 효과성을 체계적으로 평가하기 위해 CS-Guard 벤치마크를 제안한다. 텍스트-코드 생성에서 평균 공격 성공률(ASR)은 제약 해제 공격 후 약 50%, 코드-코드 생성에서는 기반 LLM에서 100%에 달한다.

코드 생성 시 보호 장치의 효과가 낮아, 실무에서는 보호 장치를 보완하거나 추가적인 검증 절차를 도입해야 한다.

LLM코드 생성보호 장치보안 벤치마크PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Yi Shi 외 2명

안전 정렬의 취약성: 320B MoE 모델에 대한 단일 방향 공격

연구팀은 기존의 directional ablation 공격이 대규모 혼합 전문가(MoE) 모델에서 여전히 효과적임을 보였다. 320B 파라미터 GLM-5.3-Flash 모델에서 74%의 효과가 조인트 인터벤션에만 존재하는 것으로 나타났다.

이 연구는 대규모 MoE 모델의 안전 정렬이 기존 공격에 취약함을 보여주어, 모델 보안 설계 시 새로운 고려가 필요하다.

안전 정렬혼합 전문가 모델directional ablationAI 보안PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Thomas Rivasseau

대규모 언어 모델 대상 임의 암호 공격(arbitrary cipher attack)의 탈옥 가능성

대규모 언어 모델에서 탈옥 공격을 위해 암호화된 문장을 학습시켜 악의적인 응답을 유도하는 임의 암호 공격을 제시하고, Anthropic, Google, OpenAI의 최첨단 모델에서 성공적으로 작동함을 보였다. 암호화된 악의적 콘텐츠는 기존 해로운 콘텐츠 분류기를 우회할 수 있다.

대규모 언어 모델의 탈옥 공격 방식으로 암호화된 문장을 활용하는 새로운 공격 벡터가 등장하여, 기존 해로운 콘텐츠 필터링 방식의 한계를 드러낸다.

대규모 언어 모델탈옥 공격암호 공격모델 정렬 우회PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Quoc Viet Nguyen 외 6명

딥페이크 오디오 탐지를 위한 시간적 일관성 분석

딥페이크 오디오를 탐지하기 위해 시간적 일관성 분석 프레임워크를 제안한다. CLAP 임베딩을 기반으로 오디오 구간 간 코사인 유사도를 계산하고, 분포에서 통계적 특성을 추출하여 경량 앙상블 분류기를 학습시켰으며, 21개의 통계적 특성이 학습과 실제 배포에서 구분 방향이 뒤바뀌는 현상을 발견했다.

이 연구는 딥페이크 오디오 탐지에 있어 시간적 일관성 분석을 통해 경량화된 방법으로도 높은 성능을 달성할 수 있음을 보여준다.

딥페이크 오디오시간적 일관성 분석CLAP 임베딩앙상블 분류기PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Jaechul Roh 외 3명

DuplexJail: 풀더플렉스 모델에서 말한 중간 인터럽션으로 안전 정렬이 붕괴된다

풀더플렉스 음성 모델에서 사용자의 음성 입력을 수신하면서 응답을 생성하는 과정에서 발생하는 공격 표면을 분석하고, 새로운 공격 기법 DuplexJail을 제안한다. 4개 오픈소스 모델과 720개 해악 요청을 대상으로 실험한 결과, 고정 지연 인터럽션이 PersonaPlex와 PersonaPlex-RL에서 각각 40.3%와 48.7%의 공격 성공률을 보였다.

풀더플렉스 음성 모델의 안전 정렬이 말한 중간 인터럽션에 의해 붕괴될 수 있으므로, 지속적인 상호작용 중 안전성을 평가해야 한다.

풀더플렉스 모델(full-duplex model)DuplexJail안전 정렬(safety alignment)음성 인터럽션PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Viet K. Nguyen, Mohammad I. Husain

멀티모달 프롬프트 인젝션 공격(prompt injection)의 agentic AI 프레임워크에 대한 실험적 평가

연구팀은 agentic AI 프레임워크에 대한 멀티모달 프롬프트 인젝션 공격을 평가하기 위한 MMPIBench 벤치마크를 제안하고, 720회 실험을 통해 공격 성공률이 약 1%이지만 시도율은 12.8%에 달하는 것을 보였다. 공격 시도는 대부분 계획 단계에서 차단되며, 모델 종류에 따라 공격 시도율 차이가 큰 것으로 나타났다.

agentic AI 프레임워크는 멀티모달 입력을 통해 프롬프트 인젝션 공격에 노출될 수 있으므로, 특히 모델 수준의 방어 강화가 필요하다.

프롬프트 인젝션(prompt injection)agentic AI멀티모달 공격MMPIBenchPDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Md. Wasiul Haque 외 2명

LLMSec-AV: 자율주행차(AV) 취약점 분류체계 및 LLM 기반 소프트웨어 취약점 탐지 프레임워크

자율주행차(AV)의 안전성에 영향을 주는 소프트웨어 취약점을 효과적으로 탐지하기 위해 LLM을 활용한 분석 프레임워크 LLMSec-AV를 제안한다. 18개의 취약점 분류체계를 구축하고, 이를 통해 기존 정적 분석 도구보다 높은 탐지 성능을 보인다.

LLMSec-AV는 자율주행차 소프트웨어의 취약점을 탐지하는 데 LLM을 효과적으로 활용할 수 있음을 보여주어, 실무에서 기존 분석 도구와 병행하여 사용할 수 있다.

LLM자율주행차취약점 분류체계소프트웨어 분석PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Iliano Fasolino

문서 오염(document poisoning) 공격에 대한 RAG 시스템의 견고성 측정

RAG 시스템의 견고성을 문서 오염 공격에 대해 측정하여, 일부 검색된 문서가 오염되었을 때 정확도가 77.9%에서 43.5%로 감소함을 보였다. Entity swap 공격이 가장 많은 정답을 뒤바꾸는 것으로 나타났다.

RAG 시스템은 문서 오염 공격에 취약할 수 있으므로, 검색된 문서의 신뢰성을 철저히 검증해야 한다.

RAG문서 오염ai-security정확도 감소PDF 있음

arXivAI 보안 · 프리프린트 · 2일 전Zhihao Liu 외 9명

AgentHijack: 컴퓨터 사용 에이전트(Multimodal Computer-Use Agents)에 대한 시각적 패치 공격

이 연구는 컴퓨터 사용 에이전트(CUAs)에 대한 이미지 트리거로 인한 명령 주입 공격을 종단간 평가하는 프레임워크를 제시한다. 실험에서 84.5%의 T-ASR, 47.0%의 TAPR, 20.3%의 E2E-ASR를 달성했으며, 일부 성공 사례에서 에이전트가 악성 터미널 명령을 실행한 후 원래의 선량한 작업을 계속하는 경로를 보였다.

이 연구는 컴퓨터 사용 에이전트의 시각적 입력 취약점을 보여주어, 실무에서는 이러한 공격 방식에 대한 보호 조치를 강화해야 한다.

에이전트 보안시각적 공격명령 주입VLMPDF 있음

ESETAI 보안 · 기술 리포트 · 3일 전WeLiveSecurity

안전 단어(safe word): 무엇이며 왜 필요한가?

AI 음성 사기의 예방 방법으로 안전 단어를 제안하고, 사기 수법과 대응 전략을 설명한다. 24%의 미국인이 최근 12개월 내 딥페이크 음성 전화를 받았다고 보고한다.

가족 간 사전에 약속된 안전 단어를 설정함으로써 딥페이크 음성 사기를 효과적으로 예방할 수 있다.

AI 음성 사기딥페이크안전 단어사기 예방

arXivAI 보안 · 프리프린트 · 3일 전Xinhong Xie 외 3명

허니팟 인식 LLM 기반 펜테스트

LLM 기반 공격 에이전트가 허니팟을 인식하고 예산을 할당하는 전략을 연구하여, 예산이 제한된 상황에서 효과적인 펜테스트를 수행하는 방법을 제시한다. 허니팟 의심이 생기면 공격을 중단하거나 건너뛰는 정책을 제안하고, 이를 통해 호스트 풀에서 호스트를 침해하는 데 예산을 효과적으로 할당할 수 있음을 보인다.

LLM 기반 공격 에이전트가 허니팟을 인식하는 능력을 고려하여 예산을 동적으로 할당하는 전략을 설계해야 한다.

LLM펜테스트허니팟공격 에이전트PDF 있음

arXivAI 보안 · 프리프린트 · 3일 전Jiahao Shi 외 12명

VEX-Bench: 소프트웨어 공급망 취약점 공격 가능성 평가를 위한 LLM 에이전트 벤치마크

LLM 에이전트가 소프트웨어 공급망 취약점의 공격 가능성 평가 능력을 평가하기 위한 새로운 벤치마크 VEX-Bench를 제안하고, 75개 실제 사례를 기반으로 9개 모델을 평가했다. GPT-5.5는 이진 분류에서 약 80% F1, 세부 사유 분류에서 70% 이상 macro-F1을 달성했다.

이 연구는 LLM 에이전트가 소프트웨어 공급망 보안 분석에 활용될 수 있음을 보여주며, 실제 취약점 평가 과정에서의 성능 한계를 드러낸다.

LLM 에이전트소프트웨어 공급망 보안취약점 평가VEX-BenchPDF 있음

arXivAI 보안 · 프리프린트 · 3일 전Yunze Han

포스트-퀀텀 보호가 단일 피어에 의해 제대로 차단될 수 없다

포스트-퀀텀 보호는 피어 간 관계에 따라 제공되며, 단일 피어가 이를 제대로 제어할 수 없음을 보인다. 40개 중 40개 에피소드에서 보안 퇴화가 발생함을 실험으로 확인했다.

포스트-퀀텀 보호의 적용 상태를 자동 감지하는 기존 도구는 실패하며, 보안 퇴화를 실시간으로 감지해야 한다.

포스트-퀀텀 보호(post-quantum protection)피어 관계(peer relation)보안 퇴화(security degradation)자동 감지(automated detection)PDF 있음

연구·리포트 참고 자료

감금 해제 평가자에 대한 실증적 측정

PuzzleMask: 일반 텍스트를 암호 공격 벡터로 악용

자율 형식 논리 모델링과 자동 추론을 통한 애플리케이션 논리 결함 해결

TrajMark: 코딩 에이전트 트레이스에 대한 소유권 추적과 세그먼트 수준 위조 탐지