연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 TS-Bench AgentDojo-Traj의 레이블링된 단계를 기반으로 LinguaGuardBench를 구축하고, 사용자 지시를 여러 언어로 번역하여 가드에 적용했다. 그 결과, 소규모 및 목적 기반 가드들은 번역에 따라 판단이 바뀌었으며, 특히 희귀 언어일수록 그 영향이 커졌다.
시사점 가드 모델의 판단은 요청의 언어에 민감할 수 있으므로, 언어적 차이에 따른 가드 동작의 일관성을 검토해야 한다.
본 연구는 공격자가 외부 아이템 텍스트에 접근할 경우, 아이템 임베딩이 아이템 정체성을 노출할 수 있음을 코사인 유사도 공격을 통해 입증했다. 이 정보 유출은 피해자 표현과 공격자 정보의 중첩 시 가장 강하게 나타났으며, 희소한 평점으로부터 사용자 재식별로 전파될 수 있음을 발견했다.
시사점 추천 시스템에서 아이템 임베딩을 사용할 경우, 외부 정보 접근에 따른 아이템 정체성 유출 위험을 인지하고 완화 방안을 고려해야 한다.
본 연구는 TEE 기반 LLM의 단방향 가중치 난독화가 가지는 '해결 결정성 속성(SDP)' 취약점을 발견하고, 이를 통해 기존 보호 기법들을 무력화시킬 수 있음을 보였다. 이에 대응하여 입력과 출력 차원을 공동으로 난독화하는 양방향 프레임워크인 BiShield-TEE를 제안했으며, 이는 공격 정확도를 블랙박스 기준선 수준으로 제한함을 실험을 통해 입증했다.
시사점 TEE 환경에서 LLM을 보호하려면 단방향 난독화 대신 입력과 출력을 함께 고려하는 양방향 방어 메커니즘을 적용해야 한다.
본 연구는 대규모 HNSW 기반 RAG 시스템에 대해 Hub-Satellite 구조를 이용한 위상 인식 토픽 수준 오염 공격을 제안하였다. 200만 문서 위키피디아 데이터셋에서 본 공격은 검색 성공률 72% 이상을 유지하며 공격 성공률 31.29%에 도달하였다.
시사점 HNSW 기반 RAG 시스템은 그래프 구조적 취약점을 가지며, 기존 오염 방어 기법으로는 이러한 공격을 완화하기 어렵다.
연구진은 LLM 기반 에이전트의 코드 및 프롬프트에 존재하는 출처 정보가 유출되는 현상을 '은닉적 재작성 공격(covert rewriting attack)'으로 정의하고, 이를 탐지할 수 있는 마킹 기법을 개발했다. 이 마킹 기법은 홀드아웃 게임에서 76개 중 62개 복사본에서 해당 출처를 탐지했으며, 공격자는 이를 무력화할 수 있음을 확인했다.
시사점 LLM 에이전트의 산출물에 대한 출처 추적을 위해서는 공격자의 의도적인 재작성 시도에 견딜 수 있는 견고한 마킹 기법이 필요하다.
연구진은 LLM을 활용하여 다양한 프로그래밍 언어의 코드를 변환하고, 동적 피드백을 통해 SAST 도구의 결함을 탐지하는 LLM4SAST 프레임워크를 개발하였다. 이 프레임워크는 6개 SAST 도구에서 66개의 고유 결함을 식별했으며, 기존 접근법 대비 3.4배 더 많은 결함을 탐지하면서도 필요한 변형은 39.8%에 불과했다.
시사점 LLM을 활용하여 SAST 도구의 결함을 체계적으로 탐지하고 검증하는 새로운 접근 방식이 가능하다.
본 연구는 물리적 포획 상황에서 작동하는 스트리밍 이미지 분류기의 모델 추출 공격에 대한 공격 표면을 분석하였다. 공격자는 적응형 공격을 통해 CIFAR-100에서 5초 만에 86.8%의 성공률을 보였으며, 사전 학습된 백본을 사용할 경우 5초 만에 97.3%의 정확도로 추출이 가능했다.
시사점 물리적 환경에서 모델을 운영할 경우, 공격자가 모델의 잔류물에 접근할 때 공격 성공률이 높아지므로 이에 대한 방어 전략을 고려해야 한다.
본 연구는 특징 기반 악성코드 분류기에 대한 클린-레이블 백도어 공격 시 트리거 값 선택 전략을 독립적인 설계 요소로 연구하였다. 공격 성공률은 높았으나, 특정 공격 벡터는 격리 포레스트(Isolation Forest)와 같은 정제(sanitization) 방법으로 탐지될 수 있음을 확인하였다.
시사점 트리거 값 선택은 공격의 효과뿐만 아니라 탐지 가능성 프로파일을 결정하는 중요한 설계 선택 사항이다.
본 연구는 RAG(Retrieval-Augmented Generation) 시스템에서 발생하는 프라이버시 위험에 대해 기존 DP-RAG 방법론들을 분류하고 분석했습니다. 연구는 단일 질의에서 다중 질의로 확장될 때 프라이버시 보장을 해석하는 데 필요한 세 가지 차원(프라이버시 세분성, 계산 범위, 공개 경계)을 제시합니다.
시사점 DP-RAG의 $\varepsilon$ 값은 보호 대상 단위, 계산 범위, 공개 경계라는 세 가지 요소와 함께 해석되어야 한다.
연구진은 지식 증류(Knowledge Distillation) 후에도 공격 효과를 유지하는 지원 지속형 백도어 공격 기법인 DAR을 제안하였다. 이 기법은 클린 데이터 증류 후에도 공격 성공률을 96% 이상 유지하며 방어에 강한 특성을 보였다.
시사점 모델 재사용 환경에서 지식 증류를 통한 백도어 제거는 불가능하며, 새로운 공격 기법에 대한 방어적 관점이 필요하다.
본 연구는 클라이언트 측에서 학습 가능한 손실 압축기(lossy compressor)를 사용하여 압축적이고 해석 가능한 표현을 생성함으로써 프라이버시 침해 위험을 줄이는 FedSumUp을 제안했다. 실험 결과, ChestMNIST에서 클라이언트 실행 시간을 최대 96.5% 감소시키면서도 경쟁적인 분류 정확도를 달성했다.
시사점 자원 제약적인 환경에서 연합 학습을 적용할 때, 프라이버시와 유틸리티 간의 균형을 맞추기 위해 압축 및 표현 공유 기법을 고려해야 한다.
본 연구는 맥락 의존적이고 상호 중첩되는 보안 인터뷰 데이터의 진정한 자기 공개를 분석하기 위해 CARE-SD라는 새로운 4모듈 아키텍처를 개발하였다. 이 아키텍처를 Llama 3B 등 세 가지 로컬 SLM에 적용한 결과, Llama 3B의 Macro-F1 점수가 0.80에서 0.88로 향상되었고, 근거 없는 주장은 60% 감소하였다.
시사점 CARE-SD 아키텍처는 대규모 모델 없이도 소형 모델의 분석 능력을 향상시켜, 제한된 환경에서 민감한 대화 내용을 신뢰성 있게 분석하는 데 도움을 준다.
연구진은 평가 출력값은 유지하면서도 배포 환경을 변조한 공격을 측정하는 DIB-Bench를 개발하고, 이를 통해 평가자 능력에 따른 변조 수용률이 규칙 기반에서 GPT-5-nano까지 88.6%에서 94.1%까지 상승함을 확인했다. 또한, 출력 변화가 없는 변조는 모든 샘플 크기에서 탐지 불가능하지만, 매니페스트 해시 채널은 제로 샘플로 탐지 가능함을 보였다.
시사점 LLM 평가 시 출력값 외에 배포 환경의 무결성을 검증하는 것이 중요하다.
본 연구는 에이전트의 승인 경로에 대한 12가지 공격을 정의하고, Agent Payments Protocol(AP2) 등 실제 프로토콜에 적용하여 취약점을 분석했다. 또한, ASU(Agent Step-Up)라는 방어 기법을 제안하고 27,108회의 시뮬레이션에서 공격 성공률을 0.54에서 0.03으로 낮추는 것을 입증했다.
시사점 에이전트의 중요한 행위에 대한 승인 과정은 공격에 취약할 수 있으므로, 신뢰할 수 있는 바인딩 메커니즘을 통해 승인 단계를 강화해야 한다.
본 연구는 모델 프라이버시, 데이터 프라이버시, 무결성 세 가지 보장을 동시에 제공하는 MPC 기반의 확장 가능한 연합 학습 시스템 NOMAI를 제안했다. NOMAI는 최대 10^6명 이상의 사용자에게 적용 가능하며, 각 반복 학습에 소요되는 사용자당 연산 시간을 각각 <350ms (준정직) 및 <700ms (악의적)로 줄였다.
시사점 대규모 사용자 환경에서 프라이버시와 무결성을 유지하며 연합 학습을 구현할 수 있는 새로운 MPC 기반 접근법이 가능하다.
연구진은 실제 에이전트 대화 기록을 편집하여 특정 피해를 유발하면서도 모니터링 시스템을 우회하는 공격 파이프라인 Screwtape을 개발했다. 이 파이프라인을 적용하여 252회 시도 중 35개의 공격이 검증되었으며, 이 중 6개는 외부 모니터도 우회함을 확인했다.
시사점 개발자는 이 공격을 사용하여 모니터링의 사각지대를 수정할 수 있으며, 평가자는 모니터의 안전성 주장에 대한 반례로 활용할 수 있다.
본 연구는 다양한 프롬프트 인젝션 탐지 모델들을 평가하고, 실제 운영 환경에서의 허용/차단/에스컬레이션과 같은 운영적 의사결정의 어려움을 분석했다. 평가 결과, LLM 심판기가 가장 높은 전반적 판별력(AUROC 0.897)을 보였으나, 모든 시스템이 1%의 위양성률 목표를 달성하려면 91.8% 이상의 에스컬레이션이 필요했다.
시사점 확률적 출력만으로는 분포 변화 상황에서 신뢰할 수 있는 보안 결정을 내리기 어려우며, 효과적인 LLM 보안 시스템은 탐지, 보정, 검토자 행동 및 운영 정책을 종합적으로 평가해야 한다.
본 연구는 LLM 코딩 에이전트가 공격 체인을 평면적으로 처리하는 한계를 지적하고, Neo4j 속성 그래프에 공격 단계를 외부화하여 추론하는 ChainGraph 패턴을 제시했다. 이 접근법은 단일 공격 단계의 중간 심각도 발견이라도 경로가 연결되면 전체 공격 경로상에서 치명적인 심각도로 격상될 수 있음을 보여주었다.
시사점 LLM 기반 공격 시나리오를 그래프 데이터베이스로 모델링하면, 공격 단계 간의 관계를 추적하여 전체적인 공격 성공 경로를 추론할 수 있다.
연구진은 CKKS 동형 암호화를 기반으로 건강 허위 정보 분류 및 의미 검색을 위한 개인 정보 보호 텍스트 추론 프레임워크를 설계했다. 이 하이브리드 분류기는 평문 및 암호문 기반 추론 모두에서 정확도 0.971, 매크로 F1 점수 0.950을 달성했으며, 최적화된 암호문 기반 검색은 지연 시간을 222.028초에서 5.168초로 줄였다.
시사점 본 연구는 건강 정보 분야에서 개인 정보 보호를 유지하면서도 텍스트 추론을 수행하는 기술적 실현 가능성을 입증한다.
연구진은 장기적 워크플로우를 수행하는 에이전트 시스템의 간접 프롬프트 인젝션(IPI)을 평가하기 위해 40가지 현실적 태스크와 56가지 공격 시나리오를 포함하는 INFUSE 벤치마크를 구축했다. 이 벤치마크를 통해 평가된 LLM들은 평균 공격 성공률이 19.6%(LLM 평가 기준)에 달했으며, 방어 기법 적용 시 공격 성공률은 14.3%로 감소했다.
시사점 에이전트 시스템의 보안을 평가하려면 초기 프롬프트뿐 아니라 전체 워크플로우 단계에서 발생하는 IPI 공격을 포괄적으로 검증해야 한다.
본 연구는 호출 전 읽기(call-before-read) 시맨틱스를 적용하고 가상적 접두사 비간섭(CPNI)을 결합한 CascadeLedger라는 감사 프레임워크를 소개했다. 이 프레임워크는 고정된 캐시 환경에서 0.0000의 오탐률로 0.9983%의 직렬화 오류와 0.9982%의 기록되지 않은 읽기 오류를 탐지했다.
시사점 LLM 기반 시스템의 각 단계별 정보 흐름과 자원 사용의 무결성을 검증할 수 있는 새로운 감사 메커니즘이 제시되었다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.