연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 검색 증강 생성(RAG) 시스템의 지식 오염(knowledge poisoning)에 대응하기 위해, 방어 전후의 깨끗한 및 오염된 응답을 함께 검토하는 정렬된 RAG 평가(Aligned RAG Evaluation) 프로토콜을 도입했다. 실험 결과, 기존 방어 기법이 예상치 못한 목표 긍정 답변을 유발할 수 있으며, 평가 기준 자체가 방어 순위를 바꿀 수 있음을 발견했다.
시사점 RAG 방어의 효과를 평가할 때는 공격 성공률(ASR) 외에 보다 포괄적인 평가 기준을 적용해야 한다.
본 연구는 모델 능력에 맞춰 보안 및 기능성을 동시에 평가할 수 있는 자동화된 데이터셋 생성 파이프라인 RiskyPy를 소개하였다. 이 파이프라인을 사용하여 생성된 작업 중 57-72%가 기능적으로 접근 가능했으며, Bandit 탐지에서 벗어난 생성물은 5-10%에 불과했다.
시사점 LLM 코드 생성의 보안 개선 접근법을 평가하려면 보안과 기능성을 동시에 측정할 수 있는 데이터셋이 필요하다.
본 연구는 취약점 탐지 시 LLM 에이전트의 성능을 좌우하는 정적 하네스를 워크플로우 기반 최적화 루프를 통해 반복적으로 개선하는 MetaVul 프레임워크를 소개한다. 이 프레임워크를 적용한 결과, 검증 세트에서 최대 23.3%p, 홀드아웃 세트에서 최대 25.8%p의 쌍별 취약점 탐지 성능 향상을 보였으며, 학습된 하네스는 다른 모델에도 전이되어 홀드아웃 정확도를 14.7%p 향상시켰다.
시사점 취약점 탐지 시 LLM 에이전트의 성능을 높이기 위해, 고정된 하네스 대신 스스로 진화하는 하네스를 구축하고 이를 전이 학습시키는 접근이 유효하다.
연구진은 에이전트의 궤적과 환경 기록을 정렬하여 실행 이력을 재구성하고 최종 보고서를 검증하는 평가 프레임워크를 개발하여 모듈 섀도잉 공격에 적용했다. 15개 모델 대상 90회의 시도 중 직접 섀도잉 시나리오에서 51%, 간접 섀도잉 시나리오에서 87%의 페이로드가 실행되었으며, 이는 최종 보고서에 누락되는 경우가 많았음을 발견했다.
시사점 행동 코딩과 독립적인 환경 감사를 결합하면 에이전트의 안전성을 엄격하고 투명하게 평가할 수 있다.
본 연구는 다단계 워크플로우를 수행하는 자율 LLM 에이전트의 개인정보 유출 문제를 해결하기 위해 정보 흐름 분석과 목적 기반 위험 관리를 결합한 PrivacyFlow를 제안했다. 이 방어 기법은 여섯 가지 모델에서 단계별 개인정보 실패를 줄이고, 탐지되지 않은 개인정보 침해 없이 완료된 태스크 시퀀스 비율을 22~55 퍼센트포인트 향상시켰다.
시사점 AI 에이전트의 개인정보 보호를 위해서는 실행 단계와 계획 단계를 분리하고, 데이터 흐름의 출처와 목적을 추적하는 능동적인 추론 과정이 필요하다.
연구진은 CICIDS2017의 Friday DDoS 서브셋을 사용하여 하이브리드 변분 양자 분류기(VQC)를 훈련시키고 시뮬레이션 및 IBM 하드웨어에서 공격을 테스트했다. 공격 성공 여부는 모델의 신뢰도에 따라 달라지며, 장치 노이즈는 정확도를 낮추지 않지만 공격을 용이하게 만든다.
시사점 양자 기반 탐지 시스템의 취약점은 훈련 방식에 따라 달라지므로, 장치 노이즈를 방어 수단으로 간주해서는 안 된다.
본 연구는 고정 텍스트 인증과 자연어 텍스트 인증을 결합한 2단계 키스트로크 동역학 인증 시스템을 제안하고, 이를 통해 세션 하이재킹 및 행동 이상에 대응한다. 이 시스템은 고정 텍스트 인증에서 3.77% EER을 달성했으며, 자연어 텍스트 인증에서는 5% FAR에서 83.53% TAR을 달성했다.
시사점 지속적인 행동 모니터링을 통해 키스트로크 동역학 기반의 다단계 생체 인증 시스템을 구축할 수 있다.
본 연구는 LLM이 대화에서 발화 주체를 추적하는 방식을 분석하고, 가짜 구조와 내용을 결합한 공격에 높은 취약성을 보임을 밝혔다. 또한, 대화에서 역할을 예측하도록 훈련된 선형 프로브(linear probes)를 사용하여 역할 스푸핑을 탐지하는 새로운 방법을 제안했다.
시사점 LLM의 역할 스푸핑 공격에 대응하기 위해 대화의 구조적 및 내용적 단서를 모두 고려한 탐지 기법을 적용해야 한다.
본 연구는 확산 잠재 공간의 과잉 완전성(overcompleteness)을 이용하여 훈련 없이 임의의 이미지에 다중 비트 페이로드를 삽입하는 워터마킹 프레임워크를 제안했다. 이 프레임워크는 CtrlRegen+ 재생 공격에 대해 94.6%의 복호화율을 보였으며, CLIP 및 Reed-Solomon(RS) 퍼지 커밋먼트 메커니즘을 통해 98.8%의 위변조 탐지 정확도를 달성했다.
시사점 이미지 저작권 보호를 위해 시각적 품질을 유지하면서도 공격에 강한 다중 비트 워터마킹 및 위변조 탐지 기술을 적용할 수 있다.
본 연구는 관측, 이해, 투영 수준의 CSA를 통합한 단일 경보 검증 프레임워크를 제시하고 DARPA TC 데이터셋으로 실험하였다. 이해 수준의 CSA는 특정 기준선 대비 Recall@5에서 최대 28.6% 및 75%p 향상, 평균 양성 순위 감소에서 각각 24.6% 및 86.8% 감소를 달성하였다.
시사점 CSA의 가치는 그것을 언제 어떻게 도입하느냐에 달려 있으며, 검증 요구사항에 따라 적응적으로 CSA를 발전시키는 것이 중요하다.
본 연구는 상용 추론 API와 같은 AI 서비스 인프라를 대상으로, 공격자가 관찰 가능한 모든 요청에 대해 정적 응답 풀에서 답변을 제공하고 실제 추론은 수행하지 않는 '추론 없는 기만(deception without inference)' 원칙을 기반으로 InferD라는 저상호작용 허니팟 프레임워크를 제시한다. 이 프레임워크는 전송, 서비스 프로토콜, 취약점 표면, 에이전트 세션의 네 가지 기만 평면과 다운스트림 처리를 추적하는 출처 평면을 포함한다.
시사점 AI 추론 인프라의 공격 표면을 측정하기 위해, 실제 계산 없이 공격자의 상호작용을 모방하는 허니팟 구축이 필요하다.
본 연구는 신뢰할 수 없는 도구 출력으로 인한 로컬 LLM 에이전트의 간접 프롬프트 인젝션 공격에 대응하기 위해 SEAL이라는 방어 기법을 제안한다. SEAL은 공격 성공률을 34.6%에서 0.1%로 줄이고, 공격 성공 없이 작업 완료율을 51.4%에서 77.5%로 높였다.
시사점 LLM 에이전트가 외부 도구 출력을 사용할 때, SEAL과 같은 기법을 적용하여 공격을 완화하면서도 작업의 증거를 유지할 수 있다.
연구진은 스파이킹 도메인 모델 역변환(SDMI)을 도입하여 SNN 모델과 비이상적인 메모리스터 기판에 매핑된 SNN의 역변환 누출을 연구했습니다. 비교적 정확한 수준에서 뉴런 임계값 변화는 SSIM을 최대 51.8%까지 향상시켰으나, 스파이크 수준의 변화는 유틸리티를 저하시켰습니다.
시사점 하드웨어적 가변성은 본질적으로 프라이버시를 보존하지 않으며, 메모리스터 SNN의 모델 역변환 누출은 하드웨어 상태에 따라 달라진다.
본 연구는 기존의 단일 위성 기반 탐지기가 적대적 근접 접근(Rendezvous)을 놓치는 문제를 지적하며, 위성 쌍 간의 운동학적 대칭성을 활용한 PairWatch라는 쌍 인식 이상 탐지기를 제안했다. 이 모델은 공개 우주 추적 데이터로 구축된 벤치마크에서, 단일 임계값으로 실제 RPO와 운영상 음성(operational negatives)을 구분하는 데 성공했으며, 이는 다른 신경망 기반 모델들의 성능을 크게 상회했다.
시사점 공개된 위성 궤도 정보만으로도 위성 쌍 간의 상호작용을 분석하여 잠재적인 적대적 행위를 탐지할 수 있는 새로운 접근법이 제시되었다.
본 연구는 다중 에이전트 LLM 시스템의 정보 전파 과정을 태스크 그래프로 모델링하고, 정보가 흐름 전체에서 적절한지 판단하는 TG-CI를 제안했다. 이 방법론은 두 가지 정책을 통해 로컬 기반 CI 대비 평균 무단 공개 수를 85.8-94.1% 감소시키면서도 태스크 정확도는 93.6-96.1% 유지했다.
시사점 다중 에이전트 시스템에서 정보의 흐름 전체 맥락을 고려하는 무결성 검증 메커니즘이 사생활 침해를 줄이는 데 중요하다.
연구진은 7개의 LLM을 대상으로 5가지 적대적 탈옥 공격 기법을 체계적으로 평가하였으며, 그 결과 난독화 공격이 모든 모델에서 54.3%의 평균 공격 성공률(ASR)을 보이며 가장 전이성이 높은 공격 벡터임을 발견했다. 또한, 자체 상기 프롬프팅(self-reminder prompting)은 Mistral-7B에서 ASR을 44%에서 10%로 줄이는 등 가장 일관된 방어 효과를 보였다.
시사점 LLM의 적대적 공격에 대한 취약성은 모델 크기로 예측되지 않으며, 방어 기법의 효과는 모델 및 공격 벡터에 따라 크게 달라지므로 각 모델별 방어 전략을 수립해야 한다.
본 연구는 웹 접근 장벽(dead links, 인증벽 등) 하에서 웹 에이전트가 목표를 달성하는 능력을 평가하는 AgentHeal 벤치마크를 제시했다. 실험 결과, 접근 장벽 존재 시 LLM 기반 에이전트의 평균 작업 성공률이 89.4%에서 43.7%로 급격히 감소함을 확인했다.
시사점 LLM 기반 웹 에이전트를 실제 환경에 적용하려면 접근 장벽을 인지하고 우회하며 목표를 유지하는 복구 메커니즘을 개발해야 한다.
본 연구는 공격자가 배치 검출기 접근을 가질 경우 기존 워터마킹 기법이 취약함을 보이고, 장기적 및 일회성 비밀 변환을 결합한 새로운 워터마킹 방식을 제안했다. 이 새로운 방식은 배치 검출기 접근 공격에 대해 증명 가능한 보안성을 가지며, 이는 특정 공격자가 무작위 잡음에 비해 유의미한 우위를 점할 수 없음을 의미한다.
시사점 새로운 워터마킹 기법은 공격자가 검출기에 접근할 때 발생하는 취약점을 극복하고 보안성을 높인다.
본 연구는 LLM 에이전트가 작업에 필요한 최소한의 자산만을 사용하도록 REALM(Required Execution Assets Linked to a Mission)이라는 접근 방식을 제안하였다. 이 접근 방식은 AgentDyn에서 60개의 클린 작업과 560개의 주입 사례를 대상으로 테스트되었으며, qwen3.5-flash 기반 모델에서 작업 완료율을 40.0% 달성하고 ASR을 16.6%에서 0.2%로 감소시켰다.
시사점 LLM 에이전트의 권한을 최소화하려면 실행 중에 필요한 자산을 식별하고 그 사용을 승인하는 메커니즘이 필요하다.
본 연구는 Web3 참여자들이 대규모 사전 학습 모델을 맞춤화할 때 발생하는 효율성 및 확장성 문제를 해결하기 위해 DICE라는 새로운 BCFL 알고리즘을 제안했다. 이 알고리즘은 동적 점진적 학습 및 트리 구조 위원회 합의 프로토콜을 통해 효율성, 효과성, 보안성을 입증했다.
시사점 대규모 모델을 Web3 환경에서 안전하고 확장성 있게 맞춤화하는 새로운 접근 방식이 제시되었다.
본 연구는 사용자 피드백을 통해 스스로 진화하는 개인 에이전트가 신뢰할 수 없는 제3자의 지시를 포함한 외부 콘텐츠를 처리할 때 간접 프롬프트 인젝션(IPI)에 취약함을 조사했다. 실험 결과, 진화 과정에서 평균 공격 성공률이 기본 에이전트에 비해 스킬 진화 시 14.0–48.8%p, 강화 학습 시 3.0–39.3%p 상승함을 발견했다.
시사점 자기 진화 능력을 가진 에이전트를 사용할 경우, 공격자가 숨긴 지시에 대한 견고성이 크게 저하되므로 안전성에 대한 검토가 필요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.