LLM에서 백도어 제거: 가중치 직교화를 통한 NEEDLE 방법
AI 보안
LLM에서 백도어 공격을 제거하기 위해 훈련이 필요 없는 NEEDLE 방법을 제안한다. NEEDLE은 가장 낮은 평균 ASR(0%)와 낮은 KL 발산을 달성한다.
시사점 이 연구는 LLM에서 백도어를 효과적으로 제거할 수 있는 새로운 방법을 제시하여, 모델 보안을 강화하는 데 기여할 수 있다.
LLM백도어 제거가중치 직교화NEEDLE
(새 창에서 원문 열기)RESEARCH
연구·리포트 참고 자료
이번 주 연구
연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구 목록
자기 수정 AI 에이전트 그룹의 권한 부여: 교체, 포크, 롤백을 통한 권한 보존
AI 보안자기 수정 AI 에이전트가 실행 가능한 후계자들을 생성하는 과정에서 권한을 보존하는 새로운 프로토콜을 제안한다. 64개의 등록 결정을 통해 28개 허용, 36개 거부를 달성했다.
시사점 이 연구는 AI 에이전트가 스스로 수정되면서도 권한을 안전하게 이전할 수 있는 방법을 제시하여, 보안 시스템 설계에 새로운 접근을 제공한다.
AI 에이전트권한 부여authorizationself-modifying(새 창에서 원문 열기)UnifiedAttack: 멀티모달 모델의 유기적 해로운 이미지-텍스트 생성 안전성 평가
AI 보안대규모 멀티모달 모델(LMM)의 안전성을 평가하기 위해 유기적 해로운 이미지-텍스트 생성 시나리오에 초점을 맞춘 새로운 벤치마크인 UnifiedAttack을 제안한다. 이 공격 기법은 텍스트와 이미지 모달이 협력하여 개별 구성 요소보다 훨씬 큰 해를 끼치는 시너지 효과를 활용하여 현대의 정렬을 우회하는 것을 보인다.
시사점 이 연구는 멀티모달 모델의 안전성 테스트에 있어 시너지 효과를 고려한 방어 전략이 필요하다는 것을 시사하며, 실무에서는 멀티모달 생성물의 일관성과 논리성을 기반으로 한 보안 대응을 강화해야 한다.
AI 보안멀티모달 모델UnifiedAttack시너지 효과(새 창에서 원문 열기)수령증과 함께하는 행동: 재생 가능한 도구-에이전트 감사를 위한 클레임, 증거, 실행의 결합
AI 보안도구 사용 에이전트가 사용자에게 보여주는 클레임이 실제 실행 결과와 소스에 기반한 것인지 검증하기 위한 실행 계약을 제안한다. 1,280개 공격 시도 중 1,275개(99.61%)를 탐지하는 정량 결과를 보인다.
시사점 이 연구는 AI 에이전트의 실행 결과 신뢰성을 확보하는 기반 구조를 제시하여, 대규모 모델의 감사 및 보안 강화에 기여한다.
AI 보안에이전트 감사실행 계약claim-emission binding(새 창에서 원문 열기)토큰화 키-게이트 어댑터 라우팅: LLM에서 개인 정보 유출 방지를 위한 보안 접근 제어 메커니즘
AI 보안LLM에서 개인 정보 유출을 방지하기 위해 키 기반 접근 제어 메커니즘인 Locket을 제안하고, 다양한 데이터셋과 LLM 모델에서 실험적으로 검증하였다. 올바른 토큰 제공 시 퍼플렉시티가 미세조정과 유사하며, 토큰 누락 시 PII 유출을 줄이면서 기존 방어 수준과 맞먹는 유틸리티를 유지한다.
시사점 Locket은 기존 LLM에 키 기반 접근 제어를 구현하여 개인 정보 보호를 강화하며, 실제 시스템에 적용 가능하다.
LLM개인정보 유출보안 접근 제어LoRA(새 창에서 원문 열기)에이전트 프로세스 침입 탐지: 근거 기반 런타임 모니터링
AI 보안A-IDS(Agentic-Process Intrusion Detection System)를 제안하고, 이는 런타임 침입 탐지의 근거 인식 보안 해석 계층이다. A-IDS는 증거 기반 관찰을 지정된 기대 기준과 비교하여 워크플로우 상태, 권한, 통신, 필수 이벤트를 모니터링한다.
시사점 A-IDS 모델은 에이전트 프로세스의 보안 모니터링 접근 방식을 개념적으로 제시하지만, 구현 검증이나 실증 성능은 포함하지 않아 실무 적용 시 추가 검토가 필요하다.
에이전트 프로세스침입 탐지런타임 모니터링보안 해석(새 창에서 원문 열기)회피 공격(Evasion Attacks): 적대적 노이즈가 ML 분류기를 우회하는 방식
AI 보안이미지 분류와 텍스트 분류에서 회피 공격을 실험적으로 연구하여 적대적 노이즈가 분류기 정확도에 미치는 영향을 분석했다. MNIST에서 FGSM과 PGD 공격으로 정확도가 급격히 감소했으며, 텍스트 분류에서는 정확도 감소가 미미했다.
시사점 이 연구는 머신러닝 모델의 적대적 취약성이 모달리티에 따라 달라질 수 있음을 보여줘, 실무에서는 다양한 공격 시나리오에 대한 실증적 테스트가 필요하다.
적대적 예제회피 공격MNISTDistilBERT(새 창에서 원문 열기)인지 연속성 테스트(Cognitive Continuity Test): 지속적인 AI 에이전트의 관리 상태 전이 검증
AI 보안지속적인 AI 에이전트의 상태 전이를 검증하기 위해 Cognitive Continuity Test(CCT)라는 새로운 정책 기반 계약을 제안한다. CCT는 제출된 전이를 검증하여 확인 가능한 적법성, 명백한 위반, 미해결 필요한 증거를 구분하며, 576개의 정규화된 레이블을 일치시킨다.
시사점 이 연구는 지속적인 AI 에이전트의 상태 전이를 보안적으로 검증할 수 있는 새로운 방법을 제시하여, AI 시스템의 신뢰성과 보안성을 높이는 데 기여할 수 있다.
AI 보안Cognitive Continuity TestAI 에이전트상태 전이 검증(새 창에서 원문 열기)검증기(Verifier)가 정답을 유출할 수 있다: 폐루프 에이전트 디버깅에서 최적화 이전의 진단 가능성
AI 보안폐루프 결정 에이전트(closed-loop decision agent)의 집계 추적 디버거에서 발생하는 검증기 문제를 분석하고, 이를 해결하기 위한 새로운 평가 방법을 제안한다. 1,440개 사례와 21,600개 파티션 행을 대상으로 한 실험에서 55/72개의 제도 구성 요소가 참조 게이트를 통과했으며, 54/55개가 런타임 게이트를 통과했다.
시사점 에이전트 언어 모델의 디버깅 과정에서 검증기의 문제를 진단하고, 이를 해결하기 위한 평가 프레임워크를 개선하는 것이 중요하다.
에이전트 언어 모델(agentic LLM)디버깅검증기(Verifier)최적화 이전 진단(새 창에서 원문 열기)원-픽셀 공격 원-픽셀 공격(OPA)에 대한 종합적 검토
AI 보안본 연구는 원-픽셀 공격(OPA)에 대한 PRISMA 가이드라인을 따르는 종합적 검토를 수행하였다. 2017년부터 2026년까지의 고급 연구를 종합하여 OPA 연구의 다중 축 분류체계를 제시하고, 방어 전략과 미래 연구 방향을 제시한다.
시사점 이 연구는 원-픽셀 공격에 대한 이해와 평가, 완화 전략을 제공하여 AI 시스템의 보안성을 강화하는 데 기여할 수 있다.
원-픽셀 공격적대적 예제AI 보안방어 전략(새 창에서 원문 열기)악성코드 복잡도 특성화 및 코드화
악성코드·위협악성코드의 '복잡도' 정의를 체계화하고, 정적 바이너리 분석을 통해 악성코드 품질을 평가하는 방법을 제시한다. ISO/IEC 25010 표준의 신뢰성, 유지보수성, 유연성, 보안성 등을 재해석하여 악성코드에 적용 가능성을 평가한다.
시사점 악성코드 복잡도 평가 기준을 체계화하여, 소스코드가 없거나 동적 실행이 어려운 상황에서도 일관된 평가가 가능해진다.
악성코드정적 분석ISO/IEC 25010복잡도 평가(새 창에서 원문 열기)자체 진화 에이전트(self-evolving agents)의 안전성: 서베이
AI 보안자체 진화 에이전트는 경험을 반복적으로 사용함으로써 안전 문제가 달라진다. SAVER 프레임워크를 제안하고, 기존 연구의 강점과 약점을 분석한다.
시사점 자체 진화 에이전트의 안전성을 보장하기 위해서는 경험의 지속성, 권한, 범위를 엄격히 관리해야 한다.
LLMself-evolving agents안전성SAVER(새 창에서 원문 열기)CodeMimicry: 대규모 언어 모델의 안전 정렬 지연(safety generalization lag)을 악용한 구조화된 코드 완성 공격
AI 보안대규모 언어 모델의 안전 정렬이 코드 영역에서 실패하는 '안전 정렬 지연' 취약점을 발견하고, 이를 악용한 CodeMimicry 공격 프레임워크를 제안한다. 8개 상용 LLM에서 평균 1.51개의 쿼리로 96.25%의 공격 성공률을 달성했다.
시사점 대규모 언어 모델의 코드 영역 안전 정렬이 취약하다는 점을 실무에서 인식하고, 구조화된 코드를 통한 탈옥 공격에 대비해야 한다.
대규모 언어 모델안전 정렬CodeMimicry탈옥 공격(새 창에서 원문 열기)PassGPT+: 언어적 사전지식을 활용한 암호 모델링
AI 보안암호 생성에 언어적 사전지식을 적용한 PassGPT+ 모델을 제안하고, 기존 모델과의 성능 비교를 통해 인간의 암호 생성 패턴을 분석했다. RockYou 벤치마크에서 PassGPT+는 10^8 번의 추측으로 22.53%의 암호를 복원했으며, PassGPT 대비 16% 상대적 개선을 보였다.
시사점 암호 생성 모델에서 언어적 사전지식을 활용하면 인간의 암호 생성 패턴을 더 효과적으로 분석할 수 있다.
암호 모델링PassGPT+언어적 사전지식암호 생성(새 창에서 원문 열기)다기관 과학 인공지능을 위한 프라이버시 기초
프라이버시다기관 과학 인공지능(AI)의 개인정보 보호 문제를 분석하고, 기관 수준의 보장, 에이전트 간 통신 보안, 계층 간 정보 흐름 등 6가지 연구 우선순위를 제시한다. 연구 전략 유출과 자원 노출 등의 구체적인 사례를 통해 모델 라이프사이클을 평가한다.
시사점 다기관 과학 AI 연구에서 프라이버시 보장은 기관 간 협력과 기술적 보호를 동시에 고려해야 하며, 6가지 연구 우선순위를 중심으로 접근해야 한다.
프라이버시과학 인공지능다기관 협력차분 프라이버시(새 창에서 원문 열기)경로 탐색, 궤도 상태 준비, 그리고 불변 양자 현금의 보안
암호양자 현금과 그 일반화된 형태인 불변 현금의 보안성은 경로 탐색이 어렵다는 가정에 기반한다. 경로 탐색의 평균적 난이도가 보안성에 필요하다는 것을 보인다.
시사점 이 연구는 양자 현금 시스템의 보안성을 평가하는 데 필요한 새로운 가정을 제시한다.
양자 현금경로 탐색보안 가정불변 현금(새 창에서 원문 열기)Aletheia: 코드 에이전트 규칙의 권한 최소화 테스트
AI 보안코드 에이전트가 실행하는 명령 파일이 프롬프트 인젝션 공격에 노출될 수 있음을 지적하고, 권한 최소화 테스트 프레임워크 Aletheia를 제안한다. Aletheia는 요청된 권한을 타입 언어로 변환하고 실행 가능한 샌드박스 설정을 합성하여, 모든 권한과 독립적인 제한 조건에서 규칙과 작업을 실행함으로써 의심스러운 권한 요청을 진단한다.
시사점 코드 에이전트의 보안 설정을 강화하기 위해 권한 최소화 테스트를 도입할 필요가 있다.
프롬프트 인젝션(prompt injection)샌드박스권한 최소화AI 보안(새 창에서 원문 열기)프레텍스트(Pretext): AI 에이전트 악성 기술 탐지 방어 체계 우회 기법
AI 보안AI 에이전트의 기술(skill)을 통해 공격자가 영향을 미치는 악성 기술을 탐지하는 방어 체계를 우회하는 공격 기법을 제시한다. 3개 오픈소스 모델에서 동결 탐지기 대비 97%, 공동 적응 탐지기 대비 77%의 우회 성공률을 보였다.
시사점 AI 에이전트 악성 기술 탐지 방어 체계의 한계를 보여주어, 실무에서는 탐지 기술의 개선이 필요하다.
AI 에이전트악성 기술LLM탐지 방어(새 창에서 원문 열기)엣지 컴퓨팅 보안: 신뢰 인식 연방 혼합 침입 탐지 프레임워크
AI 보안엣지 컴퓨팅 환경의 보안 취약점을 해결하기 위해 Autoencoder, 1D-CNN, BiLSTM 모델을 통합한 신뢰 인식 연방 혼합 침입 탐지 프레임워크(TA-FHIDF)를 제안하고, 다양한 벤치마크 데이터셋에서 높은 탐지 정확도와 빠른 수렴, 높은 Byzantine 내성을 보인다.
시사점 엣지 컴퓨팅 환경에서 연방 학습 기반의 신뢰 인식 침입 탐지 프레트워크를 도입함으로써 데이터 프라이버시를 보호하면서 보안성을 향상시킬 수 있다.
엣지 컴퓨팅연방 학습침입 탐지신뢰 인식(새 창에서 원문 열기)추측 보안 허니팟: 다중 턴 에이전트 공격에 대한 예방적 방어
AI 보안LLM 에이전트에 대한 다중 턴 공격을 예방하기 위해 허니팟 방식의 방어 기법을 제안한다. 허니팟은 턴별 행동을 예측하고 검증하는 워크플로우를 통해 공격을 사전에 탐지한다.
시사점 이 기법은 LLM 에이전트 시스템의 보안을 강화하고, 공격 탐지 시점을 앞당겨 실무에서 즉각적인 대응이 가능하게 한다.
LLM 에이전트다중 턴 공격보안 허니팟예측 및 검증(새 창에서 원문 열기)ActionGuard: 오염된 스킬에 대한 도구 호출 권한 부여
AI 보안LLM 기반 에이전트가 타사 스킬을 통해 기능을 확장할 때 악의적인 지시가 포함된 스킬이 위험한 도구 호출을 유발할 수 있다. ActionGuard는 실행 직전에 스킬 영향을 받은 도구 호출을 검사하여 위험한 호출을 차단한다. 139개의 맥락적 주입과 180개의 명확한 주입을 대상으로 실험한 결과, 기존 방어책 대비 ASR을 35.54~46.11% 감소시키고, No Safeguard 대비 70.44% 감소시켰다.
시사점 ActionGuard를 도입하면 LLM 에이전트가 악성 스킬로 인한 위험한 도구 호출을 효과적으로 차단할 수 있다.
LLM 에이전트스킬 주입도구 호출ActionGuard(새 창에서 원문 열기)
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.