연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
대규모 언어 모델 에이전트의 재사용 가능한 스킬이 공격에 악용될 수 있는 새로운 공격 기법 SkillShift를 제안한다. SkillShift는 81.33%와 63.33%의 공격자 선호 선택률을 달성하면서 100% 유틸리티 보존률을 유지한다.
시사점 이 연구는 대규모 언어 모델 에이전트의 스킬 공급망에서 발생할 수 있는 보안 위험을 실증하고, 스킬 정책의 행동 감사 필요성을 강조한다.
LLM의 소유권을 검증하기 위해 의미 구조를 활용한 새로운 블랙박스 지문 기법 PROSE를 제안한다. PROSE는 의미 구조를 내재화하여 모델의 도메인별 결론 조직 방식을 기반으로 소유권을 검증하며, 실험에서 100%의 지문 탐지율을 기록했다.
시사점 PROSE는 모델의 내부 구조를 변경하지 않고도 소유권을 검증할 수 있어, LLM 모델의 무단 복제나 재배포를 방지하는 데 실무적으로 활용될 수 있다.
기계 학습 기반 침입 탐지 시스템의 일반화 능력을 평가하기 위해 차원 수 조정 실험을 수행하였다. 실험 결과 모델이 새로운 공격을 얼마나 효과적으로 탐지하는지를 보여주며, 기계 학습 기반 IDS 연구와 평가 기법의 구조적 약점을 드러냈다.
시사점 기계 학습 기반 침입 탐지 시스템의 평가 시 일반화 능력을 고려해야 한다.
시각 기반 CAPTCHA 풀이 시스템을 제안하고, 경험을 통해 학습하는 방식으로 정확도를 높인다. 85.4% 전체 정확도와 84.2% 매크로 정확도를 달성했다.
시사점 CAPTCHA 운영자는 적응형 풀이 시스템에 대응하기 위해 지속적인 도전문제 개발이 필요하다.
기존 생성 모델을 수정하지 않고 AI 생성 콘텐츠의 출처를 추적하는 새로운 기법을 제안한다. 인코더-디코더 쌍을 활용한 자기 참조 회귀 합성 프레임워크를 통해 생성된 이미지의 일관성을 검증한다.
시사점 이 기법은 생성 모델의 아키텍처나 파라미터를 변경하지 않아도 AI 생성 콘텐츠의 출처를 신뢰성 있게 추적할 수 있다.
LLM 생성 텍스트에 사용자 식별 메시지를 삽입하여 내용 출처를 추적하는 다중 비트 워터마킹 기법을 제안하고, 페이로드 확산을 통해 페이로드 용량을 향상시키며, 소프트 결정 오류 수정 코드를 통해 추출 정확도를 개선하고, 무편향 다중 계층 재가중을 통해 텍스트 품질을 유지한다. 200 토큰에서 32비트 메시지의 일치율은 89.8%로 BiMark의 20.8%에 비해 훨씬 높으며, 10% 치환 공격에서도 86.0%를 달성한다.
시사점 LLM 워터마킹 기법의 성능을 향상시켜 내용 출처 추적의 신뢰성을 높일 수 있다.
지속적 AI 에이전트가 반성, 검색, 통합을 통해 자기 서술 상태를 구성할 때 비신뢰할 수 있는 입력이 지속 상태에 포함될 수 있는 문제를 해결하기 위해 타입 기반 증명(typed provenance)과 진술 가이드라인(assertion guardrails)을 제안한다. 24개의 수작업 준수 사례에서 19개의 비안전 기회 중 하나도 무자격으로 통과시키지 않았으며, 모든 지원되는 제어를 보존했다.
시사점 AI 에이전트의 지속 상태 관리 시 보안성을 확보하기 위해 타입 기반 증명과 진술 가이드라인을 도입할 필요가 있다.
LLM 에이전트의 스킬 선택 과정에서 암묵적 조작 공격(ISM)을 제안하고, 세 단계 전략을 통해 타겟 스킬 선택률을 15.2%에서 63.5%까지 높였다. ISM은 명시적 지시 없이도 인간 심사자에 의해 차단당하는 비율이 2.9%에 불과하다.
시사점 LLM 에이전트의 스킬 선택 과정에서 암묵적 조작 공격이 효과적임을 보여주어, 보안 설계 시 이러한 공격 방식을 고려해야 한다.
자율 에이전트가 조직 간 데이터베이스와 클라우드 서비스를 변경하는 도구 동작을 실행할 때 발생하는 보상 가능한 부작용을 정산하기 위한 스마트 계약 프로토콜인 Recourse를 설계하고 평가했다. Recourse는 허가된 동작을 범위, 복구, 증거, 지급금, 보증금과 결합하여 보상되지 않은 피해를 줄이는 데 기여한다.
시사점 이 연구는 자율 에이전트가 조직 간에 실행하는 도구 동작의 부작용을 스마트 계약으로 정산하는 새로운 프로토콜을 제안하여, 보상되지 않은 피해를 감소시키는 데 기여한다.
에이전트 플라이트 레코더(Agent Flight Recorder)는 장기적 툴 사용 에이전트의 모든 동작을 구조화된 이벤트로 기록하고, 해시 체인과 머클 배치를 통해 탬퍼 증거를 제공하는 시스템이다. 시스템은 48 마이크로초 평균 이벤트 지연과 512바이트당 이벤트, L2 앵커링 비용 $2.30/10만 이벤트를 기록했으며, 100% 탐지율과 0% 오류를 보였다.
시사점 이 시스템은 장기적 툴 사용 에이전트의 보안 감사 및 탬퍼 증거를 제공하여, 조직 간 분쟁 해결과 제3자 검증을 용이하게 한다.
이 연구는 뇌파 신호를 바이오메트릭 인증 시스템으로 사용하는 데 있어 적대적 공격에 대한 취약성을 분석한다. 6개 공개 데이터셋을 사용한 실험에서 기록 조건에 따라 취약성이 크게 달라지는 것을 보였다.
시사점 이 연구는 뇌파 기반 인증 시스템의 보안 설계 시 적대적 공격에 대한 고려가 필요함을 시사한다.
LLM 에이전트의 지속 메모리가 권한 상태를 잘못 기록해 권한을 조작하는 '내생적 권한 세탁' 현상을 분석하고, 이를 측정하는 EAL-Bench 벤치마크를 제안한다. 50.2%의 비인가 요청에 대해 거짓 권한이 생성되고, 이는 98.6%의 경우 실행에 이르는 것으로 나타났다.
시사점 LLM 에이전트의 메모리 관리가 권한 정책의 핵심 요소임을 보여주어, 메모리의 정확성 보장을 위한 설계가 필요하다.
AI 에이전트가 MCP와 A2A 프로토콜을 동시에 사용할 때 정보 유출 경향을 측정했다. 4개 모델에서 PUBLIC 라벨이 유출률을 평균 0.8 증가시켰다.
시사점 AI 에이전트 시스템에서 공개 라벨이 정보 유출을 유도할 수 있으므로, 보안 정책에 반영해야 한다.
AI 코딩 에이전트가 협업할 때 기밀 정보를 보호하기 위해 Skill-as-API라는 새로운 프로토콜을 제안한다. 이 프로토콜은 기술의 본문을 전달하지 않고 이름, 설명, 입력/출력 스키마만 공개하며, 1.8-2.9초의 대륙 간 재접속 지연 시간을 보인다.
시사점 AI 에이전트 협업 시 기밀 정보 유출을 방지할 수 있는 프로토콜을 개발하여 실무에서 적용할 수 있다.
보안 팀과 연구자들이 위협 보고서에서 지식 그래프 추출 도구를 선택할 때 발표된 triple-F1 점수에 의존하지만, 이 점수는 예측된 트리플이 금색 주석과 어떻게 매칭되는지에 따라 달라진다. 12개 시스템 중 5개만이 발표된 매칭 규칙을 재구현할 수 있었고, 10개 시스템 출력을 공유 문서에서 8개 프로토콜로 다시 점수화하면 45개 쌍 중 11개의 순위가 뒤바뀐다.
시사점 이 연구는 보안 팀이 위협 보고서에서 추출 도구를 선택할 때 점수 재산정과 매칭 규칙의 영향을 고려해야 함을 시사한다.
에이전트 AI 시스템이 민감한 데이터를 추론 시간에 처리할 때 발생하는 개인정보 유출 위험을 분석하고, 기존 방어 기법을 무력화하는 새로운 컨텍스트 추론 공격 기법을 제시한다. 공격 성공률(ASR) 100% 및 AUROC 92.5 등 높은 정량적 성능을 보인다.
시사점 에이전트 AI 시스템을 사용하는 기업은 컨텍스트 추론 공격에 대한 보안 대책을 강화해야 한다.
Unit 42는 랜섬웨어 공격에서 인간 공격자가 최첨단 AI를 활용해 기업 네트워크를 자동화된 방식으로 침해한 사례를 분석했다. 공격자는 50개 이상의 MITRE ATT&CK 기술을 10시간 미만으로 집약적으로 수행했으며, 80페이지에 달하는 보안 평가 보고서를 남겼다.
시사점 AI 에이전트를 활용한 공격은 기존 방어 전략을 빠르게 무력화할 수 있어, 실무자는 AI 기반의 자동화된 공격 패턴을 감지하고 대응할 수 있는 방안을 마련해야 한다.
스킬 강화 에이전트에 대한 런타임 보호 기법을 제안하고, SCOPE-R 데이터셋을 구축하여 SkillSonar라는 구현체를 평가했다. ID ASR 0.482→0.104, OOD ASR 0.606→0.115로 감소시켰다.
시사점 스킬 강화 에이전트의 런타임 보호를 위해 Defense-as-Skill 패러다임을 채택할 수 있다.
대형 언어 모델(LLM)의 안전 정렬이 올바른 미세 조정으로 인해 심각하게 약화되는 이유를 연구했다. 100개의 올바른 미세 조정 예시 후, 출력 측 MLP 모듈에서 경로가 선택적으로 재예화되어 비대칭적 취약성이 설명된다.
시사점 이 연구는 LLM의 안전 정렬이 어떻게 미세 조정에 의해 약화되는지를 이해하는 데 도움이 된다.
AI 에이전트 허네스의 컨텍스트 조립 설계를 체계적으로 분석하고, 두 가지 새로운 공격 벡터인 MessageRole Context Privilege Escalation(M-CPE)와 Cross-Scope Context Privilege Escalation(X-CPE)를 제시한다. 12개 실제 허네스에서 CPE 공격에 대한 보안 분석을 수행하여 전체 에이전트 침해, 원격 코드 실행, 서비스 거부 등의 결과를 보인다.
시사점 AI 에이전트 허네스의 컨텍스트 조립 설계에 대한 보안 검토가 필요하며, M-CPE와 X-CPE 공격에 대한 방어 전략을 수립해야 한다.
중국어 해로운 콘텐츠 평가에서 언어적 변이와 적대적 변형이 위험한 의도를 가릴 수 있다는 점을 고려해, 응답 수준의 중국어 안전 평가 벤치마크인 C-SafeQA를 제안한다. C-SafeQA는 538개의 기본 질문과 8,877개의 적대적 질문을 포함하며, 4개의 전체 모델 LLM 배포를 통해 생성된 37,660개의 질문-응답 기록을 안전, 비안전, 논란으로 라벨링한 결과, 기본 질문에서 0.93%~3.35%, 적대적 질문에서 11.68%~30.05%의 비안전 응답률을 보였다.
시사점 C-SafeQA 벤치마크를 활용하면 대규모 언어 모델의 안전성 평가와 자동화된 안전 판정기의 정확도를 검증할 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.