연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 정보 왜곡자들이 신뢰할 만한 콘텐츠가 부족한 데이터 공백에 자신의 서사를 배치하고, 웹 검색 기반 LLM이 이를 인용하도록 유도하는 데이터 공백 익스플로잇을 연구했다. 모든 조건에서 공격자가 통제하는 페이지가 LLM 응답에 31% 나타났으며, 사용자 통제는 제한적인 방어 효과만을 보였다.
시사점 웹 검색 기반 LLM은 전략적으로 배치된 웹 콘텐츠를 통해 공격받을 수 있으며, 이에 대한 방어책 마련이 시급하다.
연구진은 4B 파라미터의 사이버 보안 트랜스포머 모델에서 잔차 스트림으로부터 171개의 감정 방향을 추출하고, 이를 조향하여 사이버 보안 AI의 성능을 평가했다. 동적 라우터를 도입한 이 접근 방식은 10개 시드에서 4.2%p의 성능 향상을 보이며, 감정 표현이 측정 가능하고 제어 가능하다는 것을 시사한다.
시사점 LLM 내부의 감정 표현을 측정하고 제어하는 것이 적응형 사이버 보안 추론에 유용하게 활용될 수 있다.
본 연구는 적대적 목표를 가진 다중 모달 공격 Mirage를 제안하여, 미묘한 교란(perturbation)을 통해 본질적으로 무해한 입력 이미지에 목표를 숨기고 후처리 안전 검사기를 우회한다. 이 기법은 Stable Diffusion 1.5, SDXL, Kandinsky 2.2에 적용되어 다양한 안전 검사기를 제한된 블랙박스 쿼리로 효과적으로 우회함을 입증했다.
시사점 다중 모달 생성 모델의 후처리 안전 검사기는 내부 세부 사항에 접근하지 않고도 공격적인 우회 공격에 취약할 수 있으므로 이에 대한 방어 메커니즘 검토가 필요하다.
본 연구는 LLM을 이용해 생성된 피싱 페이지의 시각적 충실도와 종단 간 기능을 평가하는 PhishGen 프레임워크를 구축하고, 이를 실제 피싱 키트와 비교 분석하였다. GPT 4.1은 86.3%에서 94.1%의 기능적 성공률을 보였으나, 모든 생성물의 인식된 충실도는 2.02/5로 비교적 낮았다.
시사점 LLM은 낮은 진입 장벽으로 작동하는 피싱 페이지를 대량 생산할 수 있으며, 향후 하이브리드 탐지기가 필요하다.
연구진은 자원 제약적인 IoT 환경에 배포 가능한 소형 트랜스포머 기반 아키텍처를 제안하고, 이를 두 가지 IoT 침입 탐지 데이터셋에 적용하여 평가하였다. 제안된 모델은 SecurityBERT 대비 매개변수가 적고, Edge-IIoTset에서 거시적 F1 점수가 약 2점 향상되었으며, 시뮬레이션된 엣지 장치에서 약 89배 빠른 속도를 보였다.
시사점 경량 트랜스포머 아키텍처는 자원 제약적인 IoT 환경에서 침입 탐지를 위한 실용적이고 정확한 해결책을 제공할 수 있다.
본 연구는 LLM의 추론 능력을 활용하여 텍스트 및 시각적 입력에 숨겨진 악성 명령을 탐지하는 MPIDetector 프레임워크를 제안했다. 이 방법은 텍스트 작업에서 최대 90.91%의 정확도를 달성했으며, 시각 영역에서는 최대 99.28%의 정확도를 보였다.
시사점 MLLM 기반 추론을 활용한 접근 방식은 고급 멀티모달 프롬프트 인젝션 공격에 대해 강력한 방어 수단을 제공한다.
본 연구는 RAG 시스템의 보안, 프라이버시, 저작권 위험에 대한 118편의 방어 논문을 종단점별로 분류하고 분석하였다. 자체 구축한 RAG 테스트베드를 통해 특정 공격 시나리오에서 8-gram 가드(guard)가 20-token 복사를 막았으나, 3쿼리 적응형 공격자는 숨겨진 사실의 48.3%를 복구함을 확인하였다.
시사점 RAG 시스템의 방어 효과를 평가할 때는 단순히 복사 방지뿐 아니라 적응형 공격에 대한 취약점까지 고려해야 한다.
본 연구는 LLM 에이전트가 피드백을 통해 읽을 수 있고 감사 가능한 정적 분석 쿼리(joern queries)를 반복적으로 진화시키는 SESAA 프레임워크를 제시했다. 이 프레임워크는 OWASP Python 벤치마크에서 평균 F1 점수 0.742를 달성했으며, 실제 프로젝트에서는 이후 CVE 중 10개를 탐지했다.
시사점 LLM 에이전트를 활용하면 정적 분석 규칙 유지보수를 수동 작업에서 자동화된 발견 및 복구 과정으로 전환할 수 있다.
본 연구는 운영자를 신뢰하지 않고도 시설 수준 전력 데이터를 이용하여 동기화된 모델 훈련을 탐지하는 방법을 개발했다. 시뮬레이션 결과, 적대적 전략을 사용하지 않을 경우 96%의 훈련 실행을 탐지했으며, 적대적 전략을 사용해도 장기간 관측 시 높은 탐지율을 보였다.
시사점 전력 계측은 운영자를 신뢰하지 않고도 컴퓨팅 사용량을 검증할 수 있는 유망한 방법이다.
연구진은 상업용 결정 모델의 출력을 모방한 소규모 다중 헤드 네트워크 VX-One을 제안하고, UNSW-NB15 및 CIC-IDS2017 데이터셋에서 보정된 XGBoost 등과 성능을 비교하였다. VX-One은 CIC-IDS2017에서 탐지(AUROC/FPR@95%TPR)에서 우수한 성능을 보였으나, 모든 벤치마크에서 다중 클래스 귀인(attribution)은 XGBoost가 우수했다.
시사점 유형화되고 보정된 결정은 경계 분류에서 도움을 줄 수 있으나, 시간적 드리프트(temporal drift) 발생 시 보정 상태가 무너질 수 있으므로 각 방법의 한계를 인지해야 한다.
본 연구는 심층 합성곱 신경망(CNN) 추출 및 매칭을 안전한 다자간 컴퓨팅(MPC) 환경에서 수행하는 GhostFaceMPC를 제안했다. 이 시스템은 얼굴 데이터의 특징 추출, 저장, 매칭 전 과정에서 원본 이미지나 생체 임베딩을 노출하지 않고 보안 처리를 가능하게 한다.
시사점 민감한 생체 인식 데이터 처리에 있어 프라이버시를 유지하면서도 얼굴 인식을 수행할 수 있는 새로운 기술적 접근 방식을 제공한다.
본 연구는 명령어 튜닝 데이터 선택 과정에 대한 적대적 공격인 유틸리티 하이재킹을 정의하고, 이를 통해 거부율을 0%에서 94%까지 높이거나 잘못된 사실을 주입하는 것을 시연했다. 제안된 CONCERT 방어 기법은 피해 모델에 대한 공격 집중도를 코드의 경우 6.67배에서 0배로, 사실의 경우 3.59배에서 0.67배로 낮추며 다운스트림 피해를 각각 100% 및 75% 감소시켰다.
시사점 데이터 선택 과정의 보안 취약점을 인지하고, CONCERT와 같은 방어 기법을 적용하여 모델의 안전성을 유지할 필요가 있다.
연구진은 코딩 에이전트가 대화 컨텍스트를 단일 문자열로 평탄화(flattening)할 때, 공격자가 주입한 사용자의 턴을 진본적인 명령으로 위장하여 에이전트 메모리에 주입할 수 있음을 발견했다. 이 공격은 특정 평탄화 도구에서 최대 100%의 성공률을 보였으며, 이를 통해 공격자가 원하는 코드를 실행시키거나 코드 리뷰를 속일 수 있었다.
시사점 에이전트의 컨텍스트 압축 시 직렬화 단계에서 역할 레이블(role labels)을 유지하거나 검증하는 것이 공격을 방어하는 데 중요하다.
본 연구는 디지털 포렌식에서 LLM을 활용할 때, 공격자가 통제하는 증거를 통해 추론 레이어에 대한 안티포렌식 공격이 발생함을 밝히고 공격의 분류 체계를 제시한다. 연구진은 공격자가 심증적 도구, 인간 조사관, 모델이 증거를 다르게 인식하는 지점을 이용하여 세 가지 공격 시나리오를 시연했다.
시사점 LLM을 디지털 포렌식에 적용할 경우, 공격자가 의도적으로 조작한 증거를 통해 모델의 추론 과정에 영향을 주는 새로운 공격 벡터가 존재하므로 이에 대한 방어적 관점이 필요하다.
본 연구는 입력에 따라 동적으로 실행 경로가 달라지는 MoE LLM의 견고성 인증을 위해, 입력 유도 라우팅 동역학을 명시적으로 고려하는 CertMoE 프레임워크를 제안했다. 이 계층적 인증 절차는 기존 방법의 인증 실패율을 30% 이상에서 0으로 줄이는 결과를 보였다.
시사점 MoE LLM의 견고성을 인증할 때는 동적 라우팅을 고려하는 접근 방식이 기존 방법보다 훨씬 더 신뢰할 수 있는 인증을 제공한다.
연구진은 자체 및 공개된 13개 취약점 발견 도구를 분석하여, 모델 실행 전후의 엔지니어링 선택으로 인해 취약점이 누락되는 13가지 지점을 분류 체계화하였다. 이 연구는 이러한 누락 현상을 이해하고 도구를 개선하며, 공격자가 취약점을 숨기는 데 이를 악용할 수 있음을 보여준다.
시사점 LLM 기반 취약점 발견 도구를 구축할 때는 엔지니어링적 선택으로 인한 데이터 누락 지점을 인지하고 이를 해결하는 것이 중요하다.
연구진은 결제 승인과 같은 중요한 행동을 수행하는 AI 모니터들의 실패 가능성을 측정했으며, 열두 개의 소규모 오픈 가중치 모니터와 세 개의 폐쇄형 최신 모델을 대상으로 실험을 진행했다. 새로운 데이터에 대해 출처 수를 세는 규칙은 올바른 결제를 0.9% 차단했고, 최적의 카운팅 규칙은 7.4%를 차단했다.
시사점 모니터의 입력을 다양화하고, 모니터를 강화하며, 투표 수가 아닌 출처 수를 세는 것이 중요하다.
본 연구는 어셈블리 언어 모델(ALM)에서 숫자형 피연산자의 정체성을 보존하기 위해, 코드, 데이터, 스택 컨텍스트를 구조적 측면 기술자로 인코딩하는 NumAnchor를 제안하였다. 이 방법은 다양한 ALM 계열에서 최대 35.0%의 Recall@1 및 31.7%의 MRR 향상을 달성하며, 점프 및 콜 타겟 정렬에서 98.7%의 계층적 위치 정확도를 보였다.
시사점 ALM을 이용한 바이너리 분석 시, 숫자형 피연산자의 구조적 정보를 보존하는 입력 표현 기법이 모델 성능 향상에 기여함을 시사한다.
본 연구는 다중 에이전트 시스템(MAS)을 대상으로 하는 강화학습 기반의 레드팀 공격 프레임워크인 ReMAS를 제안한다. 이 프레임워크는 공격 LLM을 미세 조정하여 시스템 프롬프트 추출에 효과적인 적대적 프롬프트를 생성하며, 기존 공격 대비 성공률을 향상시켰다.
시사점 다중 에이전트 시스템은 적응형 블랙박스 공격에 취약하며, 이에 대한 강력한 방어책 마련이 중요하다.
본 연구는 K-12 학교 생태계 전반에 걸친 6가지 차원으로 구성된 AI 보안 리터러시(AISL) 프레임워크를 제안하고, 이를 실제 AI 모델 기반의 브라우저 플랫폼으로 구현하였다. 설문 조사 결과, 교사 중 34.5%만이 학교 AI 정책을 가지고 있었으며, 기술적 견고성 평가는 공격과 훈련된 모델에 따라 달라짐을 확인하였다.
시사점 AI 기술이 교육 현장에 도입됨에 따라, 교육 생태계 전반에 걸친 AI 보안 리터러시 역량 확보가 필요하다.
본 연구는 대화형 LLM 서비스의 영속적 메모리 기능을 악용하여 세션 간 공격 전파가 가능한 메모리 주입(memory injection)이라는 새로운 위협 모델을 제시하였다. 이 모델을 통해 ChatGPT Instant 5.3, Claude Sonnet 4.6, Gemini 3 Flash 등 주요 서비스들이 영속적으로 허위 정보를 유포하거나 유해 콘텐츠를 생성하도록 조작될 수 있음을 입증하였다.
시사점 상용 LLM 서비스의 영속적 메모리 기능은 공격자가 세션을 넘어 지속적으로 시스템을 침해할 수 있는 새로운 공격 경로를 제공하므로 이에 대한 방어 메커니즘 구현이 시급하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.