연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
LLM 추론 과정에서 발생하는 물리적 사이드채널 취약점을 분석하고, 레이저 전압 이미징을 사용하여 모델 자산을 추출하는 공격 기법을 제시한다. FPGA 기반 LLM 가속기에서 공격을 수행하여 타겟 자산의 완전한 복원을 보인다.
시사점 이 연구는 에지 AI 칩에서 LLM 자산을 물리적 공격으로 추출할 수 있음을 보여주어, 에지 기기의 보안 설계 시 사이드채널 공격에 대한 대비가 필요하다.
RAG 시스템의 보안 취약점을 체계적으로 분류하고, 공격 목적과 방어 전략을 파이프라인별로 정리했다. 정량 결과는 원문 참조.
시사점 RAG 시스템을 사용하는 실무자는 공격 범주와 방어 단계를 파악해 보안 설계에 반영해야 한다.
LLM 에이전트가 도구 호출 시 불필요한 개인정보(PSD)를 포함하는 문제를 분석하고, 도구 기능에 필요한 최소한의 데이터만 남기는 중간웨어를 제안한다. 3개 LLM에서 실시간 검증 결과, 개인정보 노출 비용을 81.2~92.0% 줄이며 100%의 작업 유효성을 달성했다.
시사점 LLM 에이전트의 도구 호출 시 불필요한 개인정보를 효과적으로 제거하여 실무에서 개인정보 보호를 강화할 수 있다.
LLM 생성 파이썬 코드의 보안 취약점을 실증적으로 분석하고, 프롬프트 구조가 취약점 분포에 미치는 영향을 밝혔다. GPT-4o의 고위험 취약점은 20.8%에서 13.6%로 감소했으나, 저위험 취약점은 32%에서 43.5%로 증가했다.
시사점 LLM 개발 지원에서 프롬프트 구조는 보안 제어를 대체할 수 없으며, 강력한 보안 조치가 여전히 필요하다.
시스템 프롬프트를 추출해 재배포하는 행위를 탐지하기 위해 Black-Box Behavioral Fingerprinting (BBF) 기법을 제안하고, 4개 모델 가족, 8개 벤치마크, 288,000개의 응답을 대상으로 실증 연구를 수행했다. 동일 모델 탐지에서 AUC 0.876, 교차 모델 탐지에서 평균 AUC 0.725를 달성했으며, 비적응적 프롬프트 변형에도 견디는 것을 확인했다.
시사점 이 연구는 LLM 시스템 프롬프트의 무단 재배포를 탐지하는 실용적인 방법을 제시하여, AI 모델 보호와 관련된 실무에 기여할 수 있다.
GNN 기반 NIDS가 구조적 적대적 공격에 취약하다는 문제를 해결하기 위해 적대적 훈련을 기반으로 방어 프레임워크를 제안한다. CTU-13과 TON-IoT 데이터셋에서 E-GraphSAGE 기반으로 실험한 결과, 정상 그래프에서의 탐지 성능이 우수하고 구조적 공격에 대한 내성이 향상되었다.
시사점 GNN 기반 NIDS의 구조적 공격 내성을 향상시키는 방어 전략을 제시하여, 실제 네트워크 보안 시스템의 신뢰도를 높일 수 있다.
MLLMs에 존재하는 백도어를 모델 수준에서 제거하기 위해 RACER라는 프레임워크를 제안한다. RACER는 백도어가 유발하는 내부 표현의 계층별 불일치를 지역별로 정규화하여 36개의 백도어 설정에서 평균 ASR을 1.1%로 줄였다.
시사점 RACER는 MLLMs에 숨겨진 백도어를 제거하면서 모델 성능을 유지할 수 있는 방안으로, 모델 수준의 방어 기술을 개선하는 데 기여할 수 있다.
AI 음성 에이전트 허니팟을 통해 수집한 10,211개의 전화 사기 및 스팸 전화를 분석하여, 사기 전화의 운영 방식을 밝혔다. 사기 전화는 평일에 6.6배 더 많고, 30개의 반복 스크립트를 사용하며, 15% 더 많은 대화 턴을 노년층에게 제공한다.
시사점 전화 사기는 템플릿화된 운영 방식으로, 노년층을 대상으로 더 적극적으로 접근하는 것으로 나타나, 실무에서는 대상별 대응 전략이 필요하다.
LLM 에이전트에서 프롬프트 인젝션 공격을 방어하기 위해 행동 지침을 지역화하는 Attnlocate 프레임워크를 제안한다. Attnlocate는 0.743의 평균 IoU, 0.956의 평균 AUROC, 0.067의 거짓 양성률에서 0.934의 참 양성률을 달성한다.
시사점 이 연구는 LLM 에이전트의 프롬트 인젝션 공격을 실시간으로 감지하고 방어할 수 있는 새로운 기법을 제시하여, AI 보안 분야의 실무에 즉각적으로 적용될 수 있다.
W3C WebMCP 제안에서 브라우저 내 LLM 에이전트가 웹 페이지 도구를 호출하는 방식의 보안 취약점을 분석하고, 신뢰 경계를 강제하는 이중 레이어 아키텍처를 제안한다. 실험 결과, 100%였던 공격 성공률을 0%로 낮추고, 80개 중 78개의 프롬프트 인젝션을 차단하는 것을 보였다.
시사점 이 연구는 브라우저 내 LLM 에이전트의 보안 아키텍처 설계에 중요한 기준을 제시하며, 실무에서 프롬프트 인젝션 방어 구조를 구현할 수 있다.
RAGSentinel은 검색 증강 생성(RAG) 시스템의 보안 취약점을 방어하기 위해 훈련 없이 레이블 없이 작동하는 방어 기법을 제안한다. 실험 결과, RAGSentinel은 다양한 질문-답변 데이터셋과 LLM 가족, 중독 공격에서 낮은 공격 성공률을 유지하면서 경쟁력 있는 정확도를 보인다.
시사점 RAGSentinel은 적대적 문서를 효과적으로 필터링하여 RAG 시스템의 보안을 향상시킬 수 있어, 실무에서 보안 강화에 활용할 수 있다.
대규모 언어 모델(LLM)의 안전 정렬 문제를 해결하기 위해 NeuronGuard라는 새로운 방어 기법을 제안한다. NeuronGuard는 안전 신호를 더 넓은 뉴런 집합에 재분배함으로써 탈옥 공격과 뉴런 수준 공격에 동시에 강건하게 만든다. 실험 결과, 세 가지 LLM과 여섯 가지 최신 공격 전략을 통해 공격 성공률(ASR)이 거의 0%로 유지되며 작업 정확도를 보존한다.
시사점 이 연구는 LLM의 안전 정렬을 강화하는 새로운 방어 기법을 제시하여, 실제 시스템에서의 안전성을 향상시킬 수 있다.
연방 학습 환경에서 감시 영상 이상 탐지를 위한 모델 학습 시, 클라이언트가 서버에 속이기 위해 배후도 공격을 주입할 수 있는 문제를 해결하기 위해 STAIN-FL이라는 새로운 공격 프레임워크를 제안한다. STAIN-FL은 낮은 조도, 실내 환경, 군중 밀도 등 자연스러운 감시 조건을 트리거로 사용하여 정상 정확도를 유지하면서도 특정 조건에서 오분류를 유도한다.
시사점 이 연구는 연방 학습 기반 감시 시스템에서 배후도 공격의 지속적 위험성을 보여주며, 특히 저강도 공격이 탐지 회피와 높은 공격 효과를 동시에 달성할 수 있음을 시사한다.
Google이 제시한 AP2 프로토콜의 보안 분석을 수행하고, 48개의 보안 위협을 식별하여 8개의 고위험 위협을 AIVSS 점수로 평가했다. 5개의 아키텍처를 포함한 테스트베드를 구축하고, 8개의 고위험 위협에 대한 증명 개념을 개발했다.
시사점 AP2 프로토콜의 보안 취약점을 이해하고, 위협 평가 및 완화 방안을 설계하는 데 이 결과를 활용할 수 있다.
MCP 서버에 대한 단계적 신뢰 공격인 TrustShift를 제안하고, 이 공격을 평가하고 방어하는 TrustShiftProbe 프레임워크를 제시한다. TrustShift 공격의 평균 공격 성공률은 69.5%이며, SHIELD 방어 기법을 통해 42.7%로 감소시켰다.
시사점 MCP 서버의 신뢰 공격을 감지하고 방어하기 위한 실용적인 프레임워크를 제공하여, LLM 에이전트와 외부 도구 간의 보안을 강화할 수 있다.
공업 제어 시스템(ICS)에서 기계 학습 기반 이상 탐지 모델의 훈련 데이터 오염에 대한 안정성을 평가하였다. 11개 이상 탐지기의 3가지 오염 전략(랜덤 삽입, 유사도 타겟 삽입, 특징 노이즈 삽입)을 평가하여, 모델별로 안정성이 크게 달라지는 것을 확인하였다.
시사점 공업 제어 시스템에서 기계 학습 모델의 훈련 데이터 무결성을 보장하는 것이 중요하다.
LLM 에이전트의 메모리 시스템에 단일 인터랙션으로 메모리 주입 공격을 수행하는 InjecMEM을 제안한다. 다양한 메모리 시스템과 백본 모델에서 평가한 결과, InjecMEM은 메모리 드리프트 상황에서도 신뢰성 있게 주제 조건부 검색과 대상 생성을 달성하였다.
시사점 LLM 에이전트의 메모리 시스템 보안 강화가 필요하며, 이 연구는 메모리 공격에 대한 재현 가능한 프레임워크를 제공한다.
Gumbel 기반 추론 검증은 LLM 가중치 유출을 제한하지만, 공격자가 프롬프트 분포를 조절하면 방어가 약화된다. 1B~32B 파라미터의 6개 모델에서 공격으로 유출 비트 수가 약 2배 증가해 지연 요인을 60x-118x로 낮췄다.
시사점 LLM 보안 방어는 정적 기준보다 동적 엔트로피 기반으로 설정해야 한다.
LLM이 생성한 거래 전략의 일관성을 평가하기 위해 FIDES라는 새로운 측정 프로토콜을 제안한다. 40개 전략을 대상으로 실시한 실증 분석에서, 40개 중 2개만이 buy-and-hold 전략을 초과했으며, 32개 전략이 자신이 buy-and-hold를 초과할 것이라고 주장했지만 실제로는 하나도 넘지 못했다는 결과를 얻었다.
시사점 LLM 생성 거래 전략의 일관성을 평가하는 FIDES 프로토콜을 통해 생성 모델의 신뢰도와 정확성을 검증할 수 있다.
피싱 웹사이트는 짧은 수명과 빠른 변화를 특징으로 하며, 기존 데이터셋은 URL이나 사전 계산된 특징으로만 구성되어 있어 연구의 한계가 있다. PhiShark2026은 HTML 콘텐츠, 스크린샷, HTTP 헤더, TLS 인증서, DNS 등 다양한 원증거를 보존한 67,502개의 스캔 데이터를 제공한다. 33,387개의 피싱 관측치와 34,115개의 양성 참조 관측치를 포함하며, 호스팅 인프라 정보를 마스킹하여 혼동을 방지한다. 피싱과 양성 사이의 웹 자원 사용, 도메인 성숙도, 보안 헤더, 인프라 맥락에서 체계적인 차이를 보인다.
시사점 이 데이터셋은 피싱 웹사이트의 진화에 따라 재분석이 가능하며, 다양한 피싱 탐지 및 분석 방법의 기초가 될 수 있다.
지하 포럼에서 사이버 위협 지능(Cyber Threat Intelligence, CTI)을 자동으로 추출하는 다중 에이전트 대형 언어 모델(LLM) 기반 시스템인 DarkBot을 제안한다. 100개의 CrimeBB 대화에서 72.8%의 MITRE ATT&CK 기법을 복구했으며, 7일 동안 평균 3.85개의 CTI 엔티티를 더 수집했다.
시사점 이 연구는 지하 포럼에서 CTI를 자동으로 추출하는 실용적인 방법을 제시하여, 보안 분석의 효율성을 높일 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.