프롬프트 구조가 재분배하는 LLM 생성 파이썬 코드의 보안 취약점
LLM 생성 파이썬 코드의 보안 취약점을 실증적으로 분석하고, 프롬프트 구조가 취약점 분포에 미치는 영향을 밝혔다. GPT-4o의 고위험 취약점은 20.8%에서 13.6%로 감소했으나, 저위험 취약점은 32%에서 43.5%로 증가했다.
LLM 개발 지원에서 프롬프트 구조는 보안 제어를 대체할 수 없으며, 강력한 보안 조치가 여전히 필요하다.
LLM 생성 파이썬 코드의 보안 취약점을 실증적으로 분석하고, 프롬프트 구조가 취약점 분포에 미치는 영향을 밝혔다. GPT-4o의 고위험 취약점은 20.8%에서 13.6%로 감소했으나, 저위험 취약점은 32%에서 43.5%로 증가했다.
LLM 개발 지원에서 프롬프트 구조는 보안 제어를 대체할 수 없으며, 강력한 보안 조치가 여전히 필요하다.
2019~2026년 18개 연구를 메타리뷰하여 ICS 보안 데이터셋 83개를 분류하고 평가 방법을 분석했다. 85.5%가 후기 OT 방해 전략에 집중되고, 15.7%만 운영 데이터를 포함하며, 평가 실천에서 재현성 요구사항을 충족하는 경우는 2건뿐이다.
ICS 보안 연구자들은 데이터셋의 구조적 한계를 인식하고, 교차 단계 코퍼스 구축과 시간 구조화 벤치마킹을 고려해야 한다.
모바일 메시징 피싱(SMiShing) 공격에 취약한 인구를 조사하고, 인식 교육을 위한 대상자를 분석하였다. 두 대규모 설문 조사에서 24세 이하와 대학가들이 특히 취약한 것으로 나타났다.
모바일 메시징 공격에 취약한 24세 이하와 대학가를 대상으로 한 맞춤형 인식 교육이 필요하다.
SeriCrypt는 암호 프로토콜의 메시지 시퀀스를 자동 생성하는 LLM 기반 직렬화 프레임워크로, 프로토콜 명세에서 필드 제약 조건과 암호 계산 규칙을 추출하여 보안 테스트를 지원한다. TLS 1.2/1.3, IKEv1/v2, SSH, TLCP 등에서 테스트해 5개의 명세 위반을 발견하고 퍼징 테스트에서 더 깊은 프로토콜 상태와 높은 코드 커버리지를 달성했다.
SeriCrypt는 암호 프로토콜 보안 테스트에서 퍼징 및 명세 위반 탐지를 효과적으로 수행할 수 있어, 실무에서 보안 검증 도구로 활용할 수 있다.
시스템 프롬프트를 추출해 재배포하는 행위를 탐지하기 위해 Black-Box Behavioral Fingerprinting (BBF) 기법을 제안하고, 4개 모델 가족, 8개 벤치마크, 288,000개의 응답을 대상으로 실증 연구를 수행했다. 동일 모델 탐지에서 AUC 0.876, 교차 모델 탐지에서 평균 AUC 0.725를 달성했으며, 비적응적 프롬프트 변형에도 견디는 것을 확인했다.
이 연구는 LLM 시스템 프롬프트의 무단 재배포를 탐지하는 실용적인 방법을 제시하여, AI 모델 보호와 관련된 실무에 기여할 수 있다.
GNN 기반 NIDS가 구조적 적대적 공격에 취약하다는 문제를 해결하기 위해 적대적 훈련을 기반으로 방어 프레임워크를 제안한다. CTU-13과 TON-IoT 데이터셋에서 E-GraphSAGE 기반으로 실험한 결과, 정상 그래프에서의 탐지 성능이 우수하고 구조적 공격에 대한 내성이 향상되었다.
GNN 기반 NIDS의 구조적 공격 내성을 향상시키는 방어 전략을 제시하여, 실제 네트워크 보안 시스템의 신뢰도를 높일 수 있다.
SSH 프로토콜에서 클라이언트 서명을 대체하는 KEM 기반 사용자 인증 방법을 제안한다. 평균 핸드셰이크 지연 시간을 기존 대비 약 10%까지 감소시켰다.
이 연구는 SSH에서 포스트-퀀텀 보안을 유지하면서 성능 저하를 최소화할 수 있는 실용적 대안을 제시한다.
MLLMs에 존재하는 백도어를 모델 수준에서 제거하기 위해 RACER라는 프레임워크를 제안한다. RACER는 백도어가 유발하는 내부 표현의 계층별 불일치를 지역별로 정규화하여 36개의 백도어 설정에서 평균 ASR을 1.1%로 줄였다.
RACER는 MLLMs에 숨겨진 백도어를 제거하면서 모델 성능을 유지할 수 있는 방안으로, 모델 수준의 방어 기술을 개선하는 데 기여할 수 있다.
AI 음성 에이전트 허니팟을 통해 수집한 10,211개의 전화 사기 및 스팸 전화를 분석하여, 사기 전화의 운영 방식을 밝혔다. 사기 전화는 평일에 6.6배 더 많고, 30개의 반복 스크립트를 사용하며, 15% 더 많은 대화 턴을 노년층에게 제공한다.
전화 사기는 템플릿화된 운영 방식으로, 노년층을 대상으로 더 적극적으로 접근하는 것으로 나타나, 실무에서는 대상별 대응 전략이 필요하다.
LLM 에이전트에서 프롬프트 인젝션 공격을 방어하기 위해 행동 지침을 지역화하는 Attnlocate 프레임워크를 제안한다. Attnlocate는 0.743의 평균 IoU, 0.956의 평균 AUROC, 0.067의 거짓 양성률에서 0.934의 참 양성률을 달성한다.
이 연구는 LLM 에이전트의 프롬트 인젝션 공격을 실시간으로 감지하고 방어할 수 있는 새로운 기법을 제시하여, AI 보안 분야의 실무에 즉각적으로 적용될 수 있다.
W3C WebMCP 제안에서 브라우저 내 LLM 에이전트가 웹 페이지 도구를 호출하는 방식의 보안 취약점을 분석하고, 신뢰 경계를 강제하는 이중 레이어 아키텍처를 제안한다. 실험 결과, 100%였던 공격 성공률을 0%로 낮추고, 80개 중 78개의 프롬프트 인젝션을 차단하는 것을 보였다.
이 연구는 브라우저 내 LLM 에이전트의 보안 아키텍처 설계에 중요한 기준을 제시하며, 실무에서 프롬프트 인젝션 방어 구조를 구현할 수 있다.
RAGSentinel은 검색 증강 생성(RAG) 시스템의 보안 취약점을 방어하기 위해 훈련 없이 레이블 없이 작동하는 방어 기법을 제안한다. 실험 결과, RAGSentinel은 다양한 질문-답변 데이터셋과 LLM 가족, 중독 공격에서 낮은 공격 성공률을 유지하면서 경쟁력 있는 정확도를 보인다.
RAGSentinel은 적대적 문서를 효과적으로 필터링하여 RAG 시스템의 보안을 향상시킬 수 있어, 실무에서 보안 강화에 활용할 수 있다.
대규모 언어 모델(LLM)의 안전 정렬 문제를 해결하기 위해 NeuronGuard라는 새로운 방어 기법을 제안한다. NeuronGuard는 안전 신호를 더 넓은 뉴런 집합에 재분배함으로써 탈옥 공격과 뉴런 수준 공격에 동시에 강건하게 만든다. 실험 결과, 세 가지 LLM과 여섯 가지 최신 공격 전략을 통해 공격 성공률(ASR)이 거의 0%로 유지되며 작업 정확도를 보존한다.
이 연구는 LLM의 안전 정렬을 강화하는 새로운 방어 기법을 제시하여, 실제 시스템에서의 안전성을 향상시킬 수 있다.
연방 학습 환경에서 감시 영상 이상 탐지를 위한 모델 학습 시, 클라이언트가 서버에 속이기 위해 배후도 공격을 주입할 수 있는 문제를 해결하기 위해 STAIN-FL이라는 새로운 공격 프레임워크를 제안한다. STAIN-FL은 낮은 조도, 실내 환경, 군중 밀도 등 자연스러운 감시 조건을 트리거로 사용하여 정상 정확도를 유지하면서도 특정 조건에서 오분류를 유도한다.
이 연구는 연방 학습 기반 감시 시스템에서 배후도 공격의 지속적 위험성을 보여주며, 특히 저강도 공격이 탐지 회피와 높은 공격 효과를 동시에 달성할 수 있음을 시사한다.
현대 하드웨어 퍼징 기술을 ISA, 마이크로아키텍처, RTL 세 가지 추상화 계층에서 분석하고, 퍼징 설계의 주요 요소와 현황을 조사했다. 퍼징 효율성 향상을 위한 하이브리드 프레임워크, AI 지원 테스트 생성, 표준화된 평가 지표 등 미래 연구 방향을 제시했다.
하드웨어 퍼징 기술의 현황과 한계를 파악하고, 효율적인 하드웨어 검증을 위한 연구 방향을 제시하여 실무에서 퍼징 도구 개발과 평가 기준 수립에 참고할 수 있다.
Google이 제시한 AP2 프로토콜의 보안 분석을 수행하고, 48개의 보안 위협을 식별하여 8개의 고위험 위협을 AIVSS 점수로 평가했다. 5개의 아키텍처를 포함한 테스트베드를 구축하고, 8개의 고위험 위협에 대한 증명 개념을 개발했다.
AP2 프로토콜의 보안 취약점을 이해하고, 위협 평가 및 완화 방안을 설계하는 데 이 결과를 활용할 수 있다.
TLS 1.3 암호화 의존성에 대한 양자 및 AI 가속화된 위험을 시나리오 기반 모델을 통해 평가하여, RSA 및 ECC 위험은 2030-2032년에 50%를 넘고, PQC 위험은 2032-2035년 이후 비영향 위험으로 나타났다.
2030년 이전 PQC 마이그레이션과 암호화 유연성, 하이브리드 암호화 배포가 필요하다.
기존 Rowhammer 기반 추론 시 백도어 공격은 하드웨어의 비트 플립 패턴을 고려하지 않아 공격 성공률과 정확도가 불안정했다. ROBBIN은 타겟 DRAM의 비트 플립 패턴을 분석해 공격 성공률 90%와 정확도 83% 이상을 달성했다.
이 연구는 Rowhammer 공격의 실용성을 높여 DRAM 기반 보안 취약점 대응이 필요하다.
MCP 서버에 대한 단계적 신뢰 공격인 TrustShift를 제안하고, 이 공격을 평가하고 방어하는 TrustShiftProbe 프레임워크를 제시한다. TrustShift 공격의 평균 공격 성공률은 69.5%이며, SHIELD 방어 기법을 통해 42.7%로 감소시켰다.
MCP 서버의 신뢰 공격을 감지하고 방어하기 위한 실용적인 프레임워크를 제공하여, LLM 에이전트와 외부 도구 간의 보안을 강화할 수 있다.
피보팅 공격은 침해된 호스트를 통해 트래픽을 중계하여 추가 타겟에 접근하는 공격으로, 기존 방어 기법은 정확도나 처리 지연 등의 문제를 가진다. Stitch는 프로그래밍 가능한 커널을 활용해 실시간으로 피보팅을 탐지하는 호스트 기반 시스템으로, 31%의 정확도 향상과 0.006%의 최대 오류율을 보인다.
Stitch는 실시간 피보팅 공격 탐지에 효과적인 방안으로, 네트워크 내 취약 호스트를 정확하고 가벼운 방식으로 보호할 수 있다.
웹 브라우저에서 태그 이름을 이용한 XSS 공격 기법을 분석하고, 다양한 변형을 통해 웹 방화벽(WAF)을 우회하는 방법을 제시한다. 여러 공격 벡터를 실증적으로 보인다.
브라우저가 HTML 태그 이름을 처리하는 방식을 이해하고, localName, part, classList 등의 속성을 통해 예상치 못한 XSS 공격이 발생할 수 있음을 인지해야 한다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.