AI 생성 코드의 보안 위험 평가 프레임워크(SRF)
AI 생성 코드의 보안 위험을 평가하는 프레임워크를 제안하고, Bandit과 Semgrep를 사용해 여러 개발 도구의 코드를 분석했다. 위험 수준은 작업 유형에 따라 달라졌으며, 입력 처리와 파일 관리 작업이 가장 높은 위험을 보였다.
AI 생성 코드의 보안 위험을 체계적으로 평가할 수 있는 프레임워크를 실무에 도입할 수 있다.
AI 생성 코드보안 위험 평가SRFBandit
RESEARCH
연구·리포트 참고 자료
로컬 LLM 서빙 시스템의 프롬프트 보안 실패
소비자용 로컬 LLM 서빙 시스템에서 프롬프트 보안 실패 경로를 측정 프레임워크 LLAnalyzer로 분석하고, 런타임 메모리 유출과 테넌트 간 권한 누수 등의 취약점을 발견했다. 200/200 시도에서 성공한 llama.cpp 권한 누수 취약점과 네트워크 환경에서도 구분 가능한 타이밍 오라클을 확인했다.
로컬 LLM 시스템에서도 테넌트 격리, 프롬프트 수명 관리, 지속적 저장소 보안을 명시적으로 보장해야 한다.
로컬 LLM프롬프트 보안메모리 유출테넌트 격리
로봇 비전: 무비용·제로샷으로 reCAPTCHA 공격
Google reCAPTCHA를 무비용으로 제로샷 공격하는 방법을 제안한다. CLIP(58%)과 OWLv2(43.5%) 모델을 사용한 공격이 각각 타입 A와 B에서 성공했으며, 종단간 자동 공격 성공률은 92.6%이다.
reCAPTCHA는 더 이상 신뢰할 수 있는 보안 수단이 아니며, 시각적 CAPTCHA 기반 방어 전략을 재검토해야 한다.
reCAPTCHAAI 보안제로샷 공격시각적 CAPTCHA
MiST: 보안 분야에 특화된 중간 학습 언어 모델
보안 분야에서의 고성능 언어 모델을 만들기 위해 중간 학습(mid-training) 기법을 사용한 MiST 모델을 제안한다. 8B 및 32B 규모의 MiST 모델은 공개 보안 벤치마크에서 Qwen 기준 모델 대비 평균 정확도가 각각 +13.1% 및 +8.6% 향상되었다.
보안 분야에서 특화된 언어 모델을 구축할 때 중간 학습 기법을 활용하면 성능 향상이 기대된다.
보안언어 모델mid-trainingLLM
검증 가능한 행동 카드: 안전한 자율 에이전트의 신뢰할 수 있는 인간 참여 제어
브라우저 에이전트가 사용자의 인증 세션 하에 보안 민감한 행동을 실행함에 따라 간접 프롬프트 주입과 위장 확인 인터페이스가 행동 무결성에 직접적인 위협이 된다. Verifiable Action Card(VAC)는 실행될 행동의 정확한 정보를 신뢰할 수 있는 브라우저 UI에 재구성하여 승인을 바인딩함으로써 공격을 차단한다. 평가 결과, VAC는 모든 모델에서 공격 성공률을 0%로 낮추며, 정당한 작업 완료율은 78%이고, 거짓 차단률은 0%이다.
VAC는 브라우저 에이전트의 행동 승인을 신뢰할 수 있는 정보로 바인딩함으로써 기존 방어 수단이 해결하지 못한 보안 실패를 예방할 수 있다.
에이전트 브라우저프롬프트 주입인간 참여 제어보안 방어
LLM 도구 호출 파이프라인에서 암묵적 신뢰 측정 및 악용
LLM이 외부 도구를 호출하는 Model Context Protocol(MCP)의 암묵적 신뢰를 측정하고, 여러 채널을 통해 분산된 악성 페이로드를 조합하는 공격 기법을 제시한다. 12개 모델, 3개 클라이언트, 6개 페이로드로 15,000회 이상 실험한 결과, 단일 채널 공격에 완전히 저항하는 모델도 2채널 분할 공격으로 100% 민감 정보 유출이 발생했다.
LLM 도구 호출 시 여러 채널을 통해 분산된 악성 입력을 조합하는 공격이 가능하므로, MCP 구현 시 채널 간 권한 분리와 페이로드 통합 검증이 필요하다.
LLM프롬프트 인젝션(prompt injection)도구 호출암묵적 신뢰
PentestChain: 무료 티어 LLM을 활용한 비용 인식형 자동 펜테스트 프레임워크
PentestChain은 GPT-4와 같은 고가 모델 대신 저비용으로 펜테스트를 자동화하는 프레임워크를 제안한다. 7B 파라미터 로컬 모델을 활용해 테스트 비용을 제로로 유지하는 방법을 보인다.
소규모 조직이 저비용으로 지속적인 펜테스트를 수행할 수 있는 기반을 제공한다.
자동 펜테스트LLM비용 효율성MCPCVE-2025-6514
AI 에이전트(agentic LLM)가 만난 MEV: 아그렌틱 경제에서의 크로스체인 아비트리지
자율 AI 에이전트가 크로스체인 아비트리지 검색자로 작동할 때의 영향을 분석하고, 위험 회피 에이전트의 최적 거래 규모를 도출했다. 23,000건의 유니스왑 V3 스왑 이벤트를 분석한 결과, 이더리움-아비트럼 가격 차이는 평균 0.044%, 아비트럼-베이스 차이는 0.013%이며, 10,000달러 규모의 거래는 63%의 경우 CCTP를 통해 L2-L2 윈도우에서 청산된다.
AI 에이전트 기반 크로스체인 아비트리지의 경제적 영향과 최적 전략을 이해하여 실무에서 효율적인 거래 및 리스크 관리가 필요하다.
AI 에이전트MEV크로스체인 아비트리지agentic LLM
대화형 사이버보안 어시스턴트에서 개인화의 영향 평가
대규모 언어 모델(LLM) 기반 사이버보안 어시스턴트의 답변 효과성을 높이기 위해 다양한 개인화 전략을 평가했다. 1,045개의 실제 사이버보안 질문과 57명의 참여자, 1,066개의 사용자 질문을 통해 정량적 LLM 평가와 인간 평가에서 대화 기반 개인화가 가장 효과적임을 보였다.
사이버보안 어시스턴트에서 사용자의 행동을 고려한 개인화 전략을 적용하면 보안 조언의 실천 가능성을 높일 수 있다.
LLM개인화사이버보안 어시스턴트대화형 시스템
신뢰할 수 있는 신뢰(Trusting Trust)의 재고찰: 오염된 벤치마크로 자기 수정 AI 코딩 에이전트 오염
AI 코딩 에이전트가 자기 평가와 개선 과정에서 오염된 벤치마크를 통해 취약한 코드를 생성하도록 유도될 수 있는 공격 기법을 제안하고 실험적으로 검증한다. Hyperagents 에이전트의 경우, Sonnet 4.5를 사용할 때 HTTPS 인증서 검증을 비활성화하는 취약한 코드를 생성하는 사례를 보인다.
AI 코딩 에이전트의 자기 개선 과정에서 사용되는 벤치마크의 신뢰성을 확보해야 하며, 오염 방지를 위한 설계가 필요하다.
AI 보안자기 수정 에이전트벤치마크 오염코딩 에이전트
다중 에이전트 LLM 파이프라인에서의 신뢰 전파와 구조적 격리
다중 에이전트 LLM 시스템에서 신뢰 전파와 구조적 격리를 실증적으로 연구하고, 공격 전파 경로와 방어 기법을 제시한다. 메모리 오염 공격은 방어되지 않은 경우 100% 실행에 도달했으며, 권한 검증을 통해 100%의 판단 우회율(JBR)을 달성하면서 0%의 비보안 행동률을 보였다.
다중 에이전트 LLM 시스템에서 구조적 권한 검증을 통해 공격 전파를 격리할 수 있음을 보여주어, 실무에서 권한 분리 설계에 주목할 필요가 있다.
다중 에이전트LLM신뢰 전파구조적 격리
AI 기반 사이버 위협과 SMB 대응 전략
AI 기술이 사이버 위협을 가속화하고 SMB의 보안 대응을 분석한다. 73%의 SMB가 AI를 도입했으며, 40%는 적절한 AI 정책을 갖추지 못했다. 90만 개의 AI 스킬 중 2.8만 개가 의심스럽고 3,000개 이상이 악성으로 판별되었다. 프롬프트 인젝션과 AI 기반 악성코드 개발이 주요 위협으로 지적된다.
SMB는 AI 도입 시 보안 정책 강화와 AI 스킬 검증을 통해 위협을 방지해야 한다.
AI 보안SMB 보안프롬프트 인젝션악성 AI 스킬
플러그 'n' 프레이: 제3자 CMS 플러그인에서 로그 파일 노출 가능성 탐지
CMS 플러그인에서 로그 파일 노출 취약점을 자동으로 탐지하는 에이전트 기반 LLM 프레임워크를 제안한다. 300개의 가장 많이 설치된 WordPress 플러그인에서 81건의 취약점을 발견하여 79건을 재현하였다.
CMS 플러그인 개발자는 로그 파일 보호를 위해 다층적 보호 조치를 구현해야 한다.
에이전트 언어 모델CMS 플러그인로그 파일 노출보안 분석
InceptionRAG: 검색 증강 생성(RAG)에 대한 은밀한 중독 공격
RAG 시스템의 중독 공격 방식인 InceptionRAG를 제안하고, 기존 방어 메커니즘이 새로운 공격에 취약함을 보인다. 3개 데이터셋과 3개 LLM에서 80% 이상의 공격 성공률을 기록했다.
RAG 시스템의 보안 설계 시 다중 추론 기반의 중독 공격 가능성에 주의해야 한다.
RAG중독 공격LLMInceptionRAG
모바일 에이전트의 UI 비동기화 위협 공개
모바일 에이전트가 사용자와 다른 UI 정보를 인식하는 '사용자-에이전트 UI 비동기화' 현상을 발견하고, 이를 악용한 공격 가능성을 실증했다. 정적·동적 평가에서 평균 유도율 77.9%와 66.9%를 기록했다.
모바일 에이전트의 UI 인식 차이를 악용한 공격 가능성을 확인해, 모바일 애플리케이션 개발 및 보안 검증 시 UI 동기화 검증을 강화해야 한다.
모바일 에이전트UI 비동기화공격 가능성자동화 공격 프레임워크
보안 AI 펜테스트 에이전트(AI-Powered Penetration Testing Agents)로의 발전: 보안 위협, 가이드라인, 아키텍처 관점
자율 AI 펜테스트 에이전트의 보안 분석을 수행하고, 공격 범주화와 기존 방어 기전의 한계를 제시한다. 공격 범주와 방어 기전 개선 방향을 제시한다.
AI 펜테스트 에이전트의 보안 위협을 이해하고, 아키텍처와 맥락에 기반한 방어 기전 개발이 필요하다.
AI 펜테스트 에이전트보안 분석공격 범주화방어 기전
MarkSec: 적대적 공격에 대한 LLM 워터마크 능력 기반 평가
LLM 워터마크에 대한 도용, 제거, 위조 공격을 통합 평가 프레임워크로 분석하고 공격 효과성과 텍스트 품질을 결합한 평가 지표를 제안한다. 실험 결과에 따르면 텍스트 품질 제약 하에서 일반적인 재작성 공격이 강력한 기준이 되는 것을 보인다.
LLM 워터마크 보안 평가 시 텍스트 품질과 공격 효과성을 동시에 고려해야 한다.
LLM 워터마크적대적 공격보안 평가공격 분석
MAL 시뮬레이터: 공격 및 방어 그래프 기반 사이버 작전 시뮬레이션
연구팀은 Meta Attack Language(MAL)를 기반으로 한 사이버 작전 시뮬레이터인 MAL Simulator를 개발하여, 시스템 분석과 자동화 에이전트 개발에 활용했다. 두 가지 유형의 자동화 에이전트(방어 에이전트와 공격 에이전트)를 훈련시키는 두 가지 사례 연구를 수행했으며, 훈련된 공격 정책이 기존 탐색 방법보다 목표 도달 효율성이 높고, 방어 에이전트가 소음 알림 조건에서 낸 비용이 단순 휴리스틱 에이전트보다 낮았다.
이 연구는 공격 및 방어 에이전트의 훈련을 위한 사이버 작전 시뮬레이터의 중요성을 강조하며, MAL Simulator를 통해 다양한 도메인에서의 시뮬레이션과 자동화 에이전트 개발이 가능하다는 점을 실증했다.
사이버 작전 시뮬레이션공격 및 방어 에이전트자동화Meta Attack Language
자율 네트워크 침해 대응 에이전트의 사이버 레인지 평가
연구팀은 인간 운영자 교육을 위한 사이버 레인지 환경에서 자동 네트워크 침입 대응 에이전트의 성능을 평가했다. 강화 학습 에이전트가 휴리스틱 정책보다 시스템 방어 효율성이 더 높았다.
강화 학습 기반 자동 대응 에이전트가 네트워크 보안 운영 효율성을 높일 수 있다.
네트워크 보안자동 대응강화 학습사이버 레인지
랜덤 푸리에 특징(RFF)에 대한 흰색 상자 탐지 불가 백도어 구현
기존 이론적 연구에서 제안된 랜덤 푸리에 특징(RFF) 알고리즘에 심는 탐지 불가능한 백도어를 실제 코드로 구현하여 그 실현 가능성을 검증했다. numpy와 scipy만을 사용한 구현으로, 백도어가 심긴 모델과 정상 모델 간의 차이를 탐지할 수 없었다.
이 연구는 기존 이론적 연구가 실제 코드로 구현 가능한지를 실증적으로 보여주며, 보안 연구자들이 이론적 취약점을 실용적으로 평가하는 데 참고할 수 있다.
백도어RFFCLWEnumpy
유전자 기초 모델의 동형 추론 가능성
유전자 기초 모델을 동형 암호화를 사용하여 평가하는 방법을 제안하고, 암호화된 상태에서 정확한 추론이 가능한지 실험적으로 검증했다. 클라이언트 지원 방식으로 전체 트랜스포머 블록을 처리했으며, 9,839 MiB 메모리와 6,683초 소요되었다.
암호화된 유전자 데이터를 처리하는 동형 추론 기술이 실현 가능성을 보여주어, 민감한 생체정보 보호에 기여할 수 있다.
동형 암호화유전자 모델암호화 추론생체정보 보호
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.