연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
연구진은 공격적인 질의에 대해 안전 가드레일이 입력의 마지막 완전한 작업에 근거하여 판단한다는 점을 이용하여 '타겟 리바인딩'이라는 공격 기법을 고안했다. 이 기법을 GuardRebind 벤치마크에 적용했을 때, 특정 가드들은 공격 가족에 따라 플래그 지정된 항목의 최소 93%를 우회할 수 있었다.
시사점 LLM 안전 가드레일은 입력의 마지막 부분에 붙이는 조작된 구조를 통해 우회될 수 있으므로, 가드 모델의 판단 근거를 명확히 하는 것이 중요하다.
연구진은 SOCMINT와 Cyber-HUMINT를 통합하고 LLM을 증강한 다중 에이전트 파이프라인을 구축하여 대상의 프로파일링 정확도와 사회 공학 공격에 대한 취약성을 측정했다. 이 프레임워크는 추출 정확도 F1 = 97.3%, 추론 속성 점수 4.73/5를 달성하며, 이는 기존 규칙 기반 및 NER 기반 방식보다 우수함을 보였다.
시사점 이 프레임워크는 방어자들이 공격자가 자신을 평가하기 전에 자신의 노출도를 가늠할 수 있도록 돕는다.
본 연구는 기존 탐지 데이터셋의 한계를 극복하기 위해 설득적 피싱 공격에 대한 LLM 이메일 에이전트의 취약성을 평가하는 AgentPhishing 벤치마크를 개발했다. 평가 결과, 9개 에이전트 중 4개는 피싱 탐지율이 10% 미만이었으며 악성 요청 준수율은 45%를 상회했다.
시사점 에이전트의 안전성을 기존 피싱 평가만으로 추론하는 것은 한계가 있으며, 에이전트의 설득적 악성 요청 대응 능력을 평가해야 한다.
본 연구는 LLM 에이전트가 외부 메모리에서 정보를 삭제해도 후속 상호작용을 통해 정보가 복구될 수 있는 취약점을 AfterDeleteBench를 통해 검증했다. Qwen2.5-7B-Instruct의 경우, 단일 질의로 약 3분의 2의 경우에 삭제된 비밀 정보를 복구할 수 있었으며, 이는 완전한 복사본 없이도 성공했다.
시사점 정보의 삭제는 단순히 저장소에서의 삭제 작업이 아닌, 에이전트와 메모리 시스템 수준에서 행동적으로 평가되어야 한다.
연구진은 29가지 공격 시나리오와 감사/애플리케이션/네트워크 로그를 통합한 새로운 벤치마크를 구축하고, 각 샘플에 단계별 증거 사슬을 주석 처리했다. 이 벤치마크를 사용하여 평가한 결과, 현재 LLM들은 증거가 제공될 때 공격 진행 추론에서 최대 정확도 44.44%, Macro-F1 점수 45.07%를 보였다.
시사점 LLM 기반 로그 분석의 신뢰성을 높이기 위해서는 공격 추론의 정확도뿐만 아니라 추론 과정 자체의 품질을 함께 검증해야 한다.
본 연구는 조사 계획, 증거 해석, 보고를 수행하는 멀티모달 에이전트와 이진/객관식 작업을 처리하는 전문화된 의사결정 모델을 결합한 ReDence라는 오픈소스 하이브리드 프레임워크를 제시하였다. 이 프레임워크는 12가지 SE 사기 범주에서 96%의 탐지 정확도를 달성했으며, 기존 탐지기보다 빠르면서도 조사 깊이를 유지하였다.
시사점 분석가들은 ReDence를 활용하여 구조화되고 증거 기반의 보고서를 생성하고, 탐지 결정을 독립적으로 감사하며 후속 조치를 지원할 수 있다.
본 연구는 모멘텀 통합 기울기와 합의 직교 분해를 결합한 MIG-COW라는 새로운 적대적 공격 프레임워크를 제안하여 시각적으로 인지하기 어려운 적대적 예를 생성한다. AADD-2025 벤치마크에서 백박스 공격 성공률 99.96%를 달성했으나, 공식 블랙박스 대상에 대한 공격 성공률은 7.16%에 그쳤다.
시사점 적대적 공격의 전이성(transferability)은 공격 성공률을 결정하는 중요한 요소이며, 공격 대상 모델의 특성을 고려해야 한다.
본 연구는 IIoT 환경의 사이버 위협 탐지를 위해 Apache Kafka 스트리밍과 머신러닝 추론을 결합한 AIRO 프레임워크를 제안했다. 자체 제작한 데이터셋을 사용하여 Gradient Boosting 및 LightGBM 모델은 최대 F1-점수 0.9229를 달성하며 낮은 지연 시간 내 완화 조치를 수행했다.
시사점 IIoT 환경에서 발생하는 다양한 사이버 위협에 대해 스트리밍 기반의 머신러닝 접근 방식을 적용하여 탐지 및 대응할 수 있다.
연구진은 LLM 기반 사기 시스템의 추론 비용에 의존하는 TokenTrap이라는 자원 기반 방어 기법을 제안했다. 이 기법은 세 가지 워크플로우에서 토큰 소비를 각각 $2,487.0 imes$, $1,616.0 imes$, $567.8 imes$ 증폭시켰으며, 라우터는 300개의 프롬프트에 대해 85.67%의 정확도를 달성했다.
시사점 LLM 기반 사기 탐지에 있어 자원 소모를 고려한 방어 기법이 탐지 보조 수단으로 활용될 수 있다.
본 연구는 LLM의 게이티드 피드포워드 네트워크(FFN) 가중치에 대한 스펙트럼 구조로부터 압축된 지문을 추출하는 가중치 수준 프레임워크를 소개했다. 이 방법은 입력 샘플이나 생성된 출력을 필요로 하지 않으며, 다양한 변형에도 불구하고 모델 간의 명확한 분리와 안정적인 유사성을 보였다.
시사점 LLM의 가중치 자체를 분석하여 모델의 출처를 식별할 수 있는 새로운 비침습적 방법론이 제시되었다.
본 연구는 LLM 생성 텍스트의 출처 추적 문제를 해결하기 위해 계층적 후보 제어 및 토너먼트 제거를 포함하는 HiMark라는 다중 비트 워터마킹 프레임워크를 제안했다. 실험 결과, 300 토큰 텍스트에 32비트를 임베딩했을 때 패러프레이징 공격 하에서도 워터마크 추출 정확도 90.01%를 달성했다.
시사점 HiMark는 LLM 생성물의 출처를 추적하는 데 사용될 수 있는 견고한 워터마킹 기법을 제공한다.
본 연구는 지도 학습의 정밀도와 비지도 학습의 적응성을 결합한 하이브리드 퍼지 앙상블을 제안하여 알려진 내부자 위협과 새로운 공격을 탐지한다. 이 접근 방식은 BETH 테스트 세트에서 기존 Isolation Forest 기반 방법보다 17.1% 향상된 AUROC 0.9951을 달성했다.
시사점 새로운 공격에 대한 탐지 능력을 높이면서도 퍼지 논리를 통해 탐지 과정의 해석 가능성을 확보할 수 있다.
본 연구는 LLM 스테가노그래피에서 종단 간(E2E) 복구의 한계를 극복하기 위해 역할별 분해 프레임워크를 도입하여 인코더가 전송한 텍스트와 디코더가 복구한 내용을 개별적으로 분석했다. 7,200개의 인코더 응답을 분석한 결과, 디코더가 놓친 검증 가능한 인코딩과 단어 길이 또는 토큰 초기 패턴으로 복구된 메시지를 확인했다.
시사점 LLM 스테가노그래피의 안전성 문제를 이해하고 완화하기 위해서는 E2E 복구 외에 인코딩 및 디코딩 과정을 분리하여 평가할 필요가 있다.
본 연구는 차분 프라이버시(DP) 기반의 Private Evolution(PE) 프레임워크에 특화된 최초의 화이트박스 멤버십 추론 공격(MIA)을 도입하였다. 이 공격은 반복적 필터링 과정이 합성 후보군을 사적 인스턴스 쪽으로 편향시키는 방식을 악용하여 이미지, 텍스트, 테이블 모달리티 전반에서 개인 정보 유출을 시사함을 입증하였다.
시사점 DP를 적용한 합성 데이터 생성 시, 사용된 프레임워크의 특성을 이용한 멤버십 추론 공격에 대한 취약점을 인지하고 대비해야 한다.
연구진은 시각적 정보만으로 위치를 추론하는 공격 기법 GeoTrace를 개발하여, 특정 이미지의 위치를 1km 이내로 추론하는 것을 시연했다. 이에 대응하여 GeoShift라는 방어 기법을 적용했을 때, 해당 추론 성공률을 각각 16.95%에서 2.48%로 낮추는 결과를 얻었다.
시사점 시각적 정보 기반의 위치 추론 공격에 대응하기 위해, 이미지 공개 전 시각적 단서의 사슬을 끊는 선제적 방어 기법을 고려해야 한다.
연구진은 합성 및 실제 에이전트 시뮬레이션을 통해 LLM 에이전트가 기밀 문서로부터 정보를 취합하여 유출하는 모자이크 효과를 정량화했습니다. 테스트된 모델은 시뮬레이션에서 7.08%의 답변에서 금지된 복합체를 공개했으며, 안전장치에도 불구하고 32.37%의 시뮬레이션 답변에서 유출이 지속되었습니다.
시사점 에이전트가 민감한 데이터 환경에서 추론하고 공개할 때, 유출을 막기 위해 에이전트가 추론하고 공개할 수 있는 내용에 대한 강력한 통제가 필요하다.
연구진은 정보 왜곡자들이 신뢰할 만한 콘텐츠가 부족한 데이터 공백에 자신의 서사를 배치하고, 웹 검색 기반 LLM이 이를 인용하도록 유도하는 데이터 공백 익스플로잇을 연구했다. 모든 조건에서 공격자가 통제하는 페이지가 LLM 응답에 31% 나타났으며, 사용자 통제는 제한적인 방어 효과만을 보였다.
시사점 웹 검색 기반 LLM은 전략적으로 배치된 웹 콘텐츠를 통해 공격받을 수 있으며, 이에 대한 방어책 마련이 시급하다.
연구진은 4B 파라미터의 사이버 보안 트랜스포머 모델에서 잔차 스트림으로부터 171개의 감정 방향을 추출하고, 이를 조향하여 사이버 보안 AI의 성능을 평가했다. 동적 라우터를 도입한 이 접근 방식은 10개 시드에서 4.2%p의 성능 향상을 보이며, 감정 표현이 측정 가능하고 제어 가능하다는 것을 시사한다.
시사점 LLM 내부의 감정 표현을 측정하고 제어하는 것이 적응형 사이버 보안 추론에 유용하게 활용될 수 있다.
본 연구는 적대적 목표를 가진 다중 모달 공격 Mirage를 제안하여, 미묘한 교란(perturbation)을 통해 본질적으로 무해한 입력 이미지에 목표를 숨기고 후처리 안전 검사기를 우회한다. 이 기법은 Stable Diffusion 1.5, SDXL, Kandinsky 2.2에 적용되어 다양한 안전 검사기를 제한된 블랙박스 쿼리로 효과적으로 우회함을 입증했다.
시사점 다중 모달 생성 모델의 후처리 안전 검사기는 내부 세부 사항에 접근하지 않고도 공격적인 우회 공격에 취약할 수 있으므로 이에 대한 방어 메커니즘 검토가 필요하다.
본 연구는 LLM을 이용해 생성된 피싱 페이지의 시각적 충실도와 종단 간 기능을 평가하는 PhishGen 프레임워크를 구축하고, 이를 실제 피싱 키트와 비교 분석하였다. GPT 4.1은 86.3%에서 94.1%의 기능적 성공률을 보였으나, 모든 생성물의 인식된 충실도는 2.02/5로 비교적 낮았다.
시사점 LLM은 낮은 진입 장벽으로 작동하는 피싱 페이지를 대량 생산할 수 있으며, 향후 하이브리드 탐지기가 필요하다.
연구진은 자원 제약적인 IoT 환경에 배포 가능한 소형 트랜스포머 기반 아키텍처를 제안하고, 이를 두 가지 IoT 침입 탐지 데이터셋에 적용하여 평가하였다. 제안된 모델은 SecurityBERT 대비 매개변수가 적고, Edge-IIoTset에서 거시적 F1 점수가 약 2점 향상되었으며, 시뮬레이션된 엣지 장치에서 약 89배 빠른 속도를 보였다.
시사점 경량 트랜스포머 아키텍처는 자원 제약적인 IoT 환경에서 침입 탐지를 위한 실용적이고 정확한 해결책을 제공할 수 있다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.