연구 요약과 시사점은 AI가 공개 초록을 정리한 것입니다(AI 생성). 연구를 누르면 원문이 새 창에서 열립니다.
본 연구는 각 참여자가 데이터를 공유하지 않고도 모델을 공동 미세 조정할 수 있는 HE-OFT라는 암호학적으로 안전한 단일 샷 연합 미세 조정 프로토콜을 제안했다. 이 프로토콜은 텍스트 분류에서 61~79%의 정확도를 달성했으며, 이는 단독 훈련 대비 85~96%의 정확도를 유지한다.
시사점 민감한 데이터를 공유하지 않으면서도 여러 당사자가 공동으로 모델을 미세 조정할 수 있는 암호화 기반의 새로운 방법론을 고려할 수 있다.
본 연구는 클라우드 서비스에서 행동 특징을 처리할 때 발생하는 프라이버시 문제를 해결하기 위해 TFHE와 호환되는 병목 어텐션 네트워크(FBAN)를 제안하였다. 이 프레임워크는 동형 암호화된 추론을 통해 서버가 원시 행동 특징을 관찰하지 않고도 사용자 인증을 수행함을 입증하였다.
시사점 민감한 행동 데이터를 클라우드에서 처리해야 할 경우, 동형 암호를 활용하여 데이터가 암호화된 상태로 인증 프로세스를 수행할 수 있다.
본 연구는 이미지/비디오 생성 모델과 LLM 기반 코드 렌더링을 통해 생성된 시각적 산출물에 대한 탐지 및 워터마킹을 비교하는 생산 중심 프레임워크를 개발했다. 이 프레임워크는 식별 가능성, 관측 가능성 등 열 가지 연구 질문을 제시하며 개념적 연구 의제를 보고한다.
시사점 시각적 생성물의 출처를 추적하려면 생성 경로(모델 vs. 코드 렌더링)에 따른 각 단계의 요구사항을 이해해야 한다.
본 연구는 AI 에이전트가 사용하는 모듈식 스킬 환경에서, 공격이 성공하려면 먼저 라우터를 통해 스킬을 검색하고 실행해야 하므로 기존 공격 성공률이 과대평가됨을 보였다. 이에 CORSA라는 라우터 인식 공격 기법을 도입하여 검색 및 실행 단계를 최적화했고, 이는 기존 공격 대비 검색 및 종단 간 공격 성공률을 향상시켰다.
시사점 AI 에이전트의 멀티스킬 환경에서는 공격 성공률을 높이기 위해 스킬 검색 및 실행 단계를 고려한 공격 기법이 필요하다.
연구진은 도구 호출 결과가 조작된 상황을 시뮬레이션하며, 검증 없이 사용했을 때 정확도가 100%에서 72.4%로 급격히 저하됨을 확인했다. 의무적 반성(mandatory reflection)을 사용했을 때 정확도를 100%까지 회복할 수 있었으며, 검증 빈도가 견고성에 큰 영향을 미친다.
시사점 수학적 에이전트의 신뢰성을 확보하려면 검증 정책과 검증 가능 여부를 별개의 구성 요소로 고려해야 한다.
본 연구는 불균형 데이터셋인 NSL-KDD에서 희귀 공격 탐지를 위해 CNN-Transformer 아키텍처와 Focal Loss를 결합한 프레임워크를 구축하였다. 최적화된 모델은 NSL-KDD 테스트 데이터에서 전체 정확도 98.73%를 달성했으며, R2L 공격에 대해 84.63%, U2R 공격에 대해 69.66%의 F1 점수를 기록하였다.
시사점 Focal Loss를 조정하여 사용하는 것은 불균형 IDS에서 클래스 균형을 맞추는 데 효과적인 전략이 될 수 있다.
본 연구는 LLM의 안전성 저하 없이 유용성을 향상시키기 위해, 안전성 함수에 대한 1차 근사를 활용하여 주기적인 안전 인식 보정과 작업 최적화를 수행하는 ASCENT 프레임워크를 제안했다. 실험 결과, ASCENT는 다운스트림 유용성을 최대 20.3% 향상시키고 공격 성공률을 최대 35.5% 감소시켰다.
시사점 LLM의 안전성과 유용성을 동시에 확보하려면, 안전성 제약을 최적화된 방식으로 통합하는 새로운 미세 조정 접근 방식이 필요하다.
본 연구는 협력적 인식 시스템에서 공격자가 단일 안전 관련 객체를 은폐하거나 주입하는 공격에 대응하기 위해 선택적 2단계 베이지안 신뢰 추정기인 SABER를 제안했습니다. SABER는 기존 기법 대비 공격 탐지율을 높이고 정상적인 오탐률(FPR)을 줄였으며, 특정 시나리오에서 ROC-AUC를 최대 0.427 향상시키고 탐지율을 최대 96.40%p 향상시켰습니다.
시사점 협력적 인식 시스템의 신뢰성 확보를 위해 공격의 종류와 심각도에 따라 신뢰도를 동적으로 평가하는 기법을 고려해야 한다.
본 연구는 트래픽 메타데이터를 이용한 웹사이트 지문 인식의 도메인 변화에 따른 성능 저하 문제를 해결하기 위해 SCSM이라는 트래픽 기반 파운데이션 모델을 제안하였다. 실험 결과, SCSM은 GTT23의 여섯 가지 시간적 드리프트 과제에서 평균 상위 3개 정확도를 기존 최고 성능 대비 16.4% 향상시켰으며, 네 가지 도메인 간 데이터셋에서 평균 매크로-F1 점수를 13.8% 향상시켰다.
시사점 웹사이트 트래픽 기반 지문 인식 모델을 구축할 때, 도메인이나 환경 변화에 강건한(robust) 모델링 기법이 필요하다.
본 연구는 레이블 피드백을 이용한 기능적 백도어 복구에 필요한 최소 쿼리 수를 연구하고, 공격 성공률이 같더라도 피해 모델에 따라 최적 적응형 쿼리 복잡도가 다를 수 있음을 보였다. CIFAR-10 ResNet-18 분류기를 사용하여 이러한 복구 문제를 검증했으며, 공격 성공률과 각 쿼리의 레이블 분포만으로는 쿼리 복잡도를 결정하기에 불충분함을 확인했다.
시사점 공격 성공률과 각 쿼리의 레이블 분포만으로는 기능적 백도어 복구의 쿼리 복잡도를 판단할 수 없다.
본 연구는 입력이 아닌 모델이 생성한 답변을 트리거로 활용하는 새로운 답변 기반 백도어 공격을 다중 턴 대화형 LLM에 적용하였다. 이 공격은 5%의 오염률로 거의 100%에 가까운 공격 성공률을 달성하며 기존의 입력 중심 방어를 우회함을 보였다.
시사점 LLM의 안전성 검증 시, 입력뿐만 아니라 모델의 출력물 역시 잠재적인 공격 벡터로 고려해야 한다.
본 연구는 성공적인 경험을 통해 목표 행동을 강화하고 그 행동이 오용될 때 유해한 행동을 유도하는 SkillPoison 프레임워크를 제안했다. 이 공격은 세 가지 벤치마크에서 95.71%의 공격 성공률을 달성했으며, 주입된 경험들은 모두 과제 수행에 정확했고 검증을 통과했다.
시사점 LLM 에이전트의 학습 과정에서 성공적인 경험이라 할지라도 악의적인 의도로 오염될 수 있으므로 이에 대한 방어적 접근이 필요하다.
연구진은 코딩 에이전트 하네스에 대한 10가지 메커니즘 분류를 도출하고, 6개 선도적 하네스를 대상으로 23가지 태스크에 걸쳐 9가지 메커니즘을 평가하였다. 자동 승인 활성화 시 공격 성공률이 29.2%에서 95.6%로 증가했으며, 네트워크 격리나 읽기 전용 모드는 공격 영향을 줄였으나 유틸리티 손실을 초래했다.
시사점 하네스 제공자는 보안 설정을 검증 가능하게 만들고, 공격 영향과 태스크 유틸리티를 함께 평가해야 한다.
연구진은 공격적인 질의와 무해한 질의의 출력 확률 분포에서 발생하는 암묵적 지식(dark knowledge)을 활용하여, 모델에 독립적인 잠재 안전 신호를 추출하는 LADE를 제안했다. LADE는 다양한 LLM과 벤치마크에서 광범위한 탈옥 공격에 대해 강건함을 보이며 공격 성공률을 낮추면서도 안전성과 유용성 간의 균형을 유지한다.
시사점 LLM의 안전성을 확보하기 위해 모델 내부 상태에 의존하지 않고도 공격에 강인한 방어 메커니즘을 적용할 수 있다.
본 연구는 공격자가 공급한 모델에 숨겨진 백도어를 심고, 이후 개발자의 지도 학습(SFT) 및 강화 학습(RL) 과정을 거치면서도 이 백도어가 살아남거나 심지어 성공률이 높아지는 현상을 관찰했다. 연구진은 PersistBD 기법을 적용하여 Qwen2.5-Coder-7B 모델의 공격 성공률을 SFT 후 20%에서 74%로, SFT-RL 후 20%에서 76%까지 높이는 것을 확인했다.
시사점 AI 개발자는 서드파티 모델을 에이전트로 활용할 때, 백도어가 후속 학습 과정을 통해 생존하거나 강화될 수 있는 공급망 위험을 인지하고 이를 탐지 및 완화할 방법을 모색해야 한다.
본 연구는 AWS IAM Context Bench를 사용하여 정책, 환경, 행동적 시나리오를 포함하는 534개의 실제 AWS 관측치를 기반으로, 행동적/환경적 맥락 정보가 정책 정보만으로는 얻을 수 없는 추가적 가치를 제공하는지 평가하였다. 그 결과, 전체 맥락 모델이 정책 중심 모델 대비 분석가 우선순위 예측 오류를 상당히 줄이고 참조 우선순위 순서를 따랐다.
시사점 행동적 및 환경적 맥락 정보는 해석 가능한 IAM 위험 우선순위 지정에 유용한 추가 정보를 제공할 수 있다.
본 연구는 POLAR라는 LLM 기반 프레임워크를 제시하여, 다양한 출처의 사이버 위협 정보를 종합하고 각 위협을 출처 기반 증거에 근거하도록 만든다. 이 프레임워크는 위협 순위 지정과 완화 조치 검색을 개선하며, 분석가 검사를 지원하는 증거 연계 중간 평가를 산출한다.
시사점 LLM을 활용하여 파편화된 사이버 위협 정보를 통합하고 이를 기반으로 신속한 의사결정을 지원하는 것이 가능하다.
본 연구는 캐시된 결과에 전체 생성 경로(derivation graph)를 첨부하고, 요청자가 접근 권한이 있는 모든 열에 대해 검색 시점에 이를 확인하는 분석적 메모리 장치(AMU)를 도입했다. 이 정책은 민감한 열에서 파생된 결과를 검색 시 차단하며, 90%의 생성 경로 기록 완성도를 가정했을 때 기존 대비 18.8-25.5%의 부서 간 유출을 줄이고 13.8 마이크로초의 오버헤드로 메모리 재사용률 81.5-82.6%를 유지했다.
시사점 AI 에이전트가 공유 메모리를 사용할 경우, 단순한 내용 기반 접근 제어 대신 데이터가 어떻게 도출되었는지에 대한 추적(lineage)을 결합하여 프라이버시 침해를 방지할 수 있다.
본 연구는 2단계 에이전트 추적 감사 프레임워크를 제시하며, 첫 단계에서 규칙을 사용해 검사 대상을 선별하고 두 번째 단계에서 LLM 감사 에이전트를 이용해 실행 전 검토한다. 이 프레임워크는 공개 벤치마크에서 평균 LLM 감사를 8.15회에서 2.33회로 줄이고 탐지율 72.8%를 달성했다.
시사점 LLM 기반 에이전트의 행동을 감사할 때, 모든 행동을 감사하는 대신 2단계 필터링을 적용하여 리소스 사용량을 크게 절감하면서도 효과적인 모니터링이 가능하다.
본 연구는 공개 가중치 LLM의 안전 취약점을 공격하기 위해, 프롬프트의 임베딩 벡터에 독립적인 가우시안 노이즈를 추가하는 PEV(Perturbed Embedding Vector) 공격 기법을 제안했다. 이 기법은 기존 공격 대비 계산 비용이 낮으며, 테스트한 모든 모델에서 JailbreakBench 데이터셋에 대해 안전하지 않은 응답을 생성함을 확인했다.
시사점 LLM의 임베딩 벡터에 대한 교란은 보안상 위험 요소이지만, 모델의 동적 거동을 탐색하는 데도 유용한 연구 방향을 제공한다.
본 연구는 LLM 에이전트가 다중 행위자 환경에서 공격받는 상황을 고려하여, 피해 발생 시점을 추적하는 통합적 추적 수준 오용 모니터링 형식을 개발했다. 이 형식으로 구축된 약 6,200개의 대화 기록을 분석한 결과, 제안된 행동 기반 모니터는 두 가지 위협 모두에서 높은 성능을 보였으나, 내용 기반 모니터는 공격에 취약한 것으로 나타났다.
시사점 LLM 에이전트의 오용을 모니터링할 때는 공격의 유형과 피해 발생 시점을 고려한 통합적 접근 방식이 필요하다.
본 페이지의 연구 요약은 공개된 초록을 AI가 한국어로 정리한 것으로, 원문과 차이가 있을 수 있습니다. 정확한 내용은 반드시 원문을 확인하십시오. 본문과 PDF는 제공하지 않으며, 모든 저작권은 각 저자와 발행처에 있습니다.