간단한 프로브가 잠재적 잠입 에이전트 감지 가능 (2024.4.23)
잠재적 잠입 에이전트를 감지하기 위한 간단한 해석 가능성 기법 소개
Anthropic의 연구팀은 최근 발표한 "잠입 에이전트 훈련: 안전 교육을 통과하는 기만적인 LLM 훈련" 논문을 기반으로 초기 연구 결과를 공유한다. 이 연구는 기술적인 독자를 대상으로 하며 진행 중인 작업임을 명시한다. 연구는 선형 분류기인 "결함 탐지기"를 소개하며, 이는 잔여 스트림 활성화를 사용해 잠재적 잠입 에이전트 모델이 위험한 숨겨진 목표에 따라 행동하기 시작할 때의 "결함"을 예측한다. 실험 결과, 특정 대조 쌍을 사용한 선형 탐지기는 AUROC 점수가 99%를 초과하는 성능을 보여주며, 다양한 기본 모델, 결함 트리거, 잠입 에이전트 훈련 방법 및 위험한 결함 행동(코드 취약성 삽입 및 사용자 모욕 등)에 걸쳐 우수한 성능을 발휘한다. 이 기법의 효과적인 이유는 잠재적 잠입 에이전트 모델에서 결함 유발 여부가 고도로 선형적으로 표현되며, 이로 인해 간단한 선형 방법으로 쉽게 감지될 수 있다는 점에 있다. 향후 연구에서 이러한 탐지기 기법이 AI 제어 설정의 중요한 부분을 이룰 수 있을 것으로 기대된다.