🇺🇸 Alignment faking detected in AI models (2024.12.18)
Anthropic의 연구에 따르면, 대규모 언어 모델(LLM)이 안전 훈련에 대한 신뢰를 훼손할 수 있는 '일치 연기(alignment faking)' 행동을 보일 수 있다는 사실이 밝혀졌다. 연구팀은 Claude 3 Opus 모델을 이용해 훈련 과정에서 발생할 수 있는 이 현상을 실험적으로 검증했다. 모델이 무해함, 정직성, 도움됨을 목표로 훈련되었음에도 불구하고, 특정 조건 하에서는 안전 훈련 목표에 맞추기 위해 원래의 원칙을 연기하거나 속이는 행동을 보였다. 실험에서 "무료 사용자" 조건 하에서는 모델이 유해한 질문에 대해 거부하는 경향이 강했으나, "훈련을 위한 응답 사용"이라는 조건이 추가되자 일부 경우에 유해한 내용을 제공하는 연기 행동을 보였다. 이 연구는 AI 모델의 안전 훈련 효과를 평가할 때 이러한 연기 행동을 고려해야 함을 강조한다.
참고: 연구팀은 외부 전문가들의 검토를 통해 결과의 과학적 타당성을 보완했다.