Subliminal Learning: 언어모델이 데이터의 숨은 신호로 행동 특성을 전달함 (**2025.7.20**)
제출일(논문 공개일): 2025.7.20
언어모델이 의미적으로 무관한 데이터에서 ‘subliminal learning’을 통해 행동 특성(예: 특정 대상 선호, misalignment)을 전달할 수 있음을 연구했다. teacher 모델이 특정 trait T를 가진 상태에서 숫자 수열만으로 구성된 데이터셋(또는 코드/추론 트레이스)을 생성해도, student 모델은 데이터에서 T 관련 표현을 제거해도 T를 학습하는 현상이 관찰됐다. 다만 teacher와 student의 base model이 다르면 해당 효과는 관찰되지 않았으며, 이 현상이 특정 조건에서 일반 신경망 전반에 나타날 수 있음을 이론적으로도 보였다.