신경망의 복잡한 행동을 이해하기 위해 개별 뉴런 대신 패턴 기반의 '특징'을 찾아내는 연구를 발표했습니다. 기존 언어 모델의 개별 뉴런은 다양한 맥락에서 활성화되어 해석이 어려웠지만, 본 연구에서는 작은 트랜스포머 모델 내에서 일관된 의미를 가진 수천 개의 특징을 발견했습니다. 이러한 특징들은 DNA 시퀀스, 법률 용어, HTTP 요청 등 다양한 패턴을 나타내며, 인간 평가자와 자동 해석 모델을 통해 기존 뉴런보다 훨씬 더 해석 가능성이 높음을 입증했습니다. 이 접근법은 모델의 안전과 신뢰성을 향상시키는 데 기여할 것으로 기대됩니다. 향후 연구에서는 이러한 방법을 더 큰 모델에 적용하는 데 초점을 맞출 계획입니다.
Anthropic의 최신 연구 논문 "Towards Monosemanticity: Decomposing Language Models With Dictionary Learning"은 개별 뉴런보다 더 효과적인 분석 단위인 '특징(features)'을 제시합니다. 이 특징들은 작은 트랜스포머 모델 내에서 발견되며, DNA 시퀀스, 법률 언어, HTTP 요청 등 다양한 패턴을 나타냅니다. 이 접근법은 복잡한 신경망을 이해 가능한 부분으로 분해하는 방법을 제시하며, 신경과학, 머신러닝, 통계학 분야의 해석 가능성 연구를 기반으로 합니다. 특히, 512개 뉴런을 가진 레이어를 수천 개의 특징으로 분해하여 개별 뉴런 활성화만으로는 파악하기 어려운 모델의 복잡한 특성을 분석할 수 있게 합니다.