🇺🇸 소프트맥스 선형 단위(SoLU) 도입으로 MLP 신경망의 해석 가능성 향상 (2022.6.17)
Anthropic 연구팀은 MLP(다층 퍼셉트론)의 신경세포 중 해석 가능한 부분의 비율을 크게 높이는 새로운 아키텍처 변경을 보고한다. 이를 위해 기존의 활성화 함수를 소프트맥스 선형 단위(SoLU)로 교체하였고, 실험 결과 이 변경이 신경세포들이 인간이 이해하기 쉬운 개념이나 범주와 연관되는 비율을 크게 증가시킨다는 것을 확인했다. 그러나 이 과정에서 일부 특징들이 더 깊게 해석 불가능해질 수 있다는 증거도 발견되었다. 그럼에도 불구하고, SoLU는 실용적으로 해석 가능한 신경세포의 수를 크게 늘려 해석 가능성 향상에 긍정적인 영향을 미친다고 평가된다. 이 연구는 또한 트랜스포머에서 정보 처리 방식에 대한 새로운 통찰력을 제공한다.