🇺🇸 Transformer 잔여 스트림에서의 특권 기반 분석 (2023.3.16)
본 연구는 Transformer 아키텍처 내 잔여 스트림의 개별 좌표가 실제로는 무작위 방향보다 정보를 더 잘 인코딩한다는 실무적 관찰을 분석한다. 연구진은 이 현상이 Adam 최적화기의 차원별 정규화 과정에 의해 발생한다고 잠정적으로 결론짓고, 레이어 정규화와 유한 정밀도 부동소수점 계산은 이 현상의 원인이 아님을 확인했다.
본 연구는 Transformer 아키텍처 내 잔여 스트림의 개별 좌표가 실제로는 무작위 방향보다 정보를 더 잘 인코딩한다는 실무적 관찰을 분석한다. 연구진은 이 현상이 Adam 최적화기의 차원별 정규화 과정에 의해 발생한다고 잠정적으로 결론짓고, 레이어 정규화와 유한 정밀도 부동소수점 계산은 이 현상의 원인이 아님을 확인했다.