🇺🇸 초소형 모델을 통한 중첩 현상 연구 (2022.9.14)
본 연구는 합성 데이터와 희소 입력 특징을 가진 작은 ReLU 신경망 모델(초소형 모델)을 활용하여, 모델 차원보다 더 많은 특징을 표현하는 메커니즘인 '중첩 현상'을 탐구한다. 희소한 특징 상황에서 중첩은 선형 모델보다 더 높은 압축률을 제공하지만, 이를 위해서는 비선형 필터링을 필요로 하는 간섭 현상이 발생한다.
본 연구는 합성 데이터와 희소 입력 특징을 가진 작은 ReLU 신경망 모델(초소형 모델)을 활용하여, 모델 차원보다 더 많은 특징을 표현하는 메커니즘인 '중첩 현상'을 탐구한다. 희소한 특징 상황에서 중첩은 선형 모델보다 더 높은 압축률을 제공하지만, 이를 위해서는 비선형 필터링을 필요로 하는 간섭 현상이 발생한다.