초결합, 기억과 이중 하강 현상 연구 (2023.1.5)
간단한 신경망이 제한된 데이터셋에서 과적합 현상을 겪으며, 이 과정에서 데이터 포인트 자체보다는 특징을 저장하는 일반화 모드와 데이터 포인트를 저장하는 과적합 모드 사이의 이중 하강 현상을 보임을 밝힘. 특히, 과적합은 초결합 상태에서 데이터 포인트를 저장하는 것으로 나타나며, 데이터셋의 크기에 따라 모델의 동작 모드가 달라짐을 관찰함. 이 연구는 메커니즘 기반 해석 가능성 이해에 있어 과적합의 역할을 탐구하고 있음.