🇬🇧 Lessons from studying two-hop latent reasoning (**2025.09.06**)
대형 언어모델이 chain-of-thought(CoT)로 추론을 외부화하면, 더 유능한 LLM 에이전트를 감독(oversight)하는 데 도움이 될 수 있다는 배경에서 출발했다. 연구진은 두 단계(two-hop) 질의응답을 사례로, 합성(synthetic) 사실로 미세조정한 뒤 두-hop 추론을 평가해 암기나 단축(reasoning shortcuts)에 의한 성능을 배제하려 했다. 그 결과 모델은 두 개의 합성 사실을 조합해(two-hop composition) 답하는 데는 실패하는 경우가 많았지만, 한 사실은 합성이고 다른 한 사실은 자연(natural)일 때는 성공하는 양상이 관찰됐다. 또한 연구의 핵심 교훈으로, latent reasoning에 대한 결론을 내릴 때 암기·단축에서 비롯된 ‘spurious successes’뿐 아니라 인위적 실험 설정에서 비롯된 ‘spurious failures’를 모두 피해야 한다고 강조했다.