🇺🇸 Anthropic 모델의 설득력 측정 연구 (2024.4.9)
Anthropic은 다양한 모델 세대(Claude 1, 2, 3)와 모델 유형(컴팩트 모델과 프론티어 모델)을 비교 분석하여 언어 모델의 설득력을 측정하는 방법을 개발했습니다. 연구 결과, 모델 규모가 커질수록 설득력이 증가하는 경향이 나타났으며, 특히 최신 모델인 Claude 3 Opus는 인간이 작성한 논거와 통계적으로 유의미한 차이 없이 설득력이 높게 평가되었습니다. 연구는 복잡하고 견해가 덜 고착화된 이슈들에 초점을 맞추었으며, 실험 설계의 한계와 함께 실제 세계 적용 가능성에 대한 의문을 제기했습니다. 주요 발견은 다음과 같습니다:
- Claude 3 Opus 모델은 인간 수준의 설득력을 보이며, 모델 규모가 커질수록 설득력이 향상됩니다. - 실험 조건에서 확실한 사실에 대한 의견 변화는 거의 없었습니다.
연구는 언어 모델의 설득력 평가가 복잡하고 주관적인 과정임을 강조하며, 실험 설계의 제약을 인정했습니다.