기업

소스별 모아보기 · 2021년 2건
2021년 12월 (2건)

2021-12-22 (1건)

Transformer 회로를 위한 수학적 프레임워크 (2021.12.22)

기업 · Anthropic Research · 🧪

Anthropic은 Transformer 회로의 해석 가능성 향상을 위한 수학적 프레임워크를 제시하며, 이 연구는 모델의 행동 경향과 그로 인한 예상치 못한 시스템적 실패 가능성에 대해 논의하고 있습니다. 또한, 비공개 버전의 Claude 모델이 리만 가설과 관련된 문제에서 진전을 이루었다는 점도 언급하고 있으며, 이 모델은 리만 제타 함수의 제로 중 리만 가설을 만족하는 비율의 하한을 향상시켰습니다 (41.6%에서 67.2%로 증가).

2021-12-01 (1건)

🇺🇸 일반 언어 어시스턴트를 통한 정렬 연구 (2021.12.1)

기업 · Anthropic-Research

Anthropic은 대규모 언어 모델을 통해 인간 가치에 부합하는 일반적인 텍스트 기반 어시스턴트 개발을 연구하고 있습니다. 연구에서는 간단한 기법들, 예를 들어 프롬프트 활용을 통해 모델의 정렬 개선 효과를 확인했습니다. 모델 크기가 커질수록 이러한 개입의 이점이 증가하고 다양한 평가 지표에 적용 가능하며, 대형 모델의 성능을 저하시키지 않는다는 것을 발견했습니다. 또한, 선호도 모델링이 모방 학습보다 훨씬 우수한 성능을 보이며 모델 크기에 따라 더 유리하게 확장된다는 점도 확인했습니다. 마지막으로, 인간 선호도에 대한 미세 조정 시 효율성을 높이기 위한 선호도 모델 사전 학습 단계를 연구했습니다.