AI 안전 다이제스트

HCAST: Human-Calibrated Autonomy Software Tasks (2025.3.17)

이 연구는 고도의 자율 AI 시스템의 사회적 영향을 이해하고 예측하기 위한 벤치마크를 제시한다. HCAST(Human-Calibrated Autonomy Software Tasks)는 인간 전문가들이 수행하는 189개의 기계 학습, 사이버 보안, 소프트웨어 엔지니어링 및 일반 추론 작업을 포함한다. 인간 기준선 데이터(총 1500시간 이상)를 통해 HCAST 작업이 인간에게 1분에서 8시간 이상 걸릴 수 있음을 추정한다. 이를 통해 AI의 수행 능력을 직관적으로 평가할 수 있는 지표를 제공하며, "AI 에이전트가 인간이 X시간 걸릴 작업을 완료할 수 있을까?"라는 질문에 답한다. 평가 결과, 현재의 AI 에이전트는 인간이 1시간 이내에 완료하는 작업에서 70-80%의 성공률을 보이지만, 인간이 4시간 이상 걸리는 작업에서는 성공률이 20% 미만으로 떨어진다.