산업연구원은 중국의 R&D 투자와 첨단기술 연구 역량이 미국에 근접하거나 일부 분야에서 앞서면서 미국이 새로운 ‘스푸트니크 모멘트’를 경험하고 있다고 분석했다. 중국은 연구의 질과 핵심기술 분야에서 높은 성과를 보였으며, AI·양자·5G·반도체 등 기술이 경제뿐 아니라 군사·안보 측면에서도 중요하다고 설명했다. 양자컴퓨팅은 도청 감시망을 무력화할 수 있고, 양자 레이더와 센싱은 스텔스기와 잠수함 탐지에 활용될 수 있다.
본 연구는 AI 모델 평가의 정확성을 높이기 위해 통계적 방법론을 제안한다. 주요 추천 사항은 다음과 같다:
1. 중앙극한정리 활용: 평가 질문들이 독립적이지 않은 경우에도 이론적 평균 점수를 측정하기 위해 중앙극한정리를 적용하여 표준오차(SEM)를 보고하도록 권장한다. 2. 표준오차 클러스터링: 질문들이 관련성을 가지는 클러스터 형태일 때, 클러스터링된 표준오차를 사용하여 평가 점수의 분산을 정확히 측정하도록 제안한다.
3. 질문 내 분산 감소: 모델의 답변 변동성을 줄여 평가 점수의 통계적 정밀도를 높이는 방법을 제시한다. 특히 체인-of-생각(CoT) 기법을 활용하는 경우를 포함한다.
4. 짝지어진 차이 분석: 두 모델 간의 차이를 분석할 때 질문 선택의 영향을 제거하고 응답의 변동성에 집중하도록 짝지어진 차이 분석을 권장한다.
5. 전력 분석 활용: 평가의 통계적 전력을 계산하여 모델 간 차이를 더 정확하게 감지할 수 있도록 전력 분석 기법을 적용하도록 제안한다.
이러한 방법론을 통해 AI 모델 평가의 신뢰성과 해석력을 향상시킬 수 있다.
유럽 AI 사무국이 범용 AI에 대한 과학적 접근을 총괄하고 모델의 시험·평가를 담당할 AI 수석 과학자문관을 채용했다. 지원 마감일은 2024년 12월 13일이며, 월 기본급은 AD13 등급 기준 약 1만3,500~1만5,000유로다. 지원자는 EU 회원국 시민권자, 대학 학위, 15년 이상의 경력, EU 공식 언어 1개와 추가 언어 1개에 대한 지식을 갖춰야 하며 정규 은퇴 연령에 도달하지 않아야 한다.