🇬🇧 국제 AI 평가(NAAIMES) 첫 best practice 가이드 문서 완료 및 평가 도구·오픈 질문 논의(2024.01.01)
NAAIMES는 2026년 2월 오픈 질문 관련 기존 글을 바탕으로, 2026 국제 ML 컨퍼런스(서울)에서 1차 best practice 가이드를 공유하고 이후 agentic capabilities 등 공통 이슈에 대한 추가 정렬을 예고했다.
본문 요약: AISI-UK는 국제 고급 AI 측정·평가·과학 네트워크(NAAIMES)가 2024년 설립된 이후 AI 평가 과학을 발전시키고, 전 세계 제3자 평가자 생태계를 지원하기 위한 첫 best practice guidance 문서의 완성을 알렸다. 이 문서에는 평가 목적 정의와 벤치마크 선택, 출력 생성·분석 과정의 comparability 확보, capability elicitation 반복, 평가 수행 및 결과 추적(로그·디버깅 팁 포함) 절차가 포함된다. 또한 AI agents 평가에서의 오픈 질문과 관련해 Singapore·Canada·INESIA(프랑스)의 투명성, 현실적 테스트 설계, 제한된 자원 하 우선순위 설정 등 주제를 확장해 논의하고 있다.