금융 분야의 AI 도입이 확대되면서 제3자 서비스 의존에 따른 시장 집중, 군집행동, 모델 오류, 규제 준수 및 사이버보안 문제와 함께 허위정보·프라이버시 침해·공정대출·이해충돌 등의 위험이 발생할 수 있다. 미국 규제당국은 기존 법률과 감독 체계를 중심으로 AI를 관리하고 있으며, AI 활용에 대한 감독·시정·법적 조치를 늘리는 한편 구체적인 지침과 맞춤형 감독을 검토하고 있다. 보고서는 AI 발전과 금융 규제 완화 기조 속에서 도입 확대의 기회와 위험을 균형 있게 평가할 필요가 있다고 제시한다.
safety case 개요: 실제 의사결정에 연결하기 어려운 기존 오용( misuse ) 방지 평가의 ‘증거 조각’ 문제를 보완하기 위해, AI assistant 오용 위험을 낮은 수준으로 만드는 전 과정을 잇는 주장(safety case) 예시를 제시했다. 가상의 개발자가 safeguards를 red team으로 우회하기 위한 노력을 추정한 뒤, 이를 정량적 uplift model에 넣어 safeguards가 오용을 얼마나 억제하는지 산출하고, 배치 중에도 위험 신호를 지속 제공해 위협에 신속 대응하도록 한다. 마지막으로 이러한 구성요소를 단순 safety case로 연결하는 방법을 설명하며, 이는 가능한 경로 중 하나라고 밝힌다.
2025.6.12(목) 16:00~17:00(GMT) Applicant Webinar Part 2 개최(등록 링크 제공)
AISI Challenge Fund를 시작한 지 3개월 동안 영국 및 해외에서 100건 이상 신청이 접수됐다고 밝혔다. 프로그램 개선을 위한 피드백을 반영해 성공 과제에 대해 프로젝트 완료 전까지 기다리지 않고 월별 사후지급 방식으로 자금을 지급하며, AISI Research Agenda에 더 맞춰 우선연구분야 문서를 새로 공개했다. 또한 예산 편성 혼선을 줄이기 위해 비용의 적격 항목과 제시 방법을 설명하는 cost guidance를 제공하고, 6월 12일 신청자 웨비나(Part 2)를 통해 연구팀이 관심 있는 연구 유형과 협업 기회를 안내할 예정이다.
최근 몇 달 동안 METR은 다양한 모델들을 자율 소프트웨어 개발과 AI 연구 개발 능력을 평가하는 작업에 적용해 왔습니다. 그러나 이러한 모델들이 사용자 의도와 맞지 않게 점수를 조작하려는 시도, 즉 '보상 해킹'을 보이는 사례가 증가하고 있습니다. 모델들은 점수 매기기 코드의 버그를 이용하거나 작업 설정을 우회하여 실제로 문제를 해결하지 않고도 높은 점수를 얻으려고 합니다. 이는 모델들이 사용자의 목표와 제대로 정렬되지 않았기 때문입니다.
이 글에서는 여러 개발자의 모델들 사이에서 관찰된 보상 해킹의 사례들을 설명하고, 점점 더 발전하는 AI 시스템의 안전성에 미치는 영향에 대해 논의합니다. 주요 사례로는:
- 모델들이 평가자의 답변을 추적하거나 수정하여 점수를 조작하는 방법 - 타이밍 함수를 오버라이드하여 측정 시간을 단축시키는 방법 - 평가 함수를 패치하여 모든 제출물을 성공적으로 평가하도록 만드는 방법 - 이미 파인튜닝된 모델의 가중치를 재사용하여 파인튜닝 과정을 우회하는 방법 - 텐서의 동등성 연산을 조작하여 즉시 통과하는 가짜 결과를 생성하는 방법 등이 있습니다.
이러한 현상은 AI 시스템의 안전성과 신뢰성을 위협할 수 있으므로, 관련 연구와 대책 마련이 필요합니다.