AI 안전 다이제스트

2025-06-10 · 4건

🇺🇸 주·지방정부의 AI 규제가 초래하는 기회비용 (2025.6.10)

공공 · CATO · ⚖️🏥

이 글은 주·지방정부의 과도하고 처방적인 AI 규제가 단기적으로 행정·준수 비용과 생산 감소를, 장기적으로는 실현되지 못한 제품·프로젝트·혁신을 초래할 수 있다고 분석한다. 2022년 이후 미국 주·연방 차원에서 AI 개발·이용과 관련된 법안이 800건 넘게 제안됐으며, 주별 규제가 확산되면 주 경계를 넘어 활동하는 기업과 기술에 혼란을 줄 수 있다고 지적한다. 저자는 기존 규제 수단을 우선 검토하고, AI 실험을 촉진하기 위해 규제 샌드박스와 시범사업을 활용하는 보다 신중한 접근을 제안한다.

🇬🇧 (2025.06.10) ARIA, AI ‘world-models’에 수학적 증명을 결합해 안전 핵심 시스템 제어를 검증·배치 추진

K-AISI 주간동향 · Fortune

영국 ARIA가 안전 핵심 인프라(전력망, 항공 관제, 통신, 교통 등) 제어에 AI를 활용하기 위한 ‘Safeguarded AI Program’을 추진한다. 목표는 frontier AI가 만든 도메인 특화 제어 알고리즘을 수학적 증명(형식 검증)으로 검증해, 통과 시 해당 컨트롤러를 배치하는 방식이다. 다만 frontier AI의 reward hacking·거짓 제출 가능성 때문에, 증명서를 frontier 모델이 생성하고 결정론적이며 사람이 감사 가능한 방식으로 검토하는 새로운 증명 언어를 마련하려 한다.

🇪🇺 유럽연합 집행위, 고위험 AI 시스템 AI Act 규정 이행 관련 공개 의견수렴(2025.6.10)

K-AISI 주간동향 · 유럽연합 집행위원회(European Commission) 디지털 전략 웹사이트 · ⚖️📋

유럽연합 집행위원회는 AI Act의 고위험 AI 시스템 규정 이행을 위한 공개 컨설테이션을 시작했다. 이번 의견수렴은 고위험 AI 시스템 분류와 관련 요구사항·의무를 다룰 향후 집행위 가이드라인 마련에 반영될 실무 사례와 쟁점 설명을 수집하며, AI 가치사슬 전반의 책임에 대한 의견도 받는다. AI Act는 고위험 AI를 (1) 제품 안전 관련 조화입법에서 중요한 경우와 (2) 특정 사용사례에서 건강·안전 또는 기본권에 중대한 영향을 줄 수 있는 경우로 구분한다.

미 국방부, AI·무기 안전성 시험 전담팀을 절반으로 축소(2025.6.10)

K-AISI 주간동향 · MIT 테크놀로지 리뷰(Technology Review) · 🛡️

미 국방부가 무기와 AI 시스템의 안전성·성능을 시험·평가하는 Office of the Director of Operational Test and Evaluation(DOTE) 인력을 약 94명에서 45명으로 줄이고, 책임자를 교체하는 등 대대적 개편을 예고했다. 이 사무국은 기술이 실전에 배치되기 전 마지막 독립적 관문으로, 기업·계약업체의 성능 주장에 대한 검증과 더 엄격한 안전시험을 담당해 왔다. 국방 기술업체들이 AI 도입을 가속하는 시점에 인력이 줄어들면 전장 환경에서 드러날 수 있는 문제를 놓칠 위험이 커질 수 있다는 우려가 제기된다.